From 7b8bd1965925bbd1bb254eb133c93adc73f70295 Mon Sep 17 00:00:00 2001 From: Milvus-doc-bot Date: Mon, 25 Nov 2024 08:39:44 +0000 Subject: [PATCH] Translate docs --- .../site/de/adminGuide/configure-docker.json | 2 +- .../site/de/adminGuide/configure-docker.md | 10 +- .../upgrade_milvus_cluster-docker.json | 2 +- .../upgrade_milvus_cluster-docker.md | 20 +- .../upgrade_milvus_cluster-helm.json | 2 +- .../adminGuide/upgrade_milvus_cluster-helm.md | 44 +- .../upgrade_milvus_cluster-operator.json | 2 +- .../upgrade_milvus_cluster-operator.md | 30 +- .../upgrade_milvus_standalone-docker.json | 2 +- .../upgrade_milvus_standalone-docker.md | 6 +- .../upgrade_milvus_standalone-helm.json | 2 +- .../upgrade_milvus_standalone-helm.md | 66 +- .../upgrade_milvus_standalone-operator.json | 2 +- .../upgrade_milvus_standalone-operator.md | 30 +- .../install_standalone-docker-compose.json | 2 +- .../install_standalone-docker-compose.md | 8 +- ...install_standalone-docker-compose-gpu.json | 2 +- .../install_standalone-docker-compose-gpu.md | 6 +- .../v2.4.x/site/de/menuStructure/de.json | 4 +- .../v2.4.x/site/de/reference/index.md | 22 +- .../v2.4.x/site/de/reference/metric.json | 2 +- .../v2.4.x/site/de/reference/metric.md | 16 +- .../v2.4.x/site/de/release_notes.json | 2 +- localization/v2.4.x/site/de/release_notes.md | 1446 +++++++++-------- .../de/userGuide/data-import/import-data.json | 2 +- .../de/userGuide/data-import/import-data.md | 278 +++- .../data-import/prepare-source-data.json | 2 +- .../data-import/prepare-source-data.md | 455 ++++-- .../manage-indexes/index-vector-fields.md | 8 +- .../site/es/adminGuide/configure-docker.json | 2 +- .../site/es/adminGuide/configure-docker.md | 10 +- .../upgrade_milvus_cluster-docker.json | 2 +- .../upgrade_milvus_cluster-docker.md | 20 +- .../upgrade_milvus_cluster-helm.json | 2 +- .../adminGuide/upgrade_milvus_cluster-helm.md | 46 +- .../upgrade_milvus_cluster-operator.json | 2 +- .../upgrade_milvus_cluster-operator.md | 32 +- .../upgrade_milvus_standalone-docker.json | 2 +- .../upgrade_milvus_standalone-docker.md | 6 +- .../upgrade_milvus_standalone-helm.json | 2 +- .../upgrade_milvus_standalone-helm.md | 58 +- .../upgrade_milvus_standalone-operator.json | 2 +- .../upgrade_milvus_standalone-operator.md | 28 +- .../install_standalone-docker-compose.json | 2 +- .../install_standalone-docker-compose.md | 2 +- ...install_standalone-docker-compose-gpu.json | 2 +- .../install_standalone-docker-compose-gpu.md | 4 +- .../v2.4.x/site/es/menuStructure/es.json | 4 +- .../v2.4.x/site/es/reference/index.md | 30 +- .../v2.4.x/site/es/reference/metric.json | 2 +- .../v2.4.x/site/es/reference/metric.md | 22 +- .../v2.4.x/site/es/release_notes.json | 2 +- localization/v2.4.x/site/es/release_notes.md | 1442 ++++++++-------- .../es/userGuide/data-import/import-data.json | 2 +- .../es/userGuide/data-import/import-data.md | 286 +++- .../data-import/prepare-source-data.json | 2 +- .../data-import/prepare-source-data.md | 449 +++-- .../manage-indexes/index-vector-fields.md | 6 +- .../site/fr/adminGuide/configure-docker.json | 2 +- .../site/fr/adminGuide/configure-docker.md | 8 +- .../upgrade_milvus_cluster-docker.json | 2 +- .../upgrade_milvus_cluster-docker.md | 20 +- .../upgrade_milvus_cluster-helm.json | 2 +- .../adminGuide/upgrade_milvus_cluster-helm.md | 44 +- .../upgrade_milvus_cluster-operator.json | 2 +- .../upgrade_milvus_cluster-operator.md | 30 +- .../upgrade_milvus_standalone-docker.json | 2 +- .../upgrade_milvus_standalone-docker.md | 8 +- .../upgrade_milvus_standalone-helm.json | 2 +- .../upgrade_milvus_standalone-helm.md | 58 +- .../upgrade_milvus_standalone-operator.json | 2 +- .../upgrade_milvus_standalone-operator.md | 28 +- .../install_standalone-docker-compose.json | 2 +- .../install_standalone-docker-compose.md | 4 +- ...install_standalone-docker-compose-gpu.json | 2 +- .../install_standalone-docker-compose-gpu.md | 8 +- .../v2.4.x/site/fr/menuStructure/fr.json | 2 +- .../v2.4.x/site/fr/reference/index.md | 10 +- .../v2.4.x/site/fr/reference/metric.json | 2 +- .../v2.4.x/site/fr/reference/metric.md | 18 +- .../v2.4.x/site/fr/release_notes.json | 2 +- localization/v2.4.x/site/fr/release_notes.md | 1442 ++++++++-------- .../fr/userGuide/data-import/import-data.json | 2 +- .../fr/userGuide/data-import/import-data.md | 282 +++- .../data-import/prepare-source-data.json | 2 +- .../data-import/prepare-source-data.md | 455 ++++-- .../manage-indexes/index-vector-fields.md | 4 +- .../site/it/adminGuide/configure-docker.json | 2 +- .../site/it/adminGuide/configure-docker.md | 8 +- .../upgrade_milvus_cluster-docker.json | 2 +- .../upgrade_milvus_cluster-docker.md | 20 +- .../upgrade_milvus_cluster-helm.json | 2 +- .../adminGuide/upgrade_milvus_cluster-helm.md | 46 +- .../upgrade_milvus_cluster-operator.json | 2 +- .../upgrade_milvus_cluster-operator.md | 34 +- .../upgrade_milvus_standalone-docker.json | 2 +- .../upgrade_milvus_standalone-docker.md | 6 +- .../upgrade_milvus_standalone-helm.json | 2 +- .../upgrade_milvus_standalone-helm.md | 60 +- .../upgrade_milvus_standalone-operator.json | 2 +- .../upgrade_milvus_standalone-operator.md | 32 +- .../install_standalone-docker-compose.json | 2 +- .../install_standalone-docker-compose.md | 2 +- ...install_standalone-docker-compose-gpu.json | 2 +- .../install_standalone-docker-compose-gpu.md | 12 +- .../v2.4.x/site/it/menuStructure/it.json | 4 +- .../v2.4.x/site/it/reference/index.json | 2 +- .../v2.4.x/site/it/reference/index.md | 16 +- .../v2.4.x/site/it/reference/metric.json | 2 +- .../v2.4.x/site/it/reference/metric.md | 14 +- .../v2.4.x/site/it/release_notes.json | 2 +- localization/v2.4.x/site/it/release_notes.md | 1444 ++++++++-------- .../it/userGuide/data-import/import-data.json | 2 +- .../it/userGuide/data-import/import-data.md | 282 +++- .../data-import/prepare-source-data.json | 2 +- .../data-import/prepare-source-data.md | 453 ++++-- .../manage-indexes/index-vector-fields.md | 6 +- .../site/ja/adminGuide/configure-docker.json | 2 +- .../site/ja/adminGuide/configure-docker.md | 10 +- .../upgrade_milvus_cluster-docker.json | 2 +- .../upgrade_milvus_cluster-docker.md | 22 +- .../upgrade_milvus_cluster-helm.json | 2 +- .../adminGuide/upgrade_milvus_cluster-helm.md | 50 +- .../upgrade_milvus_cluster-operator.json | 2 +- .../upgrade_milvus_cluster-operator.md | 30 +- .../upgrade_milvus_standalone-docker.json | 2 +- .../upgrade_milvus_standalone-docker.md | 8 +- .../upgrade_milvus_standalone-helm.json | 2 +- .../upgrade_milvus_standalone-helm.md | 60 +- .../upgrade_milvus_standalone-operator.json | 2 +- .../upgrade_milvus_standalone-operator.md | 30 +- .../install_standalone-docker-compose.json | 2 +- .../install_standalone-docker-compose.md | 4 +- ...install_standalone-docker-compose-gpu.json | 2 +- .../install_standalone-docker-compose-gpu.md | 6 +- .../v2.4.x/site/ja/menuStructure/ja.json | 4 +- .../v2.4.x/site/ja/reference/index.md | 32 +- .../v2.4.x/site/ja/reference/metric.json | 2 +- .../v2.4.x/site/ja/reference/metric.md | 24 +- .../v2.4.x/site/ja/release_notes.json | 2 +- localization/v2.4.x/site/ja/release_notes.md | 1444 ++++++++-------- .../ja/userGuide/data-import/import-data.json | 2 +- .../ja/userGuide/data-import/import-data.md | 296 +++- .../data-import/prepare-source-data.json | 2 +- .../data-import/prepare-source-data.md | 447 +++-- .../manage-indexes/index-vector-fields.md | 16 +- .../site/ko/adminGuide/configure-docker.json | 2 +- .../site/ko/adminGuide/configure-docker.md | 10 +- .../upgrade_milvus_cluster-docker.json | 2 +- .../upgrade_milvus_cluster-docker.md | 20 +- .../upgrade_milvus_cluster-helm.json | 2 +- .../adminGuide/upgrade_milvus_cluster-helm.md | 46 +- .../upgrade_milvus_cluster-operator.json | 2 +- .../upgrade_milvus_cluster-operator.md | 32 +- .../upgrade_milvus_standalone-docker.json | 2 +- .../upgrade_milvus_standalone-docker.md | 6 +- .../upgrade_milvus_standalone-helm.json | 2 +- .../upgrade_milvus_standalone-helm.md | 58 +- .../upgrade_milvus_standalone-operator.json | 2 +- .../upgrade_milvus_standalone-operator.md | 32 +- .../install_standalone-docker-compose.json | 2 +- .../install_standalone-docker-compose.md | 4 +- ...install_standalone-docker-compose-gpu.json | 2 +- .../install_standalone-docker-compose-gpu.md | 6 +- .../v2.4.x/site/ko/menuStructure/ko.json | 2 +- .../v2.4.x/site/ko/reference/index.md | 4 +- .../v2.4.x/site/ko/reference/metric.json | 2 +- .../v2.4.x/site/ko/reference/metric.md | 8 +- .../v2.4.x/site/ko/release_notes.json | 2 +- localization/v2.4.x/site/ko/release_notes.md | 1444 ++++++++-------- .../ko/userGuide/data-import/import-data.json | 2 +- .../ko/userGuide/data-import/import-data.md | 282 +++- .../data-import/prepare-source-data.json | 2 +- .../data-import/prepare-source-data.md | 447 +++-- .../manage-indexes/index-vector-fields.md | 2 +- .../site/pt/adminGuide/configure-docker.json | 2 +- .../site/pt/adminGuide/configure-docker.md | 8 +- .../upgrade_milvus_cluster-docker.json | 2 +- .../upgrade_milvus_cluster-docker.md | 22 +- .../upgrade_milvus_cluster-helm.json | 2 +- .../adminGuide/upgrade_milvus_cluster-helm.md | 52 +- .../upgrade_milvus_cluster-operator.json | 2 +- .../upgrade_milvus_cluster-operator.md | 34 +- .../upgrade_milvus_standalone-docker.json | 2 +- .../upgrade_milvus_standalone-docker.md | 10 +- .../upgrade_milvus_standalone-helm.json | 2 +- .../upgrade_milvus_standalone-helm.md | 66 +- .../upgrade_milvus_standalone-operator.json | 2 +- .../upgrade_milvus_standalone-operator.md | 32 +- .../install_standalone-docker-compose.json | 2 +- .../install_standalone-docker-compose.md | 6 +- ...install_standalone-docker-compose-gpu.json | 2 +- .../install_standalone-docker-compose-gpu.md | 8 +- .../v2.4.x/site/pt/reference/index.md | 8 +- .../v2.4.x/site/pt/reference/metric.json | 2 +- .../v2.4.x/site/pt/reference/metric.md | 10 +- .../v2.4.x/site/pt/release_notes.json | 2 +- localization/v2.4.x/site/pt/release_notes.md | 1442 ++++++++-------- .../pt/userGuide/data-import/import-data.json | 2 +- .../pt/userGuide/data-import/import-data.md | 282 +++- .../data-import/prepare-source-data.json | 2 +- .../data-import/prepare-source-data.md | 447 +++-- .../manage-indexes/index-vector-fields.md | 8 +- .../site/zh/adminGuide/configure-docker.json | 2 +- .../site/zh/adminGuide/configure-docker.md | 8 +- .../upgrade_milvus_cluster-docker.json | 2 +- .../upgrade_milvus_cluster-docker.md | 20 +- .../upgrade_milvus_cluster-helm.json | 2 +- .../adminGuide/upgrade_milvus_cluster-helm.md | 44 +- .../upgrade_milvus_cluster-operator.json | 2 +- .../upgrade_milvus_cluster-operator.md | 30 +- .../upgrade_milvus_standalone-docker.json | 2 +- .../upgrade_milvus_standalone-docker.md | 6 +- .../upgrade_milvus_standalone-helm.json | 2 +- .../upgrade_milvus_standalone-helm.md | 58 +- .../upgrade_milvus_standalone-operator.json | 2 +- .../upgrade_milvus_standalone-operator.md | 30 +- .../install_standalone-docker-compose.json | 2 +- .../install_standalone-docker-compose.md | 2 +- ...install_standalone-docker-compose-gpu.json | 2 +- .../install_standalone-docker-compose-gpu.md | 4 +- .../v2.4.x/site/zh/menuStructure/zh.json | 2 +- .../v2.4.x/site/zh/reference/index.md | 24 +- .../v2.4.x/site/zh/reference/metric.json | 2 +- .../v2.4.x/site/zh/reference/metric.md | 26 +- .../v2.4.x/site/zh/release_notes.json | 2 +- localization/v2.4.x/site/zh/release_notes.md | 1446 +++++++++-------- .../zh/userGuide/data-import/import-data.json | 2 +- .../zh/userGuide/data-import/import-data.md | 292 +++- .../data-import/prepare-source-data.json | 2 +- .../data-import/prepare-source-data.md | 525 ++++-- .../manage-indexes/index-vector-fields.md | 6 +- tools/cache.json | 32 +- 233 files changed, 11800 insertions(+), 8040 deletions(-) diff --git a/localization/v2.4.x/site/de/adminGuide/configure-docker.json b/localization/v2.4.x/site/de/adminGuide/configure-docker.json index e4f1a187c..2cc4437a9 100644 --- a/localization/v2.4.x/site/de/adminGuide/configure-docker.json +++ b/localization/v2.4.x/site/de/adminGuide/configure-docker.json @@ -1 +1 @@ -{"codeList":["$ wget https://raw.githubusercontent.com/milvus-io/milvus/v2.4.15/configs/milvus.yaml\n","# For Milvus standalone\n$ wget https://github.com/milvus-io/milvus/releases/download/v2.4.15/milvus-standalone-docker-compose.yml -O docker-compose.yml\n","...\n standalone:\n container_name: milvus-standalone\n image: milvusdb/milvus:v2.2.13\n command: [\"milvus\", \"run\", \"standalone\"]\n environment:\n ETCD_ENDPOINTS: etcd:2379\n MINIO_ADDRESS: minio:9000\n volumes:\n - /local/path/to/your/milvus.yaml:/milvus/configs/milvus.yaml # Map the local path to the container path\n - ${DOCKER_VOLUME_DIRECTORY:-.}/volumes/milvus:/var/lib/milvus\n ports:\n - \"19530:19530\"\n - \"9091:9091\"\n depends_on:\n - \"etcd\"\n - \"minio\"\n...\n","$ sudo docker compose up -d\n"],"headingContent":"Configure Milvus with Docker Compose","anchorList":[{"label":"Konfigurieren von Milvus mit Docker Compose","href":"Configure-Milvus-with-Docker-Compose","type":1,"isActive":false},{"label":"Herunterladen einer Konfigurationsdatei","href":"Download-a-configuration-file","type":2,"isActive":false},{"label":"Ändern Sie die Konfigurationsdatei","href":"Modify-the-configuration-file","type":2,"isActive":false},{"label":"Download einer Installationsdatei","href":"Download-an-installation-file","type":2,"isActive":false},{"label":"Ändern Sie die Installationsdatei","href":"Modify-the-installation-file","type":2,"isActive":false},{"label":"Starten Sie Milvus","href":"Start-Milvus","type":2,"isActive":false},{"label":"Wie geht es weiter?","href":"Whats-next","type":2,"isActive":false}]} \ No newline at end of file +{"codeList":["$ wget https://raw.githubusercontent.com/milvus-io/milvus/v2.4.17/configs/milvus.yaml\n","# For Milvus standalone\n$ wget https://github.com/milvus-io/milvus/releases/download/v2.4.17/milvus-standalone-docker-compose.yml -O docker-compose.yml\n","...\n standalone:\n container_name: milvus-standalone\n image: milvusdb/milvus:v2.2.13\n command: [\"milvus\", \"run\", \"standalone\"]\n environment:\n ETCD_ENDPOINTS: etcd:2379\n MINIO_ADDRESS: minio:9000\n volumes:\n - /local/path/to/your/milvus.yaml:/milvus/configs/milvus.yaml # Map the local path to the container path\n - ${DOCKER_VOLUME_DIRECTORY:-.}/volumes/milvus:/var/lib/milvus\n ports:\n - \"19530:19530\"\n - \"9091:9091\"\n depends_on:\n - \"etcd\"\n - \"minio\"\n...\n","$ sudo docker compose up -d\n"],"headingContent":"Configure Milvus with Docker Compose","anchorList":[{"label":"Konfigurieren von Milvus mit Docker Compose","href":"Configure-Milvus-with-Docker-Compose","type":1,"isActive":false},{"label":"Herunterladen einer Konfigurationsdatei","href":"Download-a-configuration-file","type":2,"isActive":false},{"label":"Ändern Sie die Konfigurationsdatei","href":"Modify-the-configuration-file","type":2,"isActive":false},{"label":"Download einer Installationsdatei","href":"Download-an-installation-file","type":2,"isActive":false},{"label":"Ändern Sie die Installationsdatei","href":"Modify-the-installation-file","type":2,"isActive":false},{"label":"Starten Sie Milvus","href":"Start-Milvus","type":2,"isActive":false},{"label":"Wie geht es weiter?","href":"Whats-next","type":2,"isActive":false}]} \ No newline at end of file diff --git a/localization/v2.4.x/site/de/adminGuide/configure-docker.md b/localization/v2.4.x/site/de/adminGuide/configure-docker.md index d7dca6161..8f0344ce9 100644 --- a/localization/v2.4.x/site/de/adminGuide/configure-docker.md +++ b/localization/v2.4.x/site/de/adminGuide/configure-docker.md @@ -20,7 +20,7 @@ title: Konfigurieren von Milvus mit Docker Compose d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z" > -

In diesem Thema wird beschrieben, wie Sie Milvus-Komponenten und deren Abhängigkeiten von Drittanbietern mit Docker Compose konfigurieren.

+

In diesem Thema wird beschrieben, wie Sie Milvus-Komponenten und die Abhängigkeiten von Drittanbietern mit Docker Compose konfigurieren.

In der aktuellen Version werden alle Parameter erst nach einem Neustart von Milvus wirksam.

Herunterladen einer Konfigurationsdatei

Laden Sie milvus.yaml direkt oder mit dem folgenden Befehlherunter.

-
$ wget https://raw.githubusercontent.com/milvus-io/milvus/v2.4.15/configs/milvus.yaml
+    

Laden Sie milvus.yaml direkt oder mit dem folgenden Befehlherunter.

+
$ wget https://raw.githubusercontent.com/milvus-io/milvus/v2.4.17/configs/milvus.yaml
 

Ändern Sie die Konfigurationsdatei

Laden Sie die Installationsdatei für Milvus standalone herunter und speichern Sie sie als docker-compose.yml.

+

Laden Sie die Installationsdatei für Milvus standalone herunter und speichern Sie sie als docker-compose.yml.

Sie können auch einfach den folgenden Befehl ausführen.

# For Milvus standalone
-$ wget https://github.com/milvus-io/milvus/releases/download/v2.4.15/milvus-standalone-docker-compose.yml -O docker-compose.yml
+$ wget https://github.com/milvus-io/milvus/releases/download/v2.4.17/milvus-standalone-docker-compose.yml -O docker-compose.yml
 

Ändern Sie die Installationsdatei

Dieses Thema beschreibt, wie Sie Ihr Milvus mit Docker Compose aktualisieren können.

-

Im Normalfall können Sie Milvus aktualisieren, indem Sie sein Image ändern. Sie müssen jedoch die Metadaten vor einem Upgrade von v2.1.x auf v2.4.15 migrieren.

+

Im Normalfall können Sie Milvus aktualisieren, indem Sie sein Image ändern. Sie müssen jedoch die Metadaten vor einem Upgrade von v2.1.x auf v2.4.17 migrieren.

Upgrade von Milvus durch Ändern des Images

  • Führen Sie die folgenden Befehle aus, um das Upgrade durchzuführen.

    docker compose down
    @@ -107,7 +107,7 @@ cmd:
       runWithBackup: true
     config:
       sourceVersion: 2.1.4   # Specify your milvus version
    -  targetVersion: 2.4.15
    +  targetVersion: 2.4.17
       backupFilePath: /tmp/migration.bak
     metastore:
       type: etcd
    diff --git a/localization/v2.4.x/site/de/adminGuide/upgrade_milvus_cluster-helm.json b/localization/v2.4.x/site/de/adminGuide/upgrade_milvus_cluster-helm.json
    index 49b9e3a59..5faf30f63 100644
    --- a/localization/v2.4.x/site/de/adminGuide/upgrade_milvus_cluster-helm.json
    +++ b/localization/v2.4.x/site/de/adminGuide/upgrade_milvus_cluster-helm.json
    @@ -1 +1 @@
    -{"codeList":["$ helm repo update\n$ helm search repo zilliztech/milvus --versions\n","helm repo add zilliztech https://zilliztech.github.io/milvus-helm\nhelm repo update\n# upgrade existing helm release\nhelm upgrade my-release zilliztech/milvus\n","NAME                    CHART VERSION   APP VERSION             DESCRIPTION                                       \nzilliztech/milvus       4.1.34          2.4.5                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.33          2.4.4                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.32          2.4.3                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.31          2.4.1                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.30          2.4.1                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.29          2.4.0                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.24          2.3.11                  Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.23          2.3.10                  Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.22          2.3.10                  Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.21          2.3.10                  Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.20          2.3.10                  Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.18          2.3.10                  Milvus is an open-source vector database built ... \nzilliztech/milvus       4.1.18          2.3.9                   Milvus is an open-source vector database built ...                                       \nzilliztech/milvus       4.1.17          2.3.8                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.16          2.3.7                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.15          2.3.5                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.14          2.3.6                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.13          2.3.5                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.12          2.3.5                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.11          2.3.4                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.10          2.3.3                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.9           2.3.3                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.8           2.3.2                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.7           2.3.2                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.6           2.3.1                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.5           2.3.1                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.4           2.3.1                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.3           2.3.1                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.2           2.3.1                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.1           2.3.0                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.0           2.3.0                   Milvus is an open-source vector database built ...\n","sh rollingUpdate.sh -n default -i my-release -o update -t 2.4.15 -w 'milvusdb/milvus:v2.4.15'\n","helm repo update\nhelm upgrade my-release zilliztech/milvus --reuse-values --version=4.1.24 # use the helm chart version here\n","NAME                NAMESPACE   REVISION    UPDATED                                 STATUS      CHART           APP VERSION    \nnew-release         default     1           2022-11-21 15:41:25.51539 +0800 CST     deployed    milvus-3.2.18   2.1.4 \n","NAME                                             READY   STATUS      RESTARTS   AGE\nmy-release-etcd-0                               1/1     Running     0          21m\nmy-release-etcd-1                               1/1     Running     0          21m\nmy-release-etcd-2                               1/1     Running     0          21m\nmy-release-milvus-datacoord-664c58798d-fl75s    1/1     Running     0          21m\nmy-release-milvus-datanode-5f75686c55-xfg2r     1/1     Running     0          21m\nmy-release-milvus-indexcoord-5f98b97589-2l48r   1/1     Running     0          21m\nmy-release-milvus-indexnode-857b4ddf98-vmd75    1/1     Running     0          21m\nmy-release-milvus-proxy-6c548f787f-scspp        1/1     Running     0          21m\nmy-release-milvus-querycoord-c454f44cd-dwmwq    1/1     Running     0          21m\nmy-release-milvus-querynode-76bb4946d-lbrz6     1/1     Running     0          21m\nmy-release-milvus-rootcoord-7764c5b686-62msm    1/1     Running     0          21m\nmy-release-minio-0                              1/1     Running     0          21m\nmy-release-minio-1                              1/1     Running     0          21m\nmy-release-minio-2                              1/1     Running     0          21m\nmy-release-minio-3                              1/1     Running     0          21m\nmy-release-pulsar-bookie-0                      1/1     Running     0          21m\nmy-release-pulsar-bookie-1                      1/1     Running     0          21m\nmy-release-pulsar-bookie-2                      1/1     Running     0          21m\nmy-release-pulsar-bookie-init-tjxpj             0/1     Completed   0          21m\nmy-release-pulsar-broker-0                      1/1     Running     0          21m\nmy-release-pulsar-proxy-0                       1/1     Running     0          21m\nmy-release-pulsar-pulsar-init-c8vvc             0/1     Completed   0          21m\nmy-release-pulsar-recovery-0                    1/1     Running     0          21m\nmy-release-pulsar-zookeeper-0                   1/1     Running     0          21m\nmy-release-pulsar-zookeeper-1                   1/1     Running     0          20m\nmy-release-pulsar-zookeeper-2                   1/1     Running     0          20m\n","$ kubectl get pods my-release-milvus-proxy-6c548f787f-scspp -o=jsonpath='{$.spec.containers[0].image}'\n# milvusdb/milvus:v2.1.4\n","./migrate.sh -i my-release -s 2.1.4 -t 2.2.0\n","./migrate.sh -i my-release -n milvus -s 2.1.4 -t 2.2.0\n","./migrate.sh -i my-release -n milvus -s 2.1.4 -t 2.2.0 -r by-dev\n","./migrate.sh -i my-release -n milvus -s 2.1.4 -t 2.2.0 -r by-dev -w milvusdb/milvus:v2.2.0\n","./migrate.sh -i my-release -n milvus -s 2.1.4 -t 2.2.0 -w milvusdb/milvus:v2.2.0 -d true\n","./migrate.sh -i my-release -n milvus -s 2.1.4 -t 2.2.0 -r by-dev -o rollback -w milvusdb/milvus:v2.1.4\n./migrate.sh -i my-release -n milvus -s 2.1.4 -t 2.2.0 -r by-dev -o migrate -w milvusdb/milvus:v2.2.0\n"],"headingContent":"Upgrade Milvus Cluster with Helm Chart","anchorList":[{"label":"Milvus-Cluster mit Helm-Diagramm aufrüsten","href":"Upgrade-Milvus-Cluster-with-Helm-Chart","type":1,"isActive":false},{"label":"Milvus Helm Chart prüfen","href":"Check-Milvus-Helm-Chart","type":2,"isActive":false},{"label":"Durchführen eines rollenden Upgrades","href":"Conduct-a-rolling-upgrade","type":2,"isActive":false},{"label":"Upgrade von Milvus mit Helm","href":"Upgrade-Milvus-using-Helm","type":2,"isActive":false},{"label":"Migrieren Sie die Metadaten","href":"Migrate-the-metadata","type":2,"isActive":false}]}
    \ No newline at end of file
    +{"codeList":["$ helm repo update zilliztech\n$ helm search repo zilliztech/milvus --versions\n","helm repo add zilliztech https://zilliztech.github.io/milvus-helm\nhelm repo update\n# upgrade existing helm release\nhelm upgrade my-release zilliztech/milvus --reset-then-reuse-values\n","NAME                    CHART VERSION   APP VERSION             DESCRIPTION                                       \nzilliztech/milvus       4.1.34          2.4.5                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.33          2.4.4                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.32          2.4.3                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.31          2.4.1                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.30          2.4.1                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.29          2.4.0                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.24          2.3.11                  Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.23          2.3.10                  Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.22          2.3.10                  Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.21          2.3.10                  Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.20          2.3.10                  Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.18          2.3.10                  Milvus is an open-source vector database built ... \nzilliztech/milvus       4.1.18          2.3.9                   Milvus is an open-source vector database built ...                                       \nzilliztech/milvus       4.1.17          2.3.8                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.16          2.3.7                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.15          2.3.5                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.14          2.3.6                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.13          2.3.5                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.12          2.3.5                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.11          2.3.4                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.10          2.3.3                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.9           2.3.3                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.8           2.3.2                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.7           2.3.2                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.6           2.3.1                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.5           2.3.1                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.4           2.3.1                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.3           2.3.1                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.2           2.3.1                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.1           2.3.0                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.0           2.3.0                   Milvus is an open-source vector database built ...\n","sh rollingUpdate.sh -n default -i my-release -o update -t 2.4.17 -w 'milvusdb/milvus:v2.4.17'\n","helm repo update zilliztech\nhelm upgrade my-release zilliztech/milvus --reset-then-reuse-values --version=4.1.24 # use the helm chart version here\n","NAME                NAMESPACE   REVISION    UPDATED                                 STATUS      CHART           APP VERSION    \nnew-release         default     1           2022-11-21 15:41:25.51539 +0800 CST     deployed    milvus-3.2.18   2.1.4 \n","NAME                                             READY   STATUS      RESTARTS   AGE\nmy-release-etcd-0                               1/1     Running     0          21m\nmy-release-etcd-1                               1/1     Running     0          21m\nmy-release-etcd-2                               1/1     Running     0          21m\nmy-release-milvus-datacoord-664c58798d-fl75s    1/1     Running     0          21m\nmy-release-milvus-datanode-5f75686c55-xfg2r     1/1     Running     0          21m\nmy-release-milvus-indexcoord-5f98b97589-2l48r   1/1     Running     0          21m\nmy-release-milvus-indexnode-857b4ddf98-vmd75    1/1     Running     0          21m\nmy-release-milvus-proxy-6c548f787f-scspp        1/1     Running     0          21m\nmy-release-milvus-querycoord-c454f44cd-dwmwq    1/1     Running     0          21m\nmy-release-milvus-querynode-76bb4946d-lbrz6     1/1     Running     0          21m\nmy-release-milvus-rootcoord-7764c5b686-62msm    1/1     Running     0          21m\nmy-release-minio-0                              1/1     Running     0          21m\nmy-release-minio-1                              1/1     Running     0          21m\nmy-release-minio-2                              1/1     Running     0          21m\nmy-release-minio-3                              1/1     Running     0          21m\nmy-release-pulsar-bookie-0                      1/1     Running     0          21m\nmy-release-pulsar-bookie-1                      1/1     Running     0          21m\nmy-release-pulsar-bookie-2                      1/1     Running     0          21m\nmy-release-pulsar-bookie-init-tjxpj             0/1     Completed   0          21m\nmy-release-pulsar-broker-0                      1/1     Running     0          21m\nmy-release-pulsar-proxy-0                       1/1     Running     0          21m\nmy-release-pulsar-pulsar-init-c8vvc             0/1     Completed   0          21m\nmy-release-pulsar-recovery-0                    1/1     Running     0          21m\nmy-release-pulsar-zookeeper-0                   1/1     Running     0          21m\nmy-release-pulsar-zookeeper-1                   1/1     Running     0          20m\nmy-release-pulsar-zookeeper-2                   1/1     Running     0          20m\n","$ kubectl get pods my-release-milvus-proxy-6c548f787f-scspp -o=jsonpath='{$.spec.containers[0].image}'\n# milvusdb/milvus:v2.1.4\n","./migrate.sh -i my-release -s 2.1.4 -t 2.2.0\n","./migrate.sh -i my-release -n milvus -s 2.1.4 -t 2.2.0\n","./migrate.sh -i my-release -n milvus -s 2.1.4 -t 2.2.0 -r by-dev\n","./migrate.sh -i my-release -n milvus -s 2.1.4 -t 2.2.0 -r by-dev -w milvusdb/milvus:v2.2.0\n","./migrate.sh -i my-release -n milvus -s 2.1.4 -t 2.2.0 -w milvusdb/milvus:v2.2.0 -d true\n","./migrate.sh -i my-release -n milvus -s 2.1.4 -t 2.2.0 -r by-dev -o rollback -w milvusdb/milvus:v2.1.4\n./migrate.sh -i my-release -n milvus -s 2.1.4 -t 2.2.0 -r by-dev -o migrate -w milvusdb/milvus:v2.2.0\n"],"headingContent":"Upgrade Milvus Cluster with Helm Chart","anchorList":[{"label":"Milvus-Cluster mit Helm-Diagramm aufrüsten","href":"Upgrade-Milvus-Cluster-with-Helm-Chart","type":1,"isActive":false},{"label":"Voraussetzungen","href":"Prerequisites","type":2,"isActive":false},{"label":"Überprüfen der Milvus Helm-Karte","href":"Check-Milvus-Helm-Chart","type":2,"isActive":false},{"label":"Durchführen eines rollenden Upgrades","href":"Conduct-a-rolling-upgrade","type":2,"isActive":false},{"label":"Upgrade von Milvus mit Helm","href":"Upgrade-Milvus-using-Helm","type":2,"isActive":false},{"label":"Migrieren Sie die Metadaten","href":"Migrate-the-metadata","type":2,"isActive":false}]}
    \ No newline at end of file
    diff --git a/localization/v2.4.x/site/de/adminGuide/upgrade_milvus_cluster-helm.md b/localization/v2.4.x/site/de/adminGuide/upgrade_milvus_cluster-helm.md
    index 8847bfdaa..0b100c127 100644
    --- a/localization/v2.4.x/site/de/adminGuide/upgrade_milvus_cluster-helm.md
    +++ b/localization/v2.4.x/site/de/adminGuide/upgrade_milvus_cluster-helm.md
    @@ -24,7 +24,29 @@ title: Milvus-Cluster mit Helm-Diagramm aufrüsten
             >
           
         

    Diese Anleitung beschreibt, wie Sie Ihren Milvus-Cluster mit Milvus Helm-Charts aufrüsten.

    -

    Milvus Helm Chart prüfen

      +
    • Helm-Version >= 3.14.0
    • +
    • Kubernetes-Version >= 1.20.0
    • +
    +
    +

    Seit Milvus-Helm Chart Version 4.2.21 haben wir pulsar-v3.x Chart als Abhängigkeit eingeführt. Um die Abwärtskompatibilität zu gewährleisten, aktualisieren Sie bitte Ihren Helm auf v3.14 oder eine neuere Version und fügen Sie die Option --reset-then-reuse-values hinzu, wenn Sie helm upgrade verwenden.

    +
    +

    Überprüfen der Milvus Helm-Karte

    Führen Sie die folgenden Befehle aus, um neue Milvus-Versionen zu überprüfen.

    -
    $ helm repo update
    +
    $ helm repo update zilliztech
     $ helm search repo zilliztech/milvus --versions
     
    -

    Das Milvus Helm Charts Repo auf https://milvus-io.github.io/milvus-helm/ wurde archiviert und Sie können weitere Updates von https://zilliztech.github.io/milvus-helm/ wie folgt erhalten:

    +

    Das Milvus Helm Charts Repo unter https://milvus-io.github.io/milvus-helm/ wurde archiviert und Sie können weitere Updates von https://zilliztech.github.io/milvus-helm/ wie folgt erhalten:

    helm repo add zilliztech https://zilliztech.github.io/milvus-helm
     helm repo update
     # upgrade existing helm release
    -helm upgrade my-release zilliztech/milvus
    +helm upgrade my-release zilliztech/milvus --reset-then-reuse-values
     

    Das archivierte Repo ist weiterhin für die Diagramme bis 4.0.31 verfügbar. Für spätere Versionen verwenden Sie stattdessen das neue Repo.

    @@ -86,10 +108,10 @@ zilliztech/milvus 4.1.1 2.3.0 Milvus is an ope zilliztech/milvus 4.1.0 2.3.0 Milvus is an open-source vector database built ...

    Sie können den Upgrade-Pfad für Ihren Milvus wie folgt wählen:

    -
    - [Führen Sie ein rollendes Upgrade durch](#conduct-a-rolling-upgrade) von Milvus v2.2.3 und späteren Versionen auf v2.4.15.
    +
    - [Führen Sie ein rollendes Upgrade durch](#conduct-a-rolling-upgrade) von Milvus v2.2.3 und späteren Versionen auf v2.4.17.

    Durchführen eines rollenden Upgrades

      @@ -150,8 +172,8 @@ zilliztech/milvus 4.1.0 2.3.0 Milvus is an ope >

      Um Milvus von einer Nebenversion vor v2.2.3 auf die neueste Version zu aktualisieren, führen Sie die folgenden Befehle aus:

      -
      helm repo update
      -helm upgrade my-release zilliztech/milvus --reuse-values --version=4.1.24 # use the helm chart version here
      +
      helm repo update zilliztech
      +helm upgrade my-release zilliztech/milvus --reset-then-reuse-values --version=4.1.24 # use the helm chart version here
       

      Verwenden Sie die Helm-Diagrammversion im vorangegangenen Befehl. Einzelheiten dazu, wie Sie die Helm-Chart-Version erhalten, finden Sie unter Prüfen der Milvus-Version.

      Migrieren Sie die Metadaten

      Sobald Sie Ihren Milvus-Operator auf die neueste Version aktualisiert haben, haben Sie die folgenden Möglichkeiten:

      Durchführen eines rollenden Upgrades

      In der obigen Konfigurationsdatei setzen Sie spec.components.enableRollingUpdate auf true und spec.components.image auf die gewünschte Milvus-Version.

      Standardmäßig führt Milvus rollende Upgrades für Koordinatoren in einer geordneten Weise durch, bei der die Pod-Images der Koordinatoren nacheinander ersetzt werden. Um die Upgrade-Zeit zu verkürzen, sollten Sie spec.components.imageUpdateMode auf all setzen, damit Milvus alle Pod-Images gleichzeitig ersetzt.

      @@ -88,7 +88,7 @@ spec: components: enableRollingUpdate: true imageUpdateMode: all - image: milvusdb/milvus:v2.4.15 + image: milvusdb/milvus:v2.4.17

      Sie können spec.components.imageUpdateMode auf rollingDowngrade setzen, damit Milvus die Coordinator-Pod-Images durch eine niedrigere Version ersetzt.

      apiVersion: milvus.io/v1beta1
      @@ -101,8 +101,8 @@ spec:
           imageUpdateMode: rollingDowngrade
           image: milvusdb/milvus:<some-old-version>
       
      -

      Speichern Sie anschließend Ihre Konfiguration als YAML-Datei (z.B. milvusupgrade.yml) und wenden Sie diese Konfigurationsdatei wie folgt auf Ihre Milvus-Instanz an:

      -
      kubectl apply -f milvusupgrade.yml
      +

      Speichern Sie dann Ihre Konfiguration als YAML-Datei (z.B. milvusupgrade.yml) und patchen Sie diese Konfigurationsdatei wie folgt in Ihre Milvus-Instanz:

      +
      kubectl patch -f milvusupgrade.yml
       

      Upgrade von Milvus durch Änderung des Images

      Führen Sie dann das Folgende aus, um das Upgrade durchzuführen:

      -
      kubectl apply -f milvusupgrade.yaml
      +
      kubectl patch -f milvusupgrade.yaml
       

      Migrieren Sie die Metadaten

      Seit Milvus 2.2.0 sind die Metadaten nicht mehr mit denen früherer Versionen kompatibel. Die folgenden Beispielschnipsel gehen von einem Upgrade von Milvus 2.1.4 auf Milvus 2.4.15 aus.

      -

      1. Erstellen Sie eine .yaml Datei für die Migration von Metadaten

      Erstellen Sie eine Metadaten-Migrationsdatei. Im Folgenden finden Sie ein Beispiel. Sie müssen name, sourceVersion und targetVersion in der Konfigurationsdatei angeben. Im folgenden Beispiel wird name auf my-release-upgrade, sourceVersion auf v2.1.4 und targetVersion auf v2.4.15 gesetzt. Dies bedeutet, dass Ihr Milvus-Cluster von v2.1.4 auf v2.4.15 aktualisiert wird.

      +

      Seit Milvus 2.2.0 sind die Metadaten nicht mehr mit denen früherer Versionen kompatibel. Die folgenden Beispielschnipsel gehen von einem Upgrade von Milvus 2.1.4 auf Milvus 2.4.17 aus.

      +

      1. Erstellen Sie eine .yaml Datei für die Metadaten-Migration

      Erstellen Sie eine Metadaten-Migrationsdatei. Im Folgenden finden Sie ein Beispiel. Sie müssen name, sourceVersion und targetVersion in der Konfigurationsdatei angeben. Im folgenden Beispiel wird name auf my-release-upgrade, sourceVersion auf v2.1.4 und targetVersion auf v2.4.17 gesetzt. Dies bedeutet, dass Ihr Milvus-Cluster von v2.1.4 auf v2.4.17 aktualisiert wird.

      apiVersion: milvus.io/v1beta1
       kind: MilvusUpgrade
       metadata:
      @@ -159,17 +159,17 @@ spec:
           namespace: default
           name: my-release
         sourceVersion: "v2.1.4"
      -  targetVersion: "v2.4.15"
      +  targetVersion: "v2.4.17"
         # below are some omit default values:
      -  # targetImage: "milvusdb/milvus:v2.4.15"
      +  # targetImage: "milvusdb/milvus:v2.4.17"
         # toolImage: "milvusdb/meta-migration:v2.2.0"
         # operation: upgrade
         # rollbackIfFailed: true
         # backupPVC: ""
         # maxRetry: 3
       
      -

      2. Übernehmen Sie die neue Konfiguration

      Führen Sie den folgenden Befehl aus, um die neue Konfiguration anzuwenden.

      -
      $ kubectl apply -f https://github.com/zilliztech/milvus-operator/blob/main/config/samples/beta/milvusupgrade.yaml
      +

      2. Übernehmen Sie die neue Konfiguration

      Führen Sie den folgenden Befehl aus, um die neue Konfiguration zu erstellen.

      +
      $ kubectl create -f https://github.com/zilliztech/milvus-operator/blob/main/config/samples/beta/milvusupgrade.yaml
       

      3. Überprüfen Sie den Status der Metadaten-Migration

      Führen Sie den folgenden Befehl aus, um den Status Ihrer Metadaten-Migration zu überprüfen.

      kubectl describe milvus release-name
      diff --git a/localization/v2.4.x/site/de/adminGuide/upgrade_milvus_standalone-docker.json b/localization/v2.4.x/site/de/adminGuide/upgrade_milvus_standalone-docker.json
      index 4b71efecf..8b9e978b8 100644
      --- a/localization/v2.4.x/site/de/adminGuide/upgrade_milvus_standalone-docker.json
      +++ b/localization/v2.4.x/site/de/adminGuide/upgrade_milvus_standalone-docker.json
      @@ -1 +1 @@
      -{"codeList":["...\nstandalone:\n  container_name: milvus-standalone\n  image: milvusdb/milvus:v2.4.15\n","docker compose down\ndocker compose up -d\n","docker stop \n","# migration.yaml\ncmd:\n  # Option: run/backup/rollback\n  type: run\n  runWithBackup: true\nconfig:\n  sourceVersion: 2.1.4   # Specify your milvus version\n  targetVersion: 2.4.15\n  backupFilePath: /tmp/migration.bak\nmetastore:\n  type: etcd\netcd:\n  endpoints:\n    - milvus-etcd:2379  # Use the etcd container name\n  rootPath: by-dev # The root path where data is stored in etcd\n  metaSubPath: meta\n  kvSubPath: kv\n","# Suppose your docker-compose run with the default milvus network,\n# and you put migration.yaml in the same directory with docker-compose.yaml.\ndocker run --rm -it --network milvus -v $(pwd)/migration.yaml:/milvus/configs/migration.yaml milvusdb/meta-migration:v2.2.0 /milvus/bin/meta-migration -config=/milvus/configs/migration.yaml\n","// Run the following only after update the milvus image tag in the docker-compose.yaml\ndocker compose down\ndocker compose up -d\n"],"headingContent":"Upgrade Milvus Standalone with Docker Compose","anchorList":[{"label":"Upgrade von Milvus Standalone mit Docker Compose","href":"Upgrade-Milvus-Standalone-with-Docker-Compose","type":1,"isActive":false},{"label":"Upgrade von Milvus durch Ändern des Images","href":"Upgrade-Milvus-by-changing-its-image","type":2,"isActive":false},{"label":"Migrieren Sie die Metadaten","href":"Migrate-the-metadata","type":2,"isActive":false},{"label":"Wie geht es weiter?","href":"Whats-next","type":2,"isActive":false}]}
      \ No newline at end of file
      +{"codeList":["...\nstandalone:\n  container_name: milvus-standalone\n  image: milvusdb/milvus:v2.4.17\n","docker compose down\ndocker compose up -d\n","docker stop \n","# migration.yaml\ncmd:\n  # Option: run/backup/rollback\n  type: run\n  runWithBackup: true\nconfig:\n  sourceVersion: 2.1.4   # Specify your milvus version\n  targetVersion: 2.4.17\n  backupFilePath: /tmp/migration.bak\nmetastore:\n  type: etcd\netcd:\n  endpoints:\n    - milvus-etcd:2379  # Use the etcd container name\n  rootPath: by-dev # The root path where data is stored in etcd\n  metaSubPath: meta\n  kvSubPath: kv\n","# Suppose your docker-compose run with the default milvus network,\n# and you put migration.yaml in the same directory with docker-compose.yaml.\ndocker run --rm -it --network milvus -v $(pwd)/migration.yaml:/milvus/configs/migration.yaml milvusdb/meta-migration:v2.2.0 /milvus/bin/meta-migration -config=/milvus/configs/migration.yaml\n","// Run the following only after update the milvus image tag in the docker-compose.yaml\ndocker compose down\ndocker compose up -d\n"],"headingContent":"Upgrade Milvus Standalone with Docker Compose","anchorList":[{"label":"Upgrade von Milvus Standalone mit Docker Compose","href":"Upgrade-Milvus-Standalone-with-Docker-Compose","type":1,"isActive":false},{"label":"Upgrade von Milvus durch Ändern des Images","href":"Upgrade-Milvus-by-changing-its-image","type":2,"isActive":false},{"label":"Migrieren Sie die Metadaten","href":"Migrate-the-metadata","type":2,"isActive":false},{"label":"Wie geht es weiter?","href":"Whats-next","type":2,"isActive":false}]}
      \ No newline at end of file
      diff --git a/localization/v2.4.x/site/de/adminGuide/upgrade_milvus_standalone-docker.md b/localization/v2.4.x/site/de/adminGuide/upgrade_milvus_standalone-docker.md
      index 91a7f2308..5dfb30b41 100644
      --- a/localization/v2.4.x/site/de/adminGuide/upgrade_milvus_standalone-docker.md
      +++ b/localization/v2.4.x/site/de/adminGuide/upgrade_milvus_standalone-docker.md
      @@ -26,7 +26,7 @@ title: Upgrade von Milvus Standalone mit Docker Compose
               >
             
           

      Dieses Thema beschreibt, wie Sie Milvus mit Docker Compose aktualisieren können.

      -

      Im Normalfall können Sie Milvus aktualisieren, indem Sie sein Image ändern. Vor einem Upgrade von v2.1.x auf v2.4.15 müssen Sie jedoch die Metadaten migrieren.

      +

      Im Normalfall können Sie Milvus aktualisieren, indem Sie sein Image ändern. Sie müssen jedoch die Metadaten vor einem Upgrade von v2.1.x auf v2.4.17 migrieren.

      Aufgrund von Sicherheitsbedenken aktualisiert Milvus seine MinIO auf RELEASE.2023-03-20T20-16-18Z mit der Veröffentlichung von v2.2.5. Vor einem Upgrade von früheren Milvus Standalone-Versionen, die mit Docker Compose installiert wurden, sollten Sie eine Single-Node Single-Drive MinIO-Bereitstellung erstellen und die vorhandenen MinIO-Einstellungen und -Inhalte in die neue Bereitstellung migrieren. Einzelheiten hierzu finden Sie in diesem Leitfaden.

      @@ -51,7 +51,7 @@ title: Upgrade von Milvus Standalone mit Docker Compose
      ...
       standalone:
         container_name: milvus-standalone
      -  image: milvusdb/milvus:v2.4.15
      +  image: milvusdb/milvus:v2.4.17
       
    1. Führen Sie die folgenden Befehle aus, um das Upgrade durchzuführen.

      docker compose down
      @@ -85,7 +85,7 @@ cmd:
         runWithBackup: true
       config:
         sourceVersion: 2.1.4   # Specify your milvus version
      -  targetVersion: 2.4.15
      +  targetVersion: 2.4.17
         backupFilePath: /tmp/migration.bak
       metastore:
         type: etcd
      diff --git a/localization/v2.4.x/site/de/adminGuide/upgrade_milvus_standalone-helm.json b/localization/v2.4.x/site/de/adminGuide/upgrade_milvus_standalone-helm.json
      index 6868591e5..fa4fbf576 100644
      --- a/localization/v2.4.x/site/de/adminGuide/upgrade_milvus_standalone-helm.json
      +++ b/localization/v2.4.x/site/de/adminGuide/upgrade_milvus_standalone-helm.json
      @@ -1 +1 @@
      -{"codeList":["$ helm repo update\n$ helm search repo zilliztech/milvus --versions\n","helm repo add zilliztech https://zilliztech.github.io/milvus-helm\nhelm repo update\n# upgrade existing helm release\nhelm upgrade my-release zilliztech/milvus\n","NAME                    CHART VERSION   APP VERSION             DESCRIPTION                                       \nzilliztech/milvus       4.1.34          2.4.5                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.33          2.4.4                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.32          2.4.3                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.31          2.4.1                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.30          2.4.1                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.29          2.4.0                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.24          2.3.11                  Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.23          2.3.10                  Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.22          2.3.10                  Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.21          2.3.10                  Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.20          2.3.10                  Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.18          2.3.10                  Milvus is an open-source vector database built ... \nzilliztech/milvus       4.1.18          2.3.9                   Milvus is an open-source vector database built ...                                       \nzilliztech/milvus       4.1.17          2.3.8                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.16          2.3.7                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.15          2.3.5                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.14          2.3.6                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.13          2.3.5                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.12          2.3.5                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.11          2.3.4                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.10          2.3.3                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.9           2.3.3                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.8           2.3.2                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.7           2.3.2                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.6           2.3.1                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.5           2.3.1                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.4           2.3.1                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.3           2.3.1                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.2           2.3.1                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.1           2.3.0                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.0           2.3.0                   Milvus is an open-source vector database built ...\n","sh rollingUpdate.sh -n default -i my-release -o update -t 2.4.15 -w 'milvusdb/milvus:v2.4.15'\n","helm repo update\nhelm upgrade my-release milvus/milvus --reuse-values --version=4.1.24 # use the helm chart version here\n","NAME                NAMESPACE   REVISION    UPDATED                                 STATUS      CHART           APP VERSION     \nmy-release          default     1           2022-11-21 15:41:25.51539 +0800 CST     deployed    milvus-3.2.18   2.1.4\n","NAME                                            READY   STATUS    RESTARTS   AGE\nmy-release-etcd-0                               1/1     Running   0          84s\nmy-release-milvus-standalone-75c599fffc-6rwlj   1/1     Running   0          84s\nmy-release-minio-744dd9586f-qngzv               1/1     Running   0          84s\n","$ kubectl get pods my-release-milvus-proxy-6c548f787f-scspp -o=jsonpath='{$.spec.containers[0].image}'\n# milvusdb/milvus:v2.1.4\n","./migrate.sh -i my-release -s 2.1.4 -t 2.4.15\n","./migrate.sh -i my-release -n milvus -s 2.1.4 -t 2.4.15\n","./migrate.sh -i my-release -n milvus -s 2.1.4 -t 2.4.15 -r by-dev\n","./migrate.sh -i my-release -n milvus -s 2.1.4 -t 2.4.15 -r by-dev -w milvusdb/milvus:v2.4.15\n","./migrate.sh -i my-release -n milvus -s 2.1.4 -t 2.4.15 -w milvusdb/milvus:v2.4.15 -d true\n","./migrate.sh -i my-release -n milvus -s 2.1.4 -t 2.4.15 -r by-dev -o rollback -w milvusdb/milvus:v2.1.1\n./migrate.sh -i my-release -n milvus -s 2.1.4 -t 2.4.15 -r by-dev -o migrate -w milvusdb/milvus:v2.4.15\n"],"headingContent":"Upgrade Milvus Standalone with Helm Chart","anchorList":[{"label":"Upgrade von Milvus Standalone mit Helm Chart","href":"Upgrade-Milvus-Standalone-with-Helm-Chart","type":1,"isActive":false},{"label":"Überprüfen Sie die Milvus-Version","href":"Check-the-Milvus-version","type":2,"isActive":false},{"label":"Durchführen eines rollenden Upgrades","href":"Conduct-a-rolling-upgrade","type":2,"isActive":false},{"label":"Upgrade von Milvus mit Helm","href":"Upgrade-Milvus-using-Helm","type":2,"isActive":false},{"label":"Migrieren Sie die Metadaten","href":"Migrate-the-metadata","type":2,"isActive":false}]}
      \ No newline at end of file
      +{"codeList":["$ helm repo update\n$ helm search repo zilliztech/milvus --versions\n","helm repo add zilliztech https://zilliztech.github.io/milvus-helm\nhelm repo update zilliztech\n# upgrade existing helm release\nhelm upgrade my-release zilliztech/milvus --reset-then-reuse-values\n","NAME                    CHART VERSION   APP VERSION             DESCRIPTION                                       \nzilliztech/milvus       4.1.34          2.4.5                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.33          2.4.4                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.32          2.4.3                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.31          2.4.1                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.30          2.4.1                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.29          2.4.0                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.24          2.3.11                  Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.23          2.3.10                  Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.22          2.3.10                  Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.21          2.3.10                  Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.20          2.3.10                  Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.18          2.3.10                  Milvus is an open-source vector database built ... \nzilliztech/milvus       4.1.18          2.3.9                   Milvus is an open-source vector database built ...                                       \nzilliztech/milvus       4.1.17          2.3.8                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.16          2.3.7                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.15          2.3.5                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.14          2.3.6                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.13          2.3.5                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.12          2.3.5                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.11          2.3.4                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.10          2.3.3                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.9           2.3.3                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.8           2.3.2                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.7           2.3.2                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.6           2.3.1                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.5           2.3.1                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.4           2.3.1                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.3           2.3.1                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.2           2.3.1                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.1           2.3.0                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.0           2.3.0                   Milvus is an open-source vector database built ...\n","sh rollingUpdate.sh -n default -i my-release -o update -t 2.4.17 -w 'milvusdb/milvus:v2.4.17'\n","helm repo update\nhelm upgrade my-release milvus/milvus --reset-then-reuse-values --version=4.1.24 # use the helm chart version here\n","NAME                NAMESPACE   REVISION    UPDATED                                 STATUS      CHART           APP VERSION     \nmy-release          default     1           2022-11-21 15:41:25.51539 +0800 CST     deployed    milvus-3.2.18   2.1.4\n","NAME                                            READY   STATUS    RESTARTS   AGE\nmy-release-etcd-0                               1/1     Running   0          84s\nmy-release-milvus-standalone-75c599fffc-6rwlj   1/1     Running   0          84s\nmy-release-minio-744dd9586f-qngzv               1/1     Running   0          84s\n","$ kubectl get pods my-release-milvus-proxy-6c548f787f-scspp -o=jsonpath='{$.spec.containers[0].image}'\n# milvusdb/milvus:v2.1.4\n","./migrate.sh -i my-release -s 2.1.4 -t 2.4.17\n","./migrate.sh -i my-release -n milvus -s 2.1.4 -t 2.4.17\n","./migrate.sh -i my-release -n milvus -s 2.1.4 -t 2.4.17 -r by-dev\n","./migrate.sh -i my-release -n milvus -s 2.1.4 -t 2.4.17 -r by-dev -w milvusdb/milvus:v2.4.17\n","./migrate.sh -i my-release -n milvus -s 2.1.4 -t 2.4.17 -w milvusdb/milvus:v2.4.17 -d true\n","./migrate.sh -i my-release -n milvus -s 2.1.4 -t 2.4.17 -r by-dev -o rollback -w milvusdb/milvus:v2.1.1\n./migrate.sh -i my-release -n milvus -s 2.1.4 -t 2.4.17 -r by-dev -o migrate -w milvusdb/milvus:v2.4.17\n"],"headingContent":"Upgrade Milvus Standalone with Helm Chart","anchorList":[{"label":"Upgrade von Milvus Standalone mit Helm Chart","href":"Upgrade-Milvus-Standalone-with-Helm-Chart","type":1,"isActive":false},{"label":"Voraussetzungen","href":"Prerequisites","type":2,"isActive":false},{"label":"Prüfen Sie die Milvus-Version","href":"Check-the-Milvus-version","type":2,"isActive":false},{"label":"Durchführen eines rollenden Upgrades","href":"Conduct-a-rolling-upgrade","type":2,"isActive":false},{"label":"Upgrade von Milvus mit Helm","href":"Upgrade-Milvus-using-Helm","type":2,"isActive":false},{"label":"Migrieren Sie die Metadaten","href":"Migrate-the-metadata","type":2,"isActive":false}]}
      \ No newline at end of file
      diff --git a/localization/v2.4.x/site/de/adminGuide/upgrade_milvus_standalone-helm.md b/localization/v2.4.x/site/de/adminGuide/upgrade_milvus_standalone-helm.md
      index c09b7a2e6..2101ef213 100644
      --- a/localization/v2.4.x/site/de/adminGuide/upgrade_milvus_standalone-helm.md
      +++ b/localization/v2.4.x/site/de/adminGuide/upgrade_milvus_standalone-helm.md
      @@ -23,8 +23,30 @@ title: Upgrade von Milvus Standalone mit Helm Chart
                 d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
               >
             
      -    

      Diese Anleitung beschreibt, wie Sie Ihr Milvus Standalone mit Milvus Helm Charts aktualisieren.

      -

      Überprüfen Sie die Milvus-Version

      Diese Anleitung beschreibt, wie Sie Ihr Milvus Standalone mit Milvus Helm Charts aufrüsten.

      +

      Voraussetzungen

        +
      • Helm-Version >= 3.14.0
      • +
      • Kubernetes-Version >= 1.20.0
      • +
      +
      +

      Seit Milvus-Helm Chart Version 4.2.21 haben wir pulsar-v3.x Chart als Abhängigkeit eingeführt. Aus Gründen der Abwärtskompatibilität aktualisieren Sie bitte Ihren Helm auf v3.14 oder eine neuere Version und fügen Sie unbedingt die Option --reset-then-reuse-values hinzu, wenn Sie helm upgrade verwenden.

      +
      +

      Prüfen Sie die Milvus-Version

      -

      Das Milvus Helm Charts Repo auf https://milvus-io.github.io/milvus-helm/ wurde archiviert und Sie können weitere Updates von https://zilliztech.github.io/milvus-helm/ wie folgt erhalten:

      +

      Das Milvus Helm Charts Repo unter https://milvus-io.github.io/milvus-helm/ wurde archiviert und Sie können weitere Updates von https://zilliztech.github.io/milvus-helm/ wie folgt erhalten:

      helm repo add zilliztech https://zilliztech.github.io/milvus-helm
      -helm repo update
      +helm repo update zilliztech
       # upgrade existing helm release
      -helm upgrade my-release zilliztech/milvus
      +helm upgrade my-release zilliztech/milvus --reset-then-reuse-values
       

      Das archivierte Repo ist weiterhin für die Charts bis 4.0.31 verfügbar. Für spätere Versionen verwenden Sie stattdessen das neue Repo.

      @@ -86,10 +108,10 @@ zilliztech/milvus 4.1.1 2.3.0 Milvus is an ope zilliztech/milvus 4.1.0 2.3.0 Milvus is an open-source vector database built ...
    2. Sie können den Upgrade-Pfad für Ihren Milvus wie folgt wählen:

      -
      - [Führen Sie ein rollendes Upgrade durch](#conduct-a-rolling-upgrade) von Milvus v2.2.3 und späteren Versionen auf v2.4.15.
      +
      - [Führen Sie ein rollendes Upgrade durch](#conduct-a-rolling-upgrade) von Milvus v2.2.3 und späteren Versionen auf v2.4.17.

      Durchführen eines rollenden Upgrades

        @@ -152,7 +174,7 @@ zilliztech/milvus 4.1.0 2.3.0 Milvus is an ope

        Um Milvus von einer Nebenversion vor v2.2.3 auf die neueste Version zu aktualisieren, führen Sie die folgenden Befehle aus:

        helm repo update
        -helm upgrade my-release milvus/milvus --reuse-values --version=4.1.24 # use the helm chart version here
        +helm upgrade my-release milvus/milvus --reset-then-reuse-values --version=4.1.24 # use the helm chart version here
         

        Verwenden Sie die Helm-Diagrammversion im vorangegangenen Befehl. Einzelheiten dazu, wie Sie die Helm-Chart-Version erhalten, finden Sie unter Prüfen der Milvus-Version.

        Migrieren Sie die Metadaten

        Führen Sie $ helm list aus, um die Version Ihrer Milvus-App zu überprüfen. Sie können sehen, dass APP VERSION 2.1.4 ist.

        +

        1. Prüfen Sie die Milvus-Version

        Führen Sie $ helm list aus, um die Version Ihrer Milvus-Anwendung zu überprüfen. Sie können sehen, dass APP VERSION 2.1.4 ist.

        NAME                NAMESPACE   REVISION    UPDATED                                 STATUS      CHART           APP VERSION     
         my-release          default     1           2022-11-21 15:41:25.51539 +0800 CST     deployed    milvus-3.2.18   2.1.4
         
        @@ -187,7 +209,7 @@ my-release-minio-744dd9586f-qngzv 1/1 Running 0 84s

        4. Migrieren Sie die Metadaten

        Eine wichtige Änderung in Milvus 2.2 ist die Metadatenstruktur der Segmentindizes. Daher müssen Sie Helm verwenden, um die Metadaten beim Upgrade von Milvus von v2.1.x auf v2.2.0 zu migrieren. Hier finden Sie ein Skript, mit dem Sie Ihre Metadaten sicher migrieren können.

        Dieses Skript gilt nur für Milvus, das auf einem K8s-Cluster installiert ist. Wenn während des Prozesses ein Fehler auftritt, sollten Sie zunächst mit der Rollback-Operation auf die vorherige Version zurückkehren.

        -

        In der folgenden Tabelle sind die Operationen aufgeführt, die Sie bei der Migration von Metadaten durchführen können.

        +

        In der folgenden Tabelle sind die Operationen aufgeführt, die Sie für die Metamigration durchführen können.

        @@ -213,25 +235,25 @@ my-release-minio-744dd9586f-qngzv 1/1 Running 0 84s
      1. Migrieren Sie die Milvus-Metadaten.
      2. Starten Sie die Milvus-Komponenten mit einem neuen Image.
      3. -

        2. Upgrade von Milvus von v2.1.x auf 2.4.15

        Die folgenden Befehle gehen davon aus, dass Sie Milvus von v2.1.4 auf 2.4.15 aktualisieren. Ändern Sie sie auf die Versionen, die Ihren Anforderungen entsprechen.

        +

        2. Upgrade von Milvus von v2.1.x auf 2.4.17

        Die folgenden Befehle gehen davon aus, dass Sie Milvus von v2.1.4 auf 2.4.17 aktualisieren. Ändern Sie sie auf die Versionen, die Ihren Anforderungen entsprechen.

        1. Geben Sie den Namen der Milvus-Instanz, die Quell-Milvus-Version und die Ziel-Milvus-Version an.

          -
          ./migrate.sh -i my-release -s 2.1.4 -t 2.4.15
          +
          ./migrate.sh -i my-release -s 2.1.4 -t 2.4.17
           
        2. Geben Sie den Namespace mit -n an, wenn Ihr Milvus nicht im Standard-Namespace von K8s installiert ist.

          -
          ./migrate.sh -i my-release -n milvus -s 2.1.4 -t 2.4.15
          +
          ./migrate.sh -i my-release -n milvus -s 2.1.4 -t 2.4.17
           
        3. -
        4. Geben Sie den Wurzelpfad mit -r an, wenn Ihr Milvus mit dem benutzerdefinierten rootpath installiert wurde.

          -
          ./migrate.sh -i my-release -n milvus -s 2.1.4 -t 2.4.15 -r by-dev
          +
        5. Geben Sie den Wurzelpfad mit -r an, wenn Ihr Milvus mit dem benutzerdefinierten rootpath installiert ist.

          +
          ./migrate.sh -i my-release -n milvus -s 2.1.4 -t 2.4.17 -r by-dev
           
        6. Geben Sie das Bild-Tag mit -w an, wenn Ihr Milvus mit einem benutzerdefinierten image installiert ist.

          -
          ./migrate.sh -i my-release -n milvus -s 2.1.4 -t 2.4.15 -r by-dev -w milvusdb/milvus:v2.4.15
          +
          ./migrate.sh -i my-release -n milvus -s 2.1.4 -t 2.4.17 -r by-dev -w milvusdb/milvus:v2.4.17
           
        7. Legen Sie -d true fest, wenn Sie den Migrations-Pod automatisch entfernen möchten, nachdem die Migration abgeschlossen ist.

          -
          ./migrate.sh -i my-release -n milvus -s 2.1.4 -t 2.4.15 -w milvusdb/milvus:v2.4.15 -d true
          +
          ./migrate.sh -i my-release -n milvus -s 2.1.4 -t 2.4.17 -w milvusdb/milvus:v2.4.17 -d true
           
        8. Machen Sie einen Rollback und migrieren Sie erneut, wenn die Migration fehlschlägt.

          -
          ./migrate.sh -i my-release -n milvus -s 2.1.4 -t 2.4.15 -r by-dev -o rollback -w milvusdb/milvus:v2.1.1
          -./migrate.sh -i my-release -n milvus -s 2.1.4 -t 2.4.15 -r by-dev -o migrate -w milvusdb/milvus:v2.4.15
          +
          ./migrate.sh -i my-release -n milvus -s 2.1.4 -t 2.4.17 -r by-dev -o rollback -w milvusdb/milvus:v2.1.1
          +./migrate.sh -i my-release -n milvus -s 2.1.4 -t 2.4.17 -r by-dev -o migrate -w milvusdb/milvus:v2.4.17
           
        diff --git a/localization/v2.4.x/site/de/adminGuide/upgrade_milvus_standalone-operator.json b/localization/v2.4.x/site/de/adminGuide/upgrade_milvus_standalone-operator.json index e1f1607a0..f7811e301 100644 --- a/localization/v2.4.x/site/de/adminGuide/upgrade_milvus_standalone-operator.json +++ b/localization/v2.4.x/site/de/adminGuide/upgrade_milvus_standalone-operator.json @@ -1 +1 @@ -{"codeList":["helm repo add zilliztech-milvus-operator https://zilliztech.github.io/milvus-operator/\nhelm repo update zilliztech-milvus-operator\nhelm -n milvus-operator upgrade milvus-operator zilliztech-milvus-operator/milvus-operator\n","apiVersion: milvus.io/v1beta1\nkind: Milvus\nmetadata:\n name: my-release\nspec:\n components:\n enableRollingUpdate: true\n imageUpdateMode: rollingUpgrade # Default value, can be omitted\n image: milvusdb/milvus:v2.4.15\n","apiVersion: milvus.io/v1beta1\nkind: Milvus\nmetadata:\n name: my-release\nspec:\n components:\n enableRollingUpdate: true\n imageUpdateMode: all\n image: milvusdb/milvus:v2.4.15\n","apiVersion: milvus.io/v1beta1\nkind: Milvus\nmetadata:\n name: my-release\nspec:\n components:\n enableRollingUpdate: true\n imageUpdateMode: rollingDowngrade\n image: milvusdb/milvus:\n","kubectl apply -f milvusupgrade.yml\n","apiVersion: milvus.io/v1beta1\nkind: Milvus\nmetadata:\n name: my-release\nlabels:\n app: milvus\nspec:\n # Omit other fields ...\n components:\n image: milvusdb/milvus:v2.4.15\n","kubectl apply -f milvusupgrade.yaml\n","apiVersion: milvus.io/v1beta1\nkind: MilvusUpgrade\nmetadata:\n name: my-release-upgrade\nspec:\n milvus:\n namespace: default\n name: my-release\n sourceVersion: \"v2.1.4\"\n targetVersion: \"v2.4.15\"\n # below are some omit default values:\n # targetImage: \"milvusdb/milvus:v2.4.15\"\n # toolImage: \"milvusdb/meta-migration:v2.2.0\"\n # operation: upgrade\n # rollbackIfFailed: true\n # backupPVC: \"\"\n # maxRetry: 3\n","$ kubectl apply -f https://raw.githubusercontent.com/zilliztech/milvus-operator/main/config/samples/milvusupgrade.yaml\n","kubectl describe milvus release-name\n"],"headingContent":"Upgrade Milvus Standalone with Milvus Operator","anchorList":[{"label":"Aufrüstung von Milvus Standalone mit Milvus Operator","href":"Upgrade-Milvus-Standalone-with-Milvus-Operator","type":1,"isActive":false},{"label":"Aktualisieren Sie Ihren Milvus Operator","href":"Upgrade-your-Milvus-operator","type":2,"isActive":false},{"label":"Durchführen eines rollenden Upgrades","href":"Conduct-a-rolling-upgrade","type":2,"isActive":false},{"label":"Upgrade von Milvus durch Änderung des Images","href":"Upgrade-Milvus-by-changing-its-image","type":2,"isActive":false},{"label":"Migrieren Sie die Metadaten","href":"Migrate-the-metadata","type":2,"isActive":false}]} \ No newline at end of file +{"codeList":["helm repo add zilliztech-milvus-operator https://zilliztech.github.io/milvus-operator/\nhelm repo update zilliztech-milvus-operator\nhelm -n milvus-operator upgrade milvus-operator zilliztech-milvus-operator/milvus-operator\n","apiVersion: milvus.io/v1beta1\nkind: Milvus\nmetadata:\n name: my-release\nspec:\n components:\n enableRollingUpdate: true\n imageUpdateMode: rollingUpgrade # Default value, can be omitted\n image: milvusdb/milvus:v2.4.17\n","apiVersion: milvus.io/v1beta1\nkind: Milvus\nmetadata:\n name: my-release\nspec:\n components:\n enableRollingUpdate: true\n imageUpdateMode: all\n image: milvusdb/milvus:v2.4.17\n","apiVersion: milvus.io/v1beta1\nkind: Milvus\nmetadata:\n name: my-release\nspec:\n components:\n enableRollingUpdate: true\n imageUpdateMode: rollingDowngrade\n image: milvusdb/milvus:\n","kubectl patch -f milvusupgrade.yml\n","apiVersion: milvus.io/v1beta1\nkind: Milvus\nmetadata:\n name: my-release\nlabels:\n app: milvus\nspec:\n # Omit other fields ...\n components:\n image: milvusdb/milvus:v2.4.17\n","kubectl patch -f milvusupgrade.yaml\n","apiVersion: milvus.io/v1beta1\nkind: MilvusUpgrade\nmetadata:\n name: my-release-upgrade\nspec:\n milvus:\n namespace: default\n name: my-release\n sourceVersion: \"v2.1.4\"\n targetVersion: \"v2.4.17\"\n # below are some omit default values:\n # targetImage: \"milvusdb/milvus:v2.4.17\"\n # toolImage: \"milvusdb/meta-migration:v2.2.0\"\n # operation: upgrade\n # rollbackIfFailed: true\n # backupPVC: \"\"\n # maxRetry: 3\n","$ kubectl create -f https://raw.githubusercontent.com/zilliztech/milvus-operator/main/config/samples/milvusupgrade.yaml\n","kubectl describe milvus release-name\n"],"headingContent":"Upgrade Milvus Standalone with Milvus Operator","anchorList":[{"label":"Aufrüstung von Milvus Standalone mit Milvus Operator","href":"Upgrade-Milvus-Standalone-with-Milvus-Operator","type":1,"isActive":false},{"label":"Aktualisieren Sie Ihren Milvus Operator","href":"Upgrade-your-Milvus-operator","type":2,"isActive":false},{"label":"Durchführen eines rollenden Upgrades","href":"Conduct-a-rolling-upgrade","type":2,"isActive":false},{"label":"Upgrade von Milvus durch Änderung des Images","href":"Upgrade-Milvus-by-changing-its-image","type":2,"isActive":false},{"label":"Migrieren Sie die Metadaten","href":"Migrate-the-metadata","type":2,"isActive":false}]} \ No newline at end of file diff --git a/localization/v2.4.x/site/de/adminGuide/upgrade_milvus_standalone-operator.md b/localization/v2.4.x/site/de/adminGuide/upgrade_milvus_standalone-operator.md index 04ef82400..b61a7ab09 100644 --- a/localization/v2.4.x/site/de/adminGuide/upgrade_milvus_standalone-operator.md +++ b/localization/v2.4.x/site/de/adminGuide/upgrade_milvus_standalone-operator.md @@ -9,7 +9,7 @@ summary: >- können. title: Aufrüstung von Milvus Standalone mit Milvus Operator --- - +

        Aufrüstung von Milvus Standalone mit Milvus Operator

        Sobald Sie Ihren Milvus-Operator auf die neueste Version aktualisiert haben, haben Sie die folgenden Möglichkeiten:

        Durchführen eines rollenden Upgrades

        In der obigen Konfigurationsdatei setzen Sie spec.components.enableRollingUpdate auf true und spec.components.image auf die gewünschte Milvus-Version.

        Standardmäßig führt Milvus ein Rolling Upgrade für Koordinatoren in geordneter Weise durch, wobei die Pod-Images der Koordinatoren nacheinander ersetzt werden. Um die Upgrade-Zeit zu verkürzen, sollten Sie spec.components.imageUpdateMode auf all setzen, damit Milvus alle Pod-Images gleichzeitig ersetzt.

        @@ -90,7 +90,7 @@ spec: components: enableRollingUpdate: true imageUpdateMode: all - image: milvusdb/milvus:v2.4.15 + image: milvusdb/milvus:v2.4.17

        Sie können spec.components.imageUpdateMode auf rollingDowngrade setzen, damit Milvus die Coordinator-Pod-Images durch eine niedrigere Version ersetzt.

        apiVersion: milvus.io/v1beta1
        @@ -103,8 +103,8 @@ spec:
             imageUpdateMode: rollingDowngrade
             image: milvusdb/milvus:<some-older-version>
         
        -

        Speichern Sie anschließend Ihre Konfiguration als YAML-Datei (z.B. milvusupgrade.yml) und wenden Sie diese Konfigurationsdatei wie folgt auf Ihre Milvus-Instanz an:

        -
        kubectl apply -f milvusupgrade.yml
        +

        Speichern Sie dann Ihre Konfiguration als YAML-Datei (z.B. milvusupgrade.yml) und patchen Sie diese Konfigurationsdatei wie folgt in Ihre Milvus-Instanz:

        +
        kubectl patch -f milvusupgrade.yml
         

        Upgrade von Milvus durch Änderung des Images

        Führen Sie dann das Folgende aus, um das Upgrade durchzuführen:

        -
        kubectl apply -f milvusupgrade.yaml
        +
        kubectl patch -f milvusupgrade.yaml
         

        Migrieren Sie die Metadaten

        Seit Milvus 2.2.0 sind die Metadaten nicht mehr mit denen früherer Versionen kompatibel. Die folgenden Beispielschnipsel gehen von einem Upgrade von Milvus 2.1.4 auf Milvus v2.4.15 aus.

        -

        1. Erstellen Sie eine .yaml Datei für die Migration von Metadaten

        Erstellen Sie eine Metadaten-Migrationsdatei. Im Folgenden finden Sie ein Beispiel. Sie müssen name, sourceVersion und targetVersion in der Konfigurationsdatei angeben. Im folgenden Beispiel wird name auf my-release-upgrade, sourceVersion auf v2.1.4 und targetVersion auf v2.4.15 gesetzt. Dies bedeutet, dass Ihre Milvus-Instanz von v2.1.4 auf v2.4.15 aktualisiert wird.

        +

        Seit Milvus 2.2.0 sind die Metadaten nicht mehr mit denen früherer Versionen kompatibel. Die folgenden Beispielschnipsel gehen von einem Upgrade von Milvus 2.1.4 auf Milvus v2.4.17 aus.

        +

        1. Erstellen Sie eine .yaml Datei für die Migration von Metadaten

        Erstellen Sie eine Metadaten-Migrationsdatei. Im Folgenden finden Sie ein Beispiel. Sie müssen name, sourceVersion und targetVersion in der Konfigurationsdatei angeben. Im folgenden Beispiel wird name auf my-release-upgrade, sourceVersion auf v2.1.4 und targetVersion auf v2.4.17 gesetzt. Dies bedeutet, dass Ihre Milvus-Instanz von v2.1.4 auf v2.4.17 aktualisiert wird.

        apiVersion: milvus.io/v1beta1
         kind: MilvusUpgrade
         metadata:
        @@ -163,9 +163,9 @@ spec:
             namespace: default
             name: my-release
           sourceVersion: "v2.1.4"
        -  targetVersion: "v2.4.15"
        +  targetVersion: "v2.4.17"
           # below are some omit default values:
        -  # targetImage: "milvusdb/milvus:v2.4.15"
        +  # targetImage: "milvusdb/milvus:v2.4.17"
           # toolImage: "milvusdb/meta-migration:v2.2.0"
           # operation: upgrade
           # rollbackIfFailed: true
        @@ -173,7 +173,7 @@ spec:
           # maxRetry: 3
         

        2. Übernehmen Sie die neue Konfiguration

        Führen Sie den folgenden Befehl aus, um die neue Konfiguration anzuwenden.

        -
        $ kubectl apply -f https://raw.githubusercontent.com/zilliztech/milvus-operator/main/config/samples/milvusupgrade.yaml
        +
        $ kubectl create -f https://raw.githubusercontent.com/zilliztech/milvus-operator/main/config/samples/milvusupgrade.yaml
         

        3. Prüfen Sie den Status der Metadaten-Migration

        Führen Sie den folgenden Befehl aus, um den Status Ihrer Metadaten-Migration zu überprüfen.

        kubectl describe milvus release-name
        diff --git a/localization/v2.4.x/site/de/getstarted/run-milvus-docker/install_standalone-docker-compose.json b/localization/v2.4.x/site/de/getstarted/run-milvus-docker/install_standalone-docker-compose.json
        index e164e59bc..e74ad6363 100644
        --- a/localization/v2.4.x/site/de/getstarted/run-milvus-docker/install_standalone-docker-compose.json
        +++ b/localization/v2.4.x/site/de/getstarted/run-milvus-docker/install_standalone-docker-compose.json
        @@ -1 +1 @@
        -{"codeList":["# Download the configuration file\n$ wget https://github.com/milvus-io/milvus/releases/download/v2.4.15/milvus-standalone-docker-compose.yml -O docker-compose.yml\n\n# Start Milvus\n$ sudo docker-compose up -d\n\nCreating milvus-etcd  ... done\nCreating milvus-minio ... done\nCreating milvus-standalone ... done\n","$ sudo docker-compose ps\n\n      Name                     Command                  State                            Ports\n--------------------------------------------------------------------------------------------------------------------\nmilvus-etcd         etcd -advertise-client-url ...   Up             2379/tcp, 2380/tcp\nmilvus-minio        /usr/bin/docker-entrypoint ...   Up (healthy)   9000/tcp\nmilvus-standalone   /tini -- milvus run standalone   Up             0.0.0.0:19530->19530/tcp, 0.0.0.0:9091->9091/tcp\n","# Stop Milvus\n$ sudo docker-compose down\n\n# Delete service data\n$ sudo rm -rf volumes\n"],"headingContent":"Run Milvus with Docker Compose","anchorList":[{"label":"Milvus mit Docker Compose starten","href":"Run-Milvus-with-Docker-Compose","type":1,"isActive":false},{"label":"Voraussetzungen","href":"Prerequisites","type":2,"isActive":false},{"label":"Milvus installieren","href":"Install-Milvus","type":2,"isActive":false},{"label":"Wie geht es weiter?","href":"Whats-next","type":2,"isActive":false}]}
        \ No newline at end of file
        +{"codeList":["# Download the configuration file\n$ wget https://github.com/milvus-io/milvus/releases/download/v2.4.17/milvus-standalone-docker-compose.yml -O docker-compose.yml\n\n# Start Milvus\n$ sudo docker-compose up -d\n\nCreating milvus-etcd  ... done\nCreating milvus-minio ... done\nCreating milvus-standalone ... done\n","$ sudo docker-compose ps\n\n      Name                     Command                  State                            Ports\n--------------------------------------------------------------------------------------------------------------------\nmilvus-etcd         etcd -advertise-client-url ...   Up             2379/tcp, 2380/tcp\nmilvus-minio        /usr/bin/docker-entrypoint ...   Up (healthy)   9000/tcp\nmilvus-standalone   /tini -- milvus run standalone   Up             0.0.0.0:19530->19530/tcp, 0.0.0.0:9091->9091/tcp\n","# Stop Milvus\n$ sudo docker-compose down\n\n# Delete service data\n$ sudo rm -rf volumes\n"],"headingContent":"Run Milvus with Docker Compose","anchorList":[{"label":"Milvus mit Docker Compose starten","href":"Run-Milvus-with-Docker-Compose","type":1,"isActive":false},{"label":"Voraussetzungen","href":"Prerequisites","type":2,"isActive":false},{"label":"Milvus installieren","href":"Install-Milvus","type":2,"isActive":false},{"label":"Wie geht es weiter?","href":"Whats-next","type":2,"isActive":false}]}
        \ No newline at end of file
        diff --git a/localization/v2.4.x/site/de/getstarted/run-milvus-docker/install_standalone-docker-compose.md b/localization/v2.4.x/site/de/getstarted/run-milvus-docker/install_standalone-docker-compose.md
        index c3caded3f..6adb2248f 100644
        --- a/localization/v2.4.x/site/de/getstarted/run-milvus-docker/install_standalone-docker-compose.md
        +++ b/localization/v2.4.x/site/de/getstarted/run-milvus-docker/install_standalone-docker-compose.md
        @@ -20,7 +20,7 @@ title: Milvus mit Docker Compose starten
                   d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
                 >
               
        -    

        Diese Seite veranschaulicht, wie man eine Milvus-Instanz in Docker mit Docker Compose startet.

        +

        Diese Seite veranschaulicht, wie Sie eine Milvus-Instanz in Docker mit Docker Compose starten können.

        Voraussetzungen

        Milvus installieren

        Milvus bietet eine Docker Compose-Konfigurationsdatei im Milvus-Repository. Um Milvus mit Docker Compose zu installieren, führen Sie einfach folgenden Befehl aus

        # Download the configuration file
        -$ wget https://github.com/milvus-io/milvus/releases/download/v2.4.15/milvus-standalone-docker-compose.yml -O docker-compose.yml
        +$ wget https://github.com/milvus-io/milvus/releases/download/v2.4.17/milvus-standalone-docker-compose.yml -O docker-compose.yml
         
         # Start Milvus
         $ sudo docker-compose up -d
        @@ -132,7 +132,7 @@ $ sudo rm
         
      4. Microsoft Azure
      5. Erkunden Sie Milvus Backup, ein Open-Source-Tool für Milvus-Datensicherungen.

      6. -
      7. Birdwatcher, ein Open-Source-Tool zur Fehlersuche in Milvus und für dynamische Konfigurations-Updates.

      8. +
      9. Birdwatcher, ein Open-Source-Tool zum Debuggen von Milvus und dynamischen Konfigurations-Updates.

      10. Entdecken Sie Attu, ein Open-Source-GUI-Tool für die intuitive Milvus-Verwaltung.

      11. Überwachen Sie Milvus mit Prometheus.

      12. diff --git a/localization/v2.4.x/site/de/getstarted/run-milvus-gpu/install_standalone-docker-compose-gpu.json b/localization/v2.4.x/site/de/getstarted/run-milvus-gpu/install_standalone-docker-compose-gpu.json index e9a8cc2ea..ad2912973 100644 --- a/localization/v2.4.x/site/de/getstarted/run-milvus-gpu/install_standalone-docker-compose-gpu.json +++ b/localization/v2.4.x/site/de/getstarted/run-milvus-gpu/install_standalone-docker-compose-gpu.json @@ -1 +1 @@ -{"codeList":["$ wget https://github.com/milvus-io/milvus/releases/download/v2.4.15/milvus-standalone-docker-compose-gpu.yml -O docker-compose.yml\n","...\nstandalone:\n ...\n deploy:\n resources:\n reservations:\n devices:\n - driver: nvidia\n capabilities: [\"gpu\"]\n device_ids: [\"0\"]\n...\n","...\nstandalone:\n ...\n deploy:\n resources:\n reservations:\n devices:\n - driver: nvidia\n capabilities: [\"gpu\"]\n device_ids: ['0', '1']\n...\n","$ sudo docker compose up -d\n\nCreating milvus-etcd ... done\nCreating milvus-minio ... done\nCreating milvus-standalone ... done\n","$ sudo docker compose ps\n\n Name Command State Ports\n--------------------------------------------------------------------------------------------------------------------\nmilvus-etcd etcd -advertise-client-url ... Up 2379/tcp, 2380/tcp\nmilvus-minio /usr/bin/docker-entrypoint ... Up (healthy) 9000/tcp\nmilvus-standalone /tini -- milvus run standalone Up 0.0.0.0:19530->19530/tcp, 0.0.0.0:9091->9091/tcp\n","$ CUDA_VISIBLE_DEVICES=0 ./milvus run standalone\n","$ CUDA_VISIBLE_DEVICES=0,1 ./milvus run standalone\n","# Stop Milvus\n$ sudo docker compose down\n\n# Delete service data\n$ sudo rm -rf volumes\n","docker cp :/milvus/configs/milvus.yaml milvus.yaml\n","vim milvus.yaml\n","...\ngpu:\n initMemSize: 0\n maxMemSize: 0\n...\n","docker cp milvus.yaml :/milvus/configs/milvus.yaml\n","docker stop \ndocker start \n"],"headingContent":"Run Milvus with GPU Support Using Docker Compose","anchorList":[{"label":"Milvus mit GPU-Unterstützung mit Docker Compose starten","href":"Run-Milvus-with-GPU-Support-Using-Docker-Compose","type":1,"isActive":false},{"label":"Voraussetzungen","href":"Prerequisites","type":2,"isActive":false},{"label":"Milvus installieren","href":"Install-Milvus","type":2,"isActive":false},{"label":"Speicherpool konfigurieren","href":"Configure-memory-pool","type":2,"isActive":false},{"label":"Wie geht es weiter?","href":"Whats-next","type":2,"isActive":false}]} \ No newline at end of file +{"codeList":["$ wget https://github.com/milvus-io/milvus/releases/download/v2.4.17/milvus-standalone-docker-compose-gpu.yml -O docker-compose.yml\n","...\nstandalone:\n ...\n deploy:\n resources:\n reservations:\n devices:\n - driver: nvidia\n capabilities: [\"gpu\"]\n device_ids: [\"0\"]\n...\n","...\nstandalone:\n ...\n deploy:\n resources:\n reservations:\n devices:\n - driver: nvidia\n capabilities: [\"gpu\"]\n device_ids: ['0', '1']\n...\n","$ sudo docker compose up -d\n\nCreating milvus-etcd ... done\nCreating milvus-minio ... done\nCreating milvus-standalone ... done\n","$ sudo docker compose ps\n\n Name Command State Ports\n--------------------------------------------------------------------------------------------------------------------\nmilvus-etcd etcd -advertise-client-url ... Up 2379/tcp, 2380/tcp\nmilvus-minio /usr/bin/docker-entrypoint ... Up (healthy) 9000/tcp\nmilvus-standalone /tini -- milvus run standalone Up 0.0.0.0:19530->19530/tcp, 0.0.0.0:9091->9091/tcp\n","$ CUDA_VISIBLE_DEVICES=0 ./milvus run standalone\n","$ CUDA_VISIBLE_DEVICES=0,1 ./milvus run standalone\n","# Stop Milvus\n$ sudo docker compose down\n\n# Delete service data\n$ sudo rm -rf volumes\n","docker cp :/milvus/configs/milvus.yaml milvus.yaml\n","vim milvus.yaml\n","...\ngpu:\n initMemSize: 0\n maxMemSize: 0\n...\n","docker cp milvus.yaml :/milvus/configs/milvus.yaml\n","docker stop \ndocker start \n"],"headingContent":"Run Milvus with GPU Support Using Docker Compose","anchorList":[{"label":"Milvus mit GPU-Unterstützung mit Docker Compose starten","href":"Run-Milvus-with-GPU-Support-Using-Docker-Compose","type":1,"isActive":false},{"label":"Voraussetzungen","href":"Prerequisites","type":2,"isActive":false},{"label":"Milvus installieren","href":"Install-Milvus","type":2,"isActive":false},{"label":"Speicherpool konfigurieren","href":"Configure-memory-pool","type":2,"isActive":false},{"label":"Wie geht es weiter?","href":"Whats-next","type":2,"isActive":false}]} \ No newline at end of file diff --git a/localization/v2.4.x/site/de/getstarted/run-milvus-gpu/install_standalone-docker-compose-gpu.md b/localization/v2.4.x/site/de/getstarted/run-milvus-gpu/install_standalone-docker-compose-gpu.md index 022af42df..0eb993e3b 100644 --- a/localization/v2.4.x/site/de/getstarted/run-milvus-gpu/install_standalone-docker-compose-gpu.md +++ b/localization/v2.4.x/site/de/getstarted/run-milvus-gpu/install_standalone-docker-compose-gpu.md @@ -59,8 +59,8 @@ title: Milvus mit GPU-Unterstützung mit Docker Compose starten >

        Um Milvus mit GPU-Unterstützung mit Docker Compose zu installieren, führen Sie die folgenden Schritte aus.

        -

        1. Herunterladen und Konfigurieren der YAML-Datei

        Laden Sie herunter milvus-standalone-docker-compose-gpu.yml und speichern Sie sie als docker-compose.yml manuell oder mit dem folgenden Befehl.

        -
        $ wget https://github.com/milvus-io/milvus/releases/download/v2.4.15/milvus-standalone-docker-compose-gpu.yml -O docker-compose.yml
        +

        1. Herunterladen und Konfigurieren der YAML-Datei

        Laden Sie herunter milvus-standalone-docker-compose-gpu.yml und speichern Sie sie als docker-compose.yml manuell oder mit dem folgenden Befehl.

        +
        $ wget https://github.com/milvus-io/milvus/releases/download/v2.4.17/milvus-standalone-docker-compose-gpu.yml -O docker-compose.yml
         

        Sie müssen einige Änderungen an den Umgebungsvariablen des eigenständigen Dienstes in der YAML-Datei wie folgt vornehmen:

          @@ -110,7 +110,7 @@ Creating milvus-standalone ... done
        • Der milvus-standalone-Container bedient lokal die Ports 19530 mit den Standardeinstellungen und ordnet seine Daten den Volumes/milvus im aktuellen Ordner zu.
        -

        Mit dem folgenden Befehl können Sie überprüfen, ob die Container aktiv sind:

        +

        Mit folgendem Befehl können Sie überprüfen, ob die Container aktiv sind:

        $ sudo docker compose ps
         
               Name                     Command                  State                            Ports
        diff --git a/localization/v2.4.x/site/de/menuStructure/de.json b/localization/v2.4.x/site/de/menuStructure/de.json
        index 5731de6fa..4d645afe5 100644
        --- a/localization/v2.4.x/site/de/menuStructure/de.json
        +++ b/localization/v2.4.x/site/de/menuStructure/de.json
        @@ -18,7 +18,7 @@
                 "children": []
               },
               {
        -        "label": "Milvus Straßenkarte",
        +        "label": "Milvus-Fahrplan",
                 "id": "roadmap.md",
                 "order": 2,
                 "children": []
        @@ -1058,7 +1058,7 @@
                     "children": []
                   },
                   {
        -            "label": "RBAC einschalten",
        +            "label": "RBAC aktivieren",
                     "id": "rbac.md",
                     "order": 1,
                     "isMenu": true,
        diff --git a/localization/v2.4.x/site/de/reference/index.md b/localization/v2.4.x/site/de/reference/index.md
        index 7679cd25c..b0e993fa7 100644
        --- a/localization/v2.4.x/site/de/reference/index.md
        +++ b/localization/v2.4.x/site/de/reference/index.md
        @@ -20,7 +20,7 @@ title: In-Memory-Index
                 >
               
             

        Dieses Thema listet verschiedene Arten von In-Memory-Indizes auf, die von Milvus unterstützt werden, die Szenarien, für die jeder von ihnen am besten geeignet ist, und die Parameter, die Benutzer konfigurieren können, um eine bessere Suchleistung zu erzielen. Für On-Disk-Indizes, siehe On-Disk-Index.

        -

        Indizierung ist der Prozess der effizienten Organisation von Daten und spielt eine wichtige Rolle bei der Nützlichkeit der Ähnlichkeitssuche, indem sie zeitaufwändige Abfragen auf großen Datenbeständen drastisch beschleunigt.

        +

        Indizierung ist der Prozess der effizienten Organisation von Daten und spielt eine wichtige Rolle, wenn es darum geht, die Ähnlichkeitssuche nützlich zu machen, indem zeitaufwändige Abfragen auf großen Datenbeständen drastisch beschleunigt werden.

        Um die Abfrageleistung zu verbessern, können Sie für jedes Vektorfeld einen Indextyp angeben.

        Derzeit unterstützt ein Vektorfeld nur einen Index-Typ. Milvus löscht automatisch den alten Index, wenn der Indextyp gewechselt wird.
        @@ -39,7 +39,7 @@ Derzeit unterstützt ein Vektorfeld nur einen Index-Typ. Milvus löscht automati d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z" > -

        Die meisten der von Milvus unterstützten Vektorindex-Typen verwenden ANNS-Algorithmen (approximate nearest neighbors search). Verglichen mit der genauen Suche, die in der Regel sehr zeitaufwändig ist, beschränkt sich die Kernidee von ANNS nicht mehr darauf, das genaueste Ergebnis zu liefern, sondern sucht nur noch nach Nachbarn des Ziels. ANNS verbessert die Effizienz des Abrufs, indem es die Genauigkeit innerhalb eines akzeptablen Bereichs opfert.

        +

        Die meisten der von Milvus unterstützten Vektorindex-Typen verwenden Algorithmen zur approximativen Suche nach den nächsten Nachbarn (ANNS). Verglichen mit der genauen Suche, die in der Regel sehr zeitaufwändig ist, beschränkt sich die Kernidee von ANNS nicht mehr darauf, das genaueste Ergebnis zu liefern, sondern sucht nur noch nach Nachbarn des Ziels. ANNS verbessert die Effizienz des Abrufs, indem es die Genauigkeit innerhalb eines akzeptablen Bereichs opfert.

        Je nach Implementierungsmethode kann der ANNS-Vektorindex in vier Typen eingeteilt werden: Baum-basiert, Graph-basiert, Hash-basiert und Quantisierungs-basiert.

        In Milvus unterstützte Indizes

        Milvus unterstützt verschiedene Indextypen, die nach der Art der Einbettung, die sie verarbeiten, kategorisiert werden: Fließkomma, Binär und Sparse.

        +

        Milvus unterstützt verschiedene Indextypen, die nach der Art der Vektoreinbettungen, die sie verarbeiten, kategorisiert werden: Fließkomma-Einbettungen (auch bekannt als Fließkomma-Vektoren oder dichte Vektoren), binäre Einbettungen (auch bekannt als binäre Vektoren) und spärliche Einbettungen (auch bekannt als spärliche Vektoren).

        + Fließkomma-Einbettungen Binäre Einbettungen Sparse Embeddings
        -

        Indizes für Fließkomma-Einbettungen

        Bei 128-dimensionalen Fließkomma-Einbettungen beträgt der benötigte Speicherplatz 128 * die Größe von float = 512 Byte. Die für Fließkomma-Einbettungen verwendeten Abstandsmetriken sind der euklidische Abstand (L2) und das innere Produkt (IP).

        +

        Indizes für Fließkomma-Einbettungen

        Für 128-dimensionale Fließkomma-Einbettungen (Vektoren) beträgt der Speicherplatzbedarf 128 * die Größe von float = 512 Byte. Die für Fließkomma-Einbettungen verwendeten Abstandsmetriken sind der euklidische Abstand (L2) und das innere Produkt (IP).

        Diese Arten von Indizes umfassen FLAT, IVF_FLAT, IVF_PQ, IVF_SQ8, HNSW und SCANN für CPU-basierte ANN-Suchen.

        @@ -255,7 +255,7 @@ Derzeit unterstützt ein Vektorfeld nur einen Index-Typ. Milvus löscht automati
        - +
        ParameterBeschreibungStandardwertErforderlich
        ParameterBeschreibungBereichStandardwert
        max_empty_result_bucketsMaximale Anzahl von Bereichen, die keine Suchergebnisse liefern.
        Dies ist ein Parameter für die Bereichssuche und beendet den Suchvorgang, wenn die Anzahl der aufeinanderfolgenden leeren Bereiche den angegebenen Wert erreicht.
        Eine Erhöhung dieses Wertes kann die Abrufrate auf Kosten einer längeren Suchzeit verbessern.
        [1, 65535]2
        max_empty_result_bucketsMaximale Anzahl der Buckets, die keine Suchergebnisse liefern.
        Dies ist ein Parameter für die Bereichssuche, der den Suchvorgang beendet, wenn die Anzahl der aufeinander folgenden leeren Buckets den angegebenen Wert erreicht.
        Eine Erhöhung dieses Wertes kann die Abrufrate auf Kosten einer längeren Suchzeit verbessern.
        [1, 65535]2
        @@ -292,7 +292,7 @@ Derzeit unterstützt ein Vektorfeld nur einen Index-Typ. Milvus löscht automati ParameterBeschreibungBereichStandardwert -max_empty_result_bucketsMaximale Anzahl von Bereichen, die keine Suchergebnisse liefern.
        Dies ist ein Parameter für die Bereichssuche und beendet den Suchvorgang, wenn die Anzahl der aufeinanderfolgenden leeren Bereiche den angegebenen Wert erreicht.
        Eine Erhöhung dieses Wertes kann die Abrufrate auf Kosten einer längeren Suchzeit verbessern.[1, 65535]2 +max_empty_result_bucketsMaximale Anzahl der Buckets, die keine Suchergebnisse liefern.
        Dies ist ein Parameter für die Bereichssuche, der den Suchvorgang beendet, wenn die Anzahl der aufeinander folgenden leeren Buckets den angegebenen Wert erreicht.
        Eine Erhöhung dieses Wertes kann die Abrufrate auf Kosten einer längeren Suchzeit verbessern.[1, 65535]2 @@ -334,7 +334,7 @@ Derzeit unterstützt ein Vektorfeld nur einen Index-Typ. Milvus löscht automati ParameterBeschreibungBereichStandardwert -max_empty_result_bucketsMaximale Anzahl der Buckets, die keine Suchergebnisse liefern.
        Dies ist ein Parameter für die Bereichssuche, der den Suchvorgang beendet, wenn die Anzahl der aufeinander folgenden leeren Buckets den angegebenen Wert erreicht.
        Eine Erhöhung dieses Wertes kann die Abrufrate auf Kosten einer längeren Suchzeit verbessern.[1, 65535]2 +max_empty_result_bucketsMaximale Anzahl von Bereichen, die keine Suchergebnisse liefern.
        Dies ist ein Parameter für die Bereichssuche und beendet den Suchvorgang, wenn die Anzahl der aufeinanderfolgenden leeren Bereiche den angegebenen Wert erreicht.
        Eine Erhöhung dieses Wertes kann die Abrufrate auf Kosten einer längeren Suchzeit verbessern.[1, 65535]2 @@ -375,14 +375,14 @@ Derzeit unterstützt ein Vektorfeld nur einen Index-Typ. Milvus löscht automati ParameterBeschreibungBereichStandardwert -max_empty_result_bucketsMaximale Anzahl von Bereichen, die keine Suchergebnisse liefern.
        Dies ist ein Parameter für die Bereichssuche und beendet den Suchvorgang, wenn die Anzahl der aufeinanderfolgenden leeren Bereiche den angegebenen Wert erreicht.
        Eine Erhöhung dieses Wertes kann die Abrufrate auf Kosten einer längeren Suchzeit verbessern.[1, 65535]2 +max_empty_result_bucketsMaximale Anzahl der Buckets, die keine Suchergebnisse liefern.
        Dies ist ein Parameter für die Bereichssuche, der den Suchvorgang beendet, wenn die Anzahl der aufeinander folgenden leeren Buckets den angegebenen Wert erreicht.
        Eine Erhöhung dieses Wertes kann die Abrufrate auf Kosten einer längeren Suchzeit verbessern.[1, 65535]2

        HNSW

        HNSW (Hierarchical Navigable Small World Graph) ist ein graphbasierter Indizierungsalgorithmus. Er baut eine mehrschichtige Navigationsstruktur für ein Bild nach bestimmten Regeln auf. In dieser Struktur sind die oberen Schichten spärlicher und die Abstände zwischen den Knoten größer; die unteren Schichten sind dichter und die Abstände zwischen den Knoten sind kleiner. Die Suche beginnt in der obersten Schicht, findet den Knoten, der dem Ziel in dieser Schicht am nächsten liegt, und begibt sich dann in die nächste Schicht, um eine weitere Suche zu beginnen. Nach mehreren Iterationen kann sie sich schnell der Zielposition nähern.

        -

        Um die Leistung zu verbessern, begrenzt HNSW den maximalen Grad der Knoten auf jeder Ebene des Graphen auf M. Außerdem können Sie efConstruction (beim Indexaufbau) oder ef (bei der Suche nach Zielen) verwenden, um einen Suchbereich anzugeben.

        +

        Um die Leistung zu verbessern, begrenzt HNSW den maximalen Grad der Knoten auf jeder Ebene des Graphen auf M. Darüber hinaus können Sie efConstruction (beim Indexaufbau) oder ef (bei der Suche nach Zielen) verwenden, um einen Suchbereich anzugeben.

        • Parameter für den Indexaufbau

          @@ -456,7 +456,7 @@ Derzeit unterstützt ein Vektorfeld nur einen Index-Typ. Milvus löscht automati - +
          ParameterBeschreibungBereichStandardwert
          max_empty_result_bucketsMaximale Anzahl der Buckets, die keine Suchergebnisse liefern.
          Dies ist ein Parameter für die Bereichssuche, der den Suchvorgang beendet, wenn die Anzahl der aufeinander folgenden leeren Buckets den angegebenen Wert erreicht.
          Eine Erhöhung dieses Wertes kann die Abrufrate auf Kosten einer längeren Suchzeit verbessern.
          [1, 65535]2
          max_empty_result_bucketsMaximale Anzahl von Bereichen, die keine Suchergebnisse liefern.
          Dies ist ein Parameter für die Bereichssuche und beendet den Suchvorgang, wenn die Anzahl der aufeinanderfolgenden leeren Bereiche den angegebenen Wert erreicht.
          Eine Erhöhung dieses Wertes kann die Abrufrate auf Kosten einer längeren Suchzeit verbessern.
          [1, 65535]2
        • diff --git a/localization/v2.4.x/site/de/reference/metric.json b/localization/v2.4.x/site/de/reference/metric.json index e362f7771..a55539d39 100644 --- a/localization/v2.4.x/site/de/reference/metric.json +++ b/localization/v2.4.x/site/de/reference/metric.json @@ -1 +1 @@ -{"codeList":[],"headingContent":"","anchorList":[{"label":"Ähnlichkeitsmetriken","href":"Similarity-Metrics","type":1,"isActive":false},{"label":"FAQ","href":"FAQ","type":2,"isActive":false},{"label":"Der nächste Schritt","href":"Whats-next","type":2,"isActive":false}]} \ No newline at end of file +{"codeList":[],"headingContent":"Similarity Metrics","anchorList":[{"label":"Ähnlichkeitsmetriken","href":"Similarity-Metrics","type":1,"isActive":false},{"label":"FAQ","href":"FAQ","type":2,"isActive":false},{"label":"Der nächste Schritt","href":"Whats-next","type":2,"isActive":false}]} \ No newline at end of file diff --git a/localization/v2.4.x/site/de/reference/metric.md b/localization/v2.4.x/site/de/reference/metric.md index 56fcd9dd2..572da25d1 100644 --- a/localization/v2.4.x/site/de/reference/metric.md +++ b/localization/v2.4.x/site/de/reference/metric.md @@ -21,9 +21,9 @@ title: Ähnlichkeitsmetriken >

          In Milvus werden Ähnlichkeitsmetriken verwendet, um Ähnlichkeiten zwischen Vektoren zu messen. Die Wahl einer guten Abstandsmetrik hilft, die Klassifizierungs- und Clustering-Leistung erheblich zu verbessern.

          -

          Die folgende Tabelle zeigt, wie diese weit verbreiteten Ähnlichkeitsmetriken zu verschiedenen Eingabedatenformen und Milvus-Indizes passen.

          +

          Die folgende Tabelle zeigt, wie diese weit verbreiteten Ähnlichkeitsmetriken zu verschiedenen Eingabedatenformen und Milvus-Indizes passen. Derzeit unterstützt Milvus verschiedene Datentypen, darunter Fließkomma-Einbettungen (oft auch als Fließkomma-Vektoren oder dichte Vektoren bezeichnet), binäre Einbettungen (auch als binäre Vektoren bezeichnet) und spärliche Einbettungen (auch als spärliche Vektoren bezeichnet).

          + Fließkomma-Einbettungen Binäre Einbettungen Dünne Einbettungen
      @@ -82,14 +82,14 @@ title: Ähnlichkeitsmetriken

      Es ist die am häufigsten verwendete Abstandsmetrik und ist sehr nützlich, wenn die Daten kontinuierlich sind.

      Milvus berechnet den Wert vor der Anwendung der Quadratwurzel nur dann, wenn der euklidische Abstand als Abstandsmetrik gewählt wird.
      -

      Inneres Produkt (IP)

      Der IP-Abstand zwischen zwei Einbettungen ist wie folgt definiert:

      +

      Inneres Produkt (IP)

      Der IP-Abstand zwischen zwei Vektoreinbettungen ist wie folgt definiert:

      ip ip

      -

      IP ist nützlicher, wenn Sie nicht-normalisierte Daten vergleichen müssen oder wenn Sie sich für die Größe und den Winkel interessieren.

      +

      IP ist nützlicher, wenn Sie nicht-normalisierte Daten vergleichen müssen oder wenn Sie sich für den Betrag und den Winkel interessieren.

      -

      Wenn Sie die IP-Abstandsmetrik auf normalisierte Einbettungen anwenden, entspricht das Ergebnis der Berechnung der Kosinusähnlichkeit zwischen den Einbettungen.

      +

      Wendet man die IP-Abstandsmetrik auf normalisierte Einbettungen an, entspricht das Ergebnis der Berechnung der Kosinusähnlichkeit zwischen den Einbettungen.

      Angenommen, X' ist von der Einbettung X normalisiert:

      @@ -101,7 +101,7 @@ Milvus berechnet den Wert vor der Anwendung der Quadratwurzel nur dann, wenn der normalization Normalisierung

      -

      Kosinus-Ähnlichkeit

      Bei der Cosinus-Ähnlichkeit wird der Kosinus des Winkels zwischen zwei Vektorsätzen verwendet, um zu messen, wie ähnlich sie sind. Man kann sich die beiden Vektorsätze als zwei Liniensegmente vorstellen, die vom gleichen Ursprung ([0,0,...]) ausgehen, aber in unterschiedliche Richtungen zeigen.

      +

      Kosinus-Ähnlichkeit

      Bei der Cosinus-Ähnlichkeit wird der Kosinus des Winkels zwischen zwei Vektorsätzen verwendet, um zu messen, wie ähnlich sie sich sind. Man kann sich die beiden Vektorsätze als zwei Liniensegmente vorstellen, die vom gleichen Ursprung ([0,0,...]) ausgehen, aber in unterschiedliche Richtungen zeigen.

      Um die Cosinus-Ähnlichkeit zwischen zwei Mengen von Vektoren A = (a0, a1,...,an-1) und B = (b0, b1,..., bn-1) zu berechnen, verwenden Sie die folgende Formel:

      @@ -165,7 +165,7 @@ Milvus berechnet den Wert vor der Anwendung der Quadratwurzel nur dann, wenn der

      Warum ist das Top1-Ergebnis einer Vektorsuche nicht der Suchvektor selbst, wenn der Metrik-Typ das innere Produkt ist?Dies geschieht, wenn Sie die Vektoren nicht normalisiert haben, wenn Sie das innere Produkt als Abstandsmetrik verwenden.
      Was ist Normalisierung? Warum ist eine Normalisierung erforderlich?

      -

      Normalisierung bezieht sich auf den Prozess der Konvertierung einer Einbettung (eines Vektors), so dass seine Norm gleich 1 ist. Wenn Sie das innere Produkt zur Berechnung der Ähnlichkeit von Einbettungen verwenden, müssen Sie Ihre Einbettungen normalisieren. Nach der Normalisierung ist das innere Produkt gleich der Kosinusähnlichkeit.

      +

      Normalisierung bezieht sich auf den Prozess der Umwandlung einer Einbettung (eines Vektors), so dass seine Norm gleich 1 ist. Wenn Sie das innere Produkt zur Berechnung der Ähnlichkeit von Einbettungen verwenden, müssen Sie Ihre Einbettungen normalisieren. Nach der Normalisierung ist das innere Produkt gleich der Kosinusähnlichkeit.

      Siehe Wikipedia für weitere Informationen.

      @@ -187,5 +187,5 @@ Siehe Wikipedia für wei >
        -
      • Erfahren Sie mehr über die unterstützten Indextypen in Milvus.
      • +
      • Erfahren Sie mehr über die unterstützten Index-Typen in Milvus.
      diff --git a/localization/v2.4.x/site/de/release_notes.json b/localization/v2.4.x/site/de/release_notes.json index c41a64b3e..e63f897bc 100644 --- a/localization/v2.4.x/site/de/release_notes.json +++ b/localization/v2.4.x/site/de/release_notes.json @@ -1 +1 @@ -{"codeList":[],"headingContent":"Release Notes","anchorList":[{"label":"Hinweise zur Veröffentlichung","href":"Release-Notes","type":1,"isActive":false},{"label":"v2.4.15","href":"v2415","type":2,"isActive":false},{"label":"v2.4.14","href":"v2414","type":2,"isActive":false},{"label":"v2.4.13-Hotfix","href":"v2413-hotfix","type":2,"isActive":false},{"label":"[Veraltet] v2.4.13","href":"Deprecated-v2413","type":2,"isActive":false},{"label":"v2.4.12","href":"v2412","type":2,"isActive":false},{"label":"v2.4.11","href":"v2411","type":2,"isActive":false},{"label":"v2.4.10","href":"v2410","type":2,"isActive":false},{"label":"v2.4.9","href":"v249","type":2,"isActive":false},{"label":"v2.4.8","href":"v248","type":2,"isActive":false},{"label":"v2.4.6","href":"v246","type":2,"isActive":false},{"label":"v2.4.5","href":"v245","type":2,"isActive":false},{"label":"v2.4.4","href":"v244","type":2,"isActive":false},{"label":"v2.4.3","href":"v243","type":2,"isActive":false},{"label":"v2.4.1","href":"v241","type":2,"isActive":false},{"label":"v2.4.0","href":"v240","type":2,"isActive":false},{"label":"v2.4.0-rc.1","href":"v240-rc1","type":2,"isActive":false}]} \ No newline at end of file +{"codeList":[],"headingContent":"Release Notes","anchorList":[{"label":"Release Notes","href":"Release-Notes","type":1,"isActive":false},{"label":"v2.4.17","href":"v2417","type":2,"isActive":false},{"label":"v2.4.15","href":"v2415","type":2,"isActive":false},{"label":"v2.4.14","href":"v2414","type":2,"isActive":false},{"label":"v2.4.13-hotfix","href":"v2413-hotfix","type":2,"isActive":false},{"label":"[Deprecated] v2.4.13","href":"Deprecated-v2413","type":2,"isActive":false},{"label":"v2.4.12","href":"v2412","type":2,"isActive":false},{"label":"v2.4.11","href":"v2411","type":2,"isActive":false},{"label":"v2.4.10","href":"v2410","type":2,"isActive":false},{"label":"v2.4.9","href":"v249","type":2,"isActive":false},{"label":"v2.4.8","href":"v248","type":2,"isActive":false},{"label":"v2.4.6","href":"v246","type":2,"isActive":false},{"label":"v2.4.5","href":"v245","type":2,"isActive":false},{"label":"v2.4.4","href":"v244","type":2,"isActive":false},{"label":"v2.4.3","href":"v243","type":2,"isActive":false},{"label":"v2.4.1","href":"v241","type":2,"isActive":false},{"label":"v2.4.0","href":"v240","type":2,"isActive":false},{"label":"v2.4.0-rc.1","href":"v240-rc1","type":2,"isActive":false}]} \ No newline at end of file diff --git a/localization/v2.4.x/site/de/release_notes.md b/localization/v2.4.x/site/de/release_notes.md index 49867339e..7059cd3ca 100644 --- a/localization/v2.4.x/site/de/release_notes.md +++ b/localization/v2.4.x/site/de/release_notes.md @@ -1,9 +1,9 @@ --- id: release_notes.md summary: Milvus Versionshinweise -title: Hinweise zur Veröffentlichung +title: Release Notes --- -

      Hinweise zur Veröffentlichung

      Finden Sie heraus, was es Neues in Milvus gibt! Auf dieser Seite werden neue Funktionen, Verbesserungen, bekannte Probleme und Fehlerbehebungen in jeder Version zusammengefasst. Sie können die Versionshinweise für jede Version nach v2.4.0 in diesem Abschnitt finden. Wir empfehlen Ihnen, diese Seite regelmäßig zu besuchen, um sich über Updates zu informieren.

      +

      Find out what’s new in Milvus! This page summarizes new features, improvements, known issues, and bug fixes in each release. You can find the release notes for each released version after v2.4.0 in this section. We suggest that you regularly visit this page to learn about updates.

      +

      v2.4.17

      Release Date: November 22, 2024

      +
      + + + + + + +
      Milvus versionPython SDK versionJava SDK versionNode.js SDK version
      2.4.172.4.92.4.82.4.9
      +

      Milvus 2.4.17 was a minor release aimed at critical stability enhancements. This version addressed various bugs and implemented performance optimizations to bolster system reliability.

      +

      Improvements

        +
      • Enhanced: [2.4] Prevented the generation of “null” search parameters (#37811).
      • +
      • Enhanced: [2.4] Removed unnecessary segment clone updates in distribution (#37797) (#37833).
      • +
      • Enhanced: [2.4] Provided secondary index criteria for filtering leaderview (#37777) (#37802).
      • +
      • Used batch processing to speed up listing collections from meta kv (#37752).
      • +
      • Removed collection queryable checks from health checks (#37731).
      • +
      • [2.4] Removed segment-level tags from monitoring metrics (#37737).
      • +
      • [2.4] Removed unnecessary cloning in setstate (#37736).
      • +
      • Added search parameters to search requests in RESTful API (#37673).
      • +
      • Made Milvus images with AddressSanitizer (ASAN) available (#37682).
      • +
      • [cp24] Tidied compaction logs (#37647).
      • +
      • [2.4] Invalidated the collection cache when releasing collections (#37628).
      • +
      • [2.4] Added CGO call metrics for load/write APIs (#37627).
      • +
      • Enabled node assignment policies in resource groups (#37588).
      • +
      • Optimized describe collection and index operations (#37605).
      • +
      • [2.4] Handled legacy proxy load fields requests (#37569).
      • +
      • [2.4] Added context tracing for query coordination queryable checks (#37534).
      • +
      • [2.4] Improved root coordination task scheduling policies (#37523).
      • +
      • Refactored createindex in the RESTful API (#37237).
      • +
      • [2.4] Used cancel labels for context-canceled storage operations (#37491).
      • +
      • [2.4] Updated the template expression proto to improve transmission efficiency (#37485).
      • +
      +

      Bug fixes

        +
      • Supported upsert with autoid=true in the RESTful API and fixed associated bugs (#37766).
      • +
      • Ensured L0 segments were loaded to workers during channel balancing (#37758).
      • +
      • Fixed delegator stuck in unserviceable status (#37702).
      • +
      • [2.4] Stored default values when errkeynotfound was returned (#37705).
      • +
      • [cp24] Changed memory check from write lock to read lock (#37526).
      • +
      • Ensured getshardleaders retried only on retriable errors (#37687).
      • +
      • [cp24] Corrected varchar primary key size calculations (#37619).
      • +
      • Fixed channel balancing that could get stuck when increasing replica numbers (#37642).
      • +
      • Addressed issues where searches returned fewer results after query node recovery (#37610).
      • +
      • [2.4] Fixed bugs retrieving data from the wrong field for L0 segments (#37599).
      • +
      • Recovered loading collection’s updateTS after query coordination restarts (#37580).
      • +
      • [2.4] Added IP address validation to paramtable (#37500).
      • +
      • Fixed search/query failures caused by segments not being loaded (#37544).
      • +
      • Resolved watch channel issues due to timer reset misuse (#37542).
      • +
      • Fixed subscription leaks (#37541).
      • +
      • Resolved issues with excessively growing segments (#37540).
      • +
      • [cp24] Corrected dropped segment metrics (#37471).
      • +
      • Fixed repeated error codes in Milvus and Segcore (#37449).
      • +
      • [cp24] Separated L0 and mixed trigger intervals (#37319).
      • +

      v2.4.15

      Veröffentlichungsdatum: November 5, 2024

      +

      Release Date: November 5, 2024

      - +
      Milvus-VersionPython SDK-VersionJava SDK-VersionNode.js SDK-Version
      Milvus versionPython SDK versionJava SDK versionNode.js SDK version
      2.4.152.4.92.4.82.4.9
      -

      Milvus 2.4.15 war eine kritische Fehlerbehebungsversion, die sich auf die Verbesserung der Systemstabilität, Leistung und Kompatibilität konzentrierte. Mit dieser Version wurde ein größeres Deadlock-Problem behoben, das bei Abstürzen von QueryNode auftreten konnte, und es wurden Kompatibilitätsupdates für das Backup-Tool mit der Datenbankfunktion eingeführt. Darüber hinaus verbesserte Milvus 2.4.15 die Löschleistung und Stabilität durch erhebliche Optimierungen bei der L0-Behandlung. Ein Upgrade auf v2.4.15 wird dringend empfohlen, um von diesen kritischen Verbesserungen zu profitieren.

      -

      Kritische Fehlerbehebungen

        -
      • Ein Deadlock-Problem wurde behoben, wenn der QueryNode während der Initialisierung des Shard-Clients abstürzte(#37354).
      • -
      • Die Verbesserung zur Unterstützung von Datenbanken für Bulk Insert wurde rückgängig gemacht(#37421).
      • +

        Milvus 2.4.15 was a critical bug-fix release focused on enhancing system stability, performance, and compatibility. This version addressed a major deadlock issue that could occur during QueryNode crashes and introduced compatibility updates for the backup tool with the database feature. Additionally, Milvus 2.4.15 improved delete performance and stability through significant optimizations in L0 handling. Upgrading to v2.4.15 was strongly recommended to benefit from these critical enhancements.

        +

        Critical bug fixes

          +
        • Resolved a deadlock issue if the QueryNode crashed during shard client initialization (#37354).
        • +
        • Reverted the enhancement to support databases for bulk insert (#37421).
        -

        Fehlerbehebungen

          -
        • Es wurde ein Fehler behoben, bei dem bestimmte Ausdrücke die Werte nicht korrekt parsen konnten(#37342).
        • -
        • Der Proxy wurde verbessert, um bei entladenen Sammlungen erneut zu versuchen, den Shard-Leader zu erhalten(#37326).
        • -
        • Es wurde ein Problem behoben, bei dem der Wert der L0-Zeilenzahl-Metrik immer leer war(#37307).
        • -
        • Das Markieren des Verdichtungs-Timeouts für gemischte und L0 Verdichtungs-Szenarien wurde übersprungen(#37194).
        • -
        • Die Einschließungslogik von OffsetOrderedArray wurde korrigiert(#37309).
        • -
        • Überprüfung der Ressourcen beim Laden von Delta-Logs hinzugefügt(#37263).
        • +

          Bug fixes

            +
          • Fixed a bug where certain expressions did not correctly parse values (#37342).
          • +
          • Enhanced the Proxy to retry getting the shard leader on unloaded collections (#37326).
          • +
          • Corrected an issue where the L0 row count metrics value was always empty (#37307).
          • +
          • Skipped marking compaction timeout for mixed and L0 compaction scenarios (#37194).
          • +
          • Rectified the containment logic of OffsetOrderedArray (#37309).
          • +
          • Added a check for resources when loading delta logs (#37263).
          -

          Verbesserungen

            -
          • Die L0-Logik wurde außerhalb der Delta-Sperre verschoben, um die Leistung zu verbessern(#37340).
          • -
          • Verdichtete wachsende Segmente werden freigegeben, wenn sie in der Abwurfliste vorhanden sind(#37266).
          • -
          • Einführung einer Middleware zur Überwachung von RESTful V2 Input/Output RPC-Statistiken(#37224, #37440).
          • +

            Improvements

              +
            • Moved L0 logic outside of the delta lock for better performance (#37340).
            • +
            • Released compacted growing segments if present in the dropped list (#37266).
            • +
            • Introduced middleware to monitor RESTful V2 input/output RPC stats (#37224, #37440).

            v2.4.14

            Veröffentlichungsdatum: Oktober 31, 2024

            +

            Release Date: October 31, 2024

            - +
            Milvus-VersionPython SDK-VersionJava SDK-VersionNode.js SDK-Version
            Milvus versionPython SDK versionJava SDK versionNode.js SDK version
            2.4.142.4.92.4.72.4.9
            -

            Milvus 2.4.14 behebt ein kritisches Problem aus Version 2.4.13, das dazu führen konnte, dass Sammlungsinformationen nach snapshotKV garbage collection verloren gingen. Es wurden auch einige Ressourcenlecks behoben. Darüber hinaus enthält diese Version zahlreiche Verbesserungen, die sich auf die Verbesserung der Stabilität bei umfangreichen Löschvorgängen und der Kompaktionsleistung konzentrieren.

            -

            Merkmale

              -
            • Unterstützt Memory Mode Chunk Cache(#35836)
            • -
            • Unterstützt db für bulkinsert(#37017)
            • +

              Milvus 2.4.14 addresses a critical issue from version 2.4.13 that could cause collection information to be lost after snapshotKV garbage collection. It also fixed a couple of resource leaks. Additionally, this release includes numerous enhancements focused on improving stability in large-scale delete operations and compaction performance.

              +

              Features

                +
              • Supported memory mode chunk cache (#35836)
              • +
              • Supported db for bulkinsert (#37017)
              -

              Verbesserungen

                -
              • Optimierung von Lösch-/Kompaktierungsvorgängen
                  -
                • Ermöglicht parallele Ausführung von l0-Kompaktierungen(#36985)
                • -
                • Gebündeltes Löschen in Vorwärtsrichtung bei direkter Vorwärtsrichtung(#37107)
                • -
                • Überspringen des Ladens von Deltadaten im Delegater bei Verwendung von remoteload(#37112)
                • -
                • Direktes Weiterleiten von Delta ohne l0-Segmente(#36914)
                • -
                • Priorisierung von Verdichtungsaufgaben in DataCoord hinzugefügt(#36979)
                • -
                • Verfolgung von komplexen Löschraten(#36958)
                • +

                  Improvements

                    +
                  • Delete/Compaction Optimization +
                      +
                    • Enabled parallel execution of l0 compactions (#36985)
                    • +
                    • Batched forward delete when using direct forward (#37107)
                    • +
                    • Skipped loading delta data in delegater when using remoteload (#37112)
                    • +
                    • Directly forwarded delta excluding l0 segments (#36914)
                    • +
                    • Added prioritization of compaction tasks in DataCoord (#36979)
                    • +
                    • Tracked complex delete rates (#36958)
                  • -
                  • Refaktorierte CreateCollection in der RESTFul API(#36885)
                  • -
                  • Verschmelzung mehrerer 'und' und 'oder' Operationen in eine einzige Operation(#36973)
                  • -
                  • Skip Load funktioniert jetzt für alle Zweige(#37161)
                  • -
                  • Die Minio-Abhängigkeit wurde aktualisiert, um EKS Pod Identitäten zu unterstützen(#37089)
                  • -
                  • Aufgeräumte Import-Optionen(#37078)
                  • -
                  • Begrenzung der maximalen Anzahl von Importaufträgen(#36892)
                  • -
                  • Vorab zugewiesene Daten-Slice, um die Neuzuweisung von Speicher zu vermeiden(#37044)
                  • -
                  • Verhindert, dass DataNode die bf lädt(#37027)
                  • -
                  • Vermeidet die wiederholte Begrenzung von ddl-Operationen(#37011)
                  • -
                  • Das Konfigurations-Element datanode.import.maxconcurrenttasknum wurde dynamisch anpassbar gemacht(#37103)
                  • -
                  • Verwendet queryNode.mmap.growingMmapEnabled, um das Verhalten des Zwischenindexes zu kontrollieren(#36391)
                  • -
                  • Füllte die Felder Level und StartPosition in segmentLoadInfo von wachsenden Segmenten(#36911)
                  • -
                  • Erzwingt das Anhalten von Puffer-Nachrichten beim Empfang der Drop-Collection-Nachricht(#36917)
                  • -
                  • Metrik für Querynode-Löschpuffer-Info hinzugefügt(#37097)
                  • -
                  • Bezeichnung des Sammlungsnamens für einige Metriken hinzugefügt(#37159)
                  • -
                  • Verwendete Middleware zur Beobachtung von RESTful v2 in/out rpc stats(#37224)
                  • -
                  • Geänderte GPU-Standard-Speicherpoolgröße(#36969)
                  • -
                  • Knowhere Version auf 2.3.12 aktualisiert(#37132)
                  • -
                  • Erlaubt das Löschen von Daten, wenn das Festplattenkontingent erschöpft ist(#37139)
                  • +
                  • Refactored CreateCollection in RESTFul API (#36885)
                  • +
                  • Fused multiple ‘and’ and ‘or’ operations into a single op (#36973)
                  • +
                  • Made skip load work for all branches (#37161)
                  • +
                  • Upgraded Minio dependency to support EKS Pod Identities (#37089)
                  • +
                  • Tidied import options (#37078)
                  • +
                  • Limited maximum number of import jobs (#36892)
                  • +
                  • Preallocated data slice to avoid re-allocating memory (#37044)
                  • +
                  • Prevented DataNode from loading the bf (#37027)
                  • +
                  • Avoided limiting ddl operations repeatedly (#37011)
                  • +
                  • Made the configuration item datanode.import.maxconcurrenttasknum dynamically adjustable (#37103)
                  • +
                  • Used queryNode.mmap.growingMmapEnabled to control the behavior of interim index (#36391)
                  • +
                  • Populated the Level and StartPosition fields in segmentLoadInfo of growing segment (#36911)
                  • +
                  • Forced to stop buffer messages when receiving the drop collection message (#36917)
                  • +
                  • Added metrics for querynode delete buffer info (#37097)
                  • +
                  • Added collection name label for some metric (#37159)
                  • +
                  • Used middleware to observe RESTful v2 in/out rpc stats (#37224)
                  • +
                  • Changed GPU default memory pool size (#36969)
                  • +
                  • Updated Knowhere version to 2.3.12 (#37132)
                  • +
                  • Allowed deleting data when disk quota exhausted (#37139)
                  -

                  Fehlerbehebungen

                    -
                  • Es wurde ein Fehler behoben, der nach einem Neustart nicht aus metakv wiederhergestellt werden konnte, wenn alle Snapshots gelöscht wurden(#36950)
                  • -
                  • Der rpc-Fehlercode wurde korrigiert, um ungültige Wiederholungsversuche im Client zu vermeiden(#37025)
                  • -
                  • Ignorierte den Fehler "db nicht gefunden" im Quota Center(#36850)
                  • -
                  • Korrigierte Goroutine-Leck in QueryNode durch Verwendung eines Singleton-Lösch-Pools(#37225)
                  • -
                  • Behobenes Sammlungsleck in QueryNode(#37079)
                  • -
                  • Korrigiertes Leck in der Clustering-Kompaktierungsaufgabe(#36803)
                  • -
                  • Verbot das Umbenennen einer Sammlung, die einen Alias hatte(#37208)
                  • -
                  • Sicherstellung, dass Alias zwischengespeichert wurde(#36808)
                  • -
                  • Suche/Abfrage konnte während der Aktualisierung des Delegator-Caches fehlschlagen(#37174)
                  • -
                  • Ausgeschlossene l0 Verdichtung, wenn Clustering ausgeführt wurde(#37142)
                  • -
                  • Referenzierte Sammlungsmeta, wenn nur l0-Segmentmeta geladen wurde(#37179)
                  • -
                  • Delegator konnte nach Querycoord-Neustart unbrauchbar werden(#37100)
                  • -
                  • Dynamische Freigabe-Partition konnte Suche/Abfrage fehlschlagen lassen(#37099)
                  • -
                  • Der Quotenwert für die Anzahl der Löschpufferzeilen wurde korrigiert(#37068)
                  • -
                  • Volle Feldliste übergeben, wenn partielle Last aktiviert(#37063)
                  • -
                  • Abfrageknoten-Panik trat beim Senden von rpc an Worker auf(#36988)
                  • -
                  • Datacoord blieb beim Anhalten des Fortschritts stecken(#36961)
                  • -
                  • Der Out-of-bounds-Zugriff im wachsenden Segment wurde behoben, wenn Rohdaten durch einen Zwischenindex ersetzt wurden(#36938)
                  • -
                  • Rootcoord blieb beim Anhalten des Fortschritts stecken(#36881)
                  • +

                    Bug fixes

                      +
                    • Fixed collection info that could not be recovered from metakv after restart if all snapshots were garbage collected (#36950)
                    • +
                    • Corrected the rpc error code to avoid invalid retry in client (#37025)
                    • +
                    • Ignored db not found error in quota center (#36850)
                    • +
                    • Fixed goroutine leakage in QueryNode by using singleton delete pool (#37225)
                    • +
                    • Fixed collection leak in querynode (#37079)
                    • +
                    • Fixed leakage of clustering compaction task (#36803)
                    • +
                    • Prohibited renaming a collection that had an alias (#37208)
                    • +
                    • Made sure alias was cached (#36808)
                    • +
                    • Search/query could have failed during updating delegator cache (#37174)
                    • +
                    • Excluded l0 compaction when clustering was executing (#37142)
                    • +
                    • Referenced collection meta when loading l0 segment meta only (#37179)
                    • +
                    • Delegator might have become unserviceable after querycoord restart (#37100)
                    • +
                    • Dynamic release partition might have failed search/query (#37099)
                    • +
                    • Rectified delete buffer row count quota value (#37068)
                    • +
                    • Passed full field list when partial load enabled (#37063)
                    • +
                    • Query node panic occurred during sending rpc to worker (#36988)
                    • +
                    • Datacoord got stuck at stopping progress (#36961)
                    • +
                    • Fixed the out-of-bounds access in the growing segment when raw data was replaced by interim index (#36938)
                    • +
                    • Rootcoord got stuck at graceful stop progress (#36881)
                    -

                    v2.4.13-Hotfix

                    Veröffentlichungsdatum: Oktober 17, 2024

                    +

                    Release Date: October 17, 2024

                    - + - +
                    Milvus-VersionPython SDK-VersionJava SDK-VersionNode.js SDK-Version
                    Milvus versionPython SDK versionJava SDK versionNode.js SDK version
                    2.4.13-Hotfix2.4.82.4.52.4.9
                    2.4.13-hotfix2.4.82.4.52.4.9
                    -

                    Milvus v2.4.13-hotfix behebt ein kritisches Problem in v2.4.13, bei dem Milvus nach einem Neustart möglicherweise keine Sammlungsinformationen abrufen kann, wenn alle MetaKV-Snapshots als Müll gesammelt wurden(#36933). Benutzern, die derzeit v2.4.13 verwenden, wird empfohlen, so schnell wie möglich auf v2.4.13-Hotfix zu aktualisieren, um mögliche Störungen zu vermeiden.

                    -

                    Kritische Korrekturen

                      -
                    • Originalschlüssel laden, wenn Zeitstempel MaxTimestamp ist(#36935)
                    • +

                      Milvus v2.4.13-hotfix addresses a critical issue specific to v2.4.13, where Milvus may fail to retrieve collection information after a restart if all MetaKV snapshots were garbage-collected (#36933). Users currently running v2.4.13 are advised to upgrade to v2.4.13-hotfix at the earliest opportunity to avoid potential disruptions.

                      +

                      Critical fixes

                        +
                      • Load original key if timestamp is MaxTimestamp (#36935)
                      -

                      [Veraltet] v2.4.13

                      Veröffentlichungsdatum: Oktober 12, 2024

                      +

                      Release Date: October 12, 2024

                      - +
                      Milvus-VersionPython SDK-VersionJava SDK-VersionNode.js SDK-Version
                      Milvus versionPython SDK versionJava SDK versionNode.js SDK version
                      2.4.132.4.82.4.52.4.9
                      -

                      Milvus 2.4.13 führt die dynamische Replikabelastung ein, die es den Benutzern ermöglicht, die Anzahl der Sammlungsreplikate anzupassen, ohne die Sammlung freigeben und neu laden zu müssen. Diese Version behebt außerdem mehrere kritische Fehler im Zusammenhang mit dem Massenimport, dem Parsen von Ausdrücken, dem Lastausgleich und der Fehlerbehebung. Darüber hinaus wurden die MMAP-Ressourcennutzung und die Importleistung erheblich verbessert, wodurch die Effizienz des Systems insgesamt gesteigert wurde. Wir empfehlen dringend ein Upgrade auf diese Version, um die Leistung und Stabilität zu verbessern.

                      -

                      Funktionen

                        -
                      • Dynamische Replika-Anpassung für geladene Sammlungen(#36417)
                      • -
                      • Sparse-Vector-MMAP in wachsenden Segmenttypen(#36565)
                      • +

                        Milvus 2.4.13 introduces dynamic replica load, allowing users to adjust the number of collection replicas without needing to release and reload the collection. This version also addresses several critical bugs related to bulk importing, expression parsing, load balancing, and failure recovery. Additionally, significant improvements have been made to MMAP resource usage and import performance, enhancing overall system efficiency. We highly recommend upgrading to this release for better performance and stability.

                        +

                        Features

                          +
                        • Dynamic replica adjustment for loaded collections (#36417)
                        • +
                        • Sparse vector MMAP in growing segment types (#36565)
                        -

                        Fehlerbehebungen

                          -
                        • Ein Problem mit der Flush-Leistung wurde behoben(#36741)
                        • -
                        • Fehler mit JSON-Ausdrücken in "[]" behoben(#36722)
                        • -
                        • Entfernte Nachbarn, wenn kompaktes Ziel unindiziert ist(#36694)
                        • -
                        • Verbesserte Leistung für Rocksmq, wenn der Kanal voll ist(#36618)
                        • -
                        • Es wurde ein Problem behoben, bei dem Fehler während des Entpinnens nicht verzögert wurden(#36665)
                        • -
                        • Ein Speicherleck für importierte Segmente im Segmentmanager wurde behoben(#36631)
                        • -
                        • Unnötige Gesundheitsprüfungen für Abfrageknoten im Proxy wurden übersprungen(#36553)
                        • -
                        • Ein Überlaufproblem mit Termausdrücken wurde behoben(#36534)
                        • -
                        • Aufzeichnung der Knoten-ID vor der Zuweisung von Aufgaben, um Fehlzuweisungen von Aufgaben zu verhindern(#36493)
                        • -
                        • Daten-Wettlauf-Probleme in der Clustering-Kompaktierung behoben(#36499)
                        • -
                        • Überprüfung der maximalen Länge von String-Arrays nach dem Typabgleich hinzugefügt(#36497)
                        • -
                        • Behebung von Race Conditions im Mix- oder Standalone-Modus(#36459)
                        • -
                        • Segment-Ungleichgewicht nach wiederholten Lade- und Freigabeoperationen behoben(#36543)
                        • -
                        • Korrigierte einen Eckfall, bei dem Segmente nicht von einem stoppenden Knoten verschoben werden konnten(#36475)
                        • -
                        • Aktualisierte die Segmentinformationen korrekt, auch wenn einige Segmente fehlten(#36729)
                        • -
                        • Verhindert, dass etcd-Transaktionen das maximale Limit im Snapshot KV überschreiten(#36773)
                        • +

                          Bug fixes

                            +
                          • Fixed a flush performance issue (#36741)
                          • +
                          • Fixed a bug with JSON expressions in "[]" (#36722)
                          • +
                          • Removed neighbors if compact target is unindexed (#36694)
                          • +
                          • Improved performance for Rocksmq when channel is full (#36618)
                          • +
                          • Fixed an issue where errors during unpinning were not deferred (#36665)
                          • +
                          • Resolved a memory leak for imported segments in the segment manager (#36631)
                          • +
                          • Skipped unnecessary health checks for query nodes in the proxy (#36553)
                          • +
                          • Fixed an overflow issue with term expressions (#36534)
                          • +
                          • Recorded node ID before assigning tasks to prevent task misallocation (#36493)
                          • +
                          • Resolved data race issues in clustering compaction (#36499)
                          • +
                          • Added a check for string array max length after type matching (#36497)
                          • +
                          • Addressed race conditions in mix or standalone mode (#36459)
                          • +
                          • Fixed segment imbalance after repeated load and release operations (#36543)
                          • +
                          • Corrected a corner case where segments couldn’t be moved from a stopping node (#36475)
                          • +
                          • Updated segment info properly even if some segments were missing (#36729)
                          • +
                          • Prevented etcd transactions from exceeding the max limit in snapshot KV (#36773)
                          -

                          Verbesserungen

                            -
                          • Verbesserte Schätzung der MMAP-Ressourcen:
                              -
                            • Verbesserter MMAP-bezogener Code in column.h(#36521)
                            • -
                            • Verfeinerte Ressourcenabschätzung beim Laden von Collections(#36728)
                            • +

                              Improvements

                                +
                              • Enhanced MMAP resource estimation: +
                                  +
                                • Improved MMAP-related code in column.h (#36521)
                                • +
                                • Refined resource estimation when loading collections (#36728)
                              • -
                              • Leistungsverbesserungen:
                                  -
                                • Verbesserte Effizienz beim Parsen von Ausdrücken durch Konvertierung von Unicode nach ASCII(#36676)
                                • -
                                • Ermöglicht parallele Produktion von Nachrichten für mehrere Themen(#36462)
                                • -
                                • Reduzierter CPU-Overhead bei der Berechnung der Indexdateigröße(#36580)
                                • -
                                • Abrufen des Nachrichtentyps aus dem Header, um Unmarshalling zu minimieren(#36454)
                                • -
                                • Optimierte Workload-basierte Replika-Auswahlpolitik(#36384)
                                • +
                                • Performance Enhancements: +
                                    +
                                  • Improved expression parsing efficiency by converting Unicode to ASCII (#36676)
                                  • +
                                  • Enabled parallel production of messages for multiple topics (#36462)
                                  • +
                                  • Reduced CPU overhead when calculating index file size (#36580)
                                  • +
                                  • Retrieved message type from header to minimize unmarshalling (#36454)
                                  • +
                                  • Optimized workload-based replica selection policy (#36384)
                                • -
                                • Aufteilung von Lösch-Task-Nachrichten, um die maximale Nachrichtengröße einzuhalten(#36574)
                                • -
                                • Neue RESTful URL zur Beschreibung von Importaufträgen hinzugefügt(#36754)
                                • -
                                • Die Importplanung wurde optimiert und eine Zeitkosten-Metrik hinzugefügt(#36684)
                                • -
                                • Balance Report Protokoll für Query Coordinator Balancer hinzugefügt(#36749)
                                • -
                                • Umstellung auf die Verwendung einer gemeinsamen GC-Konfiguration(#36670)
                                • -
                                • Streaming Forward Policy Schalter für Delegator hinzugefügt(#36712)
                                • -
                                • Aktivierte manuelle Verdichtung für Sammlungen ohne Indizes(#36581)
                                • -
                                • Aktivierte Lastverteilung auf Abfrageknoten mit unterschiedlichen Speicherkapazitäten(#36625)
                                • -
                                • Vereinheitlichter Fall für eingehende Labels mit metrics.label(#36616)
                                • -
                                • Übertragungskanal/Segment-Operationen wurden idempotent gemacht(#36552)
                                • -
                                • Metriken zur Überwachung des Importdurchsatzes und der Anzahl importierter Zeilen hinzugefügt(#36588)
                                • -
                                • Verhinderte die Erstellung von mehreren Timer-Objekten in Zielen(#36573)
                                • -
                                • Aktualisierte Ausdrucksversion und formatierte HTTP-Antwort für Ausdrücke(#36467)
                                • -
                                • Verbesserte Garbage Collection in Snapshot KV(#36793)
                                • -
                                • Unterstützung für die Ausführung von Methoden mit Kontextparametern hinzugefügt(#36798)
                                • +
                                • Split delete task messages to fit within max message size limits (#36574)
                                • +
                                • Added new RESTful URL to describe import jobs (#36754)
                                • +
                                • Optimized import scheduling and added a time cost metric (#36684)
                                • +
                                • Added balance report log for query coordinator balancer (#36749)
                                • +
                                • Switched to using common GC configuration (#36670)
                                • +
                                • Added streaming forward policy switch for delegator (#36712)
                                • +
                                • Enabled manual compaction for collections without indexes (#36581)
                                • +
                                • Enabled load balancing on query nodes with varying memory capacities (#36625)
                                • +
                                • Unified case for inbound labels using metrics.label (#36616)
                                • +
                                • Made transfer channel/segment operations idempotent (#36552)
                                • +
                                • Added metrics to monitor import throughput and imported row count (#36588)
                                • +
                                • Prevented creation of multiple timer objects in targets (#36573)
                                • +
                                • Updated expression version and formatted HTTP response for expressions (#36467)
                                • +
                                • Enhanced garbage collection in snapshot KV (#36793)
                                • +
                                • Added support to execute methods with context parameters (#36798)

                                v2.4.12

                                Veröffentlichungsdatum: September 26, 2024

                                +

                                Release Date: September 26, 2024

                                - +
                                Milvus-VersionPython SDK-VersionJava SDK-VersionNode.js SDK-Version
                                Milvus versionPython SDK versionJava SDK versionNode.js SDK version
                                2.4.122.4.72.4.42.4.9
                                -

                                Milvus 2.4.12 enthält wichtige Verbesserungen und kritische Fehlerbehebungen. Diese Version behebt Probleme mit der Datenduplizierung und verbessert die Geschwindigkeit der Fehlerbehebung, insbesondere bei der Verarbeitung einer großen Anzahl von Löschungen. Es gibt jedoch nach wie vor ein bekanntes Problem, bei dem die Fehlerbehebung beim Löschen großer Datenmengen langsam sein kann. Wir arbeiten aktiv an der Behebung dieses Problems.

                                -

                                Verbesserungen

                                  -
                                • Graceful Stop für Flowgraph Manager implementiert(#36358)
                                • -
                                • Deaktivierte Indexprüfungen für nicht geladene Vektorfelder(#36280)
                                • -
                                • Ausfiltern von nicht getroffenen Löschdatensätzen während des Deltaladens(#36272)
                                • -
                                • Verbesserte Fehlerbehandlung für std::stoi Ausnahmen(#36296)
                                • -
                                • Unzulässige Schlüsselwörter als Feldnamen oder dynamische Feldnamen(#36108)
                                • -
                                • Metriken für Löscheinträge in L0-Segmenten hinzugefügt(#36227)
                                • -
                                • L0-Weiterleitungsrichtlinie implementiert, um Fernladen zu unterstützen(#36208)
                                • -
                                • ANN-Feldladeprüfung im Proxy hinzugefügt(#36194)
                                • -
                                • Unterstützung für leere Sparse-Zeilen aktiviert(#36061)
                                • -
                                • Eine Sicherheitslücke wurde behoben(#36156)
                                • -
                                • Implementierte Statistik-Handler für Anfrage/Antwort Größenmetriken(#36118)
                                • -
                                • Korrigierte Größenabschätzung für kodierte Array-Daten(#36379)
                                • +

                                  Milvus 2.4.12 introduces significant enhancements and critical bug fixes. This release addresses data duplication issues and improves failure recovery speed, particularly when handling large numbers of deletions. However, a known issue persists where failure recovery can be slow when deleting massive amounts of data. We are actively working on resolving this issue.

                                  +

                                  Improvements

                                    +
                                  • Implemented graceful stop for flowgraph manager (#36358)
                                  • +
                                  • Disabled index checks for non-loaded vector fields (#36280)
                                  • +
                                  • Filtered out non-hit delete records during delta loading (#36272)
                                  • +
                                  • Improved error handling for std::stoi exceptions (#36296)
                                  • +
                                  • Disallowed keywords as field names or dynamic field names (#36108)
                                  • +
                                  • Added metrics for delete entries in L0 segments (#36227)
                                  • +
                                  • Implemented L0 forward policy to support remote loading (#36208)
                                  • +
                                  • Added ANN field loading check in proxy (#36194)
                                  • +
                                  • Enabled empty sparse row support (#36061)
                                  • +
                                  • Fixed a security vulnerability (#36156)
                                  • +
                                  • Implemented stats handler for request/response size metrics (#36118)
                                  • +
                                  • Corrected size estimation for encoded array data (#36379)
                                  -

                                  Fehlerbehebungen

                                    -
                                  • Metrik-Typ-Fehler für Sammlungen mit zwei Vektorfeldern behoben(#36473)
                                  • -
                                  • Probleme mit langen Puffern behoben, die zu Empfangsfehlern in der Nachrichtenwarteschlange führten(#36425)
                                  • -
                                  • Implementierte korrekte 'Kompakt-zu-Segment'-Rückgabe nach Split-Unterstützung(#36429)
                                  • -
                                  • Daten-Race-Probleme mit der Node ID Check Goroutine behoben(#36377)
                                  • -
                                  • Entfernte Elementtyp-Prüfung(#36324)
                                  • -
                                  • Probleme mit gleichzeitigem Zugriff für wachsende und versiegelte Segmente behoben(#36288)
                                  • -
                                  • Implementierte zukünftige zustandsabhängige Sperre(#36333)
                                  • -
                                  • Korrigierte Offset-Verwendung in HybridSearch(#36287, #36253)
                                  • -
                                  • Behebung von schmutzigen Segment/Kanal Lecks auf QueryNode(#36259)
                                  • -
                                  • Korrigierte Behandlung von Primärschlüssel-Duplikationen(#36274)
                                  • -
                                  • Erzwungene Metrik-Typ Einstellung in Suchanfragen(#36279)
                                  • -
                                  • Korrigiertes Stored_index_files_size Metrik-Löschproblem(#36161)
                                  • -
                                  • Korrigiertes Verhalten der Lese- und Schreibberechtigungsgruppe für globalen API-Zugriff(#36145)
                                  • +

                                    Bug fixes

                                      +
                                    • Resolved metric type errors for collections with two vector fields (#36473)
                                    • +
                                    • Fixed long buffering issues causing message queue reception failures (#36425)
                                    • +
                                    • Implemented proper compact-to-segments return after split support (#36429)
                                    • +
                                    • Resolved data race issues with node ID check goroutine (#36377)
                                    • +
                                    • Removed element type check (#36324)
                                    • +
                                    • Fixed concurrent access issues for growing and sealed segments (#36288)
                                    • +
                                    • Implemented future stateful lock (#36333)
                                    • +
                                    • Corrected offset usage in HybridSearch (#36287, #36253)
                                    • +
                                    • Resolved dirty segment/channel leaks on QueryNode (#36259)
                                    • +
                                    • Fixed primary key duplication handling (#36274)
                                    • +
                                    • Enforced metric type setting in search requests (#36279)
                                    • +
                                    • Fixed stored_index_files_size metric clearing issue (#36161)
                                    • +
                                    • Corrected readwrite privilege group behavior for global API access (#36145)

                                    v2.4.11

                                    Veröffentlichungsdatum: September 11, 2024

                                    +

                                    Release Date: September 11, 2024

                                    - +
                                    Milvus-VersionPython SDK-VersionJava SDK-VersionNode.js SDK-Version
                                    Milvus versionPython SDK versionJava SDK versionNode.js SDK version
                                    2.4.112.4.62.4.32.4.8
                                    -

                                    Milvus 2.4.11 ist eine Fehlerbehebungsversion, die mehrere kritische Probleme im Zusammenhang mit dem MARISA-Trie-Index, der Verdichtung und den Ladevorgängen behebt. Mit dieser Version werden neue Funktionen zur Anzeige von Ausdrücken und zur Verbesserung der Stabilität beim Löschen eingeführt. Wir empfehlen allen Nutzern der 2.4.x-Reihe, auf diese Version zu aktualisieren, um von diesen Verbesserungen und Fehlerbehebungen zu profitieren.

                                    -

                                    Funktionen

                                      -
                                    • Statische Ansicht für Ausdrücke in 2.4 hinzugefügt(#35954)
                                    • -
                                    • Quotenlogik für Löschpuffer implementiert(#35997)
                                    • +

                                      Milvus 2.4.11 is a bug-fix release that addresses multiple critical issues related to the MARISA trie index, compaction, and loading operations. This release introduces new features to view expressions and improve delete stability. We recommend all users of the 2.4.x series to upgrade to this version to benefit from these improvements and fixes.

                                      +

                                      Features

                                        +
                                      • Added static view for expressions in 2.4 (#35954)
                                      • +
                                      • Implemented delete buffer related quota logic (#35997)
                                      -

                                      Fehlerbehebungen

                                        -
                                      • Problem mit Trie-Indexbereich-Operationen für GreaterThan und GreaterThanEqual Vergleiche behoben(#36126)
                                      • -
                                      • Korrigierte marisa_label_order Verwendung in der Trie Index Konstruktion(#36060)
                                      • -
                                      • Verbesserte Wertüberprüfung für trie.predictive_search (#35999)
                                      • -
                                      • Aktivierte Unterstützung für binäre arithmetische Ausdrücke bei invertiertem Index(#36097)
                                      • -
                                      • Behobener Segment-Fehler, verursacht durch Skipindex(#35908)
                                      • -
                                      • Speicherleck im Proxy-Meta-Cache behoben(#36076)
                                      • -
                                      • Der mmap-Dateipfad wurde umbenannt, um Verzeichniskonflikte zu vermeiden(#35975)
                                      • -
                                      • Verbesserte Protokollierung und Bereinigung für fehlgeschlagene/zeitüberschrittene Tasks in der Mix-Compaction(#35967)
                                      • -
                                      • Behebung eines logischen Deadlocks bei hohem Speicherverbrauch durch den Delegator(#36066)
                                      • -
                                      • Leere Segmente werden nun erstellt, wenn die Verdichtung alle Einfügungen löscht(#36045)
                                      • -
                                      • Korrigierte Ladefeld-Listen-Bevölkerung von alten Versionen der Ladeinformationen in 2.4(#36018)
                                      • -
                                      • Korrigierte Verfolgungslogik der Konfigurationsaktualisierung in 2.4(#35998)
                                      • -
                                      • Behebung von Fehlern bei Such- und Abfrageanfragen während der Freigabe dynamischer Partitionen(#36019)
                                      • -
                                      • Verhinderte das Überschreiben von Fallback-Parametern(#36006)
                                      • -
                                      • Sicherstellung der korrekten Registrierung von Berechtigungsgruppen für die Validierung(#35938)
                                      • -
                                      • Verhinderte fehlerhaftes Aufräumen von db limiter Knoten(#35992)
                                      • -
                                      • Problem mit Replikaten, die nach einer Fehlerbehebung nicht an Abfragen teilnehmen, wurde behoben(#35925)
                                      • -
                                      • Behobenes Data Race im Clustering Compaction Writer(#35958)
                                      • -
                                      • Korrigierte Variablenreferenz nach einer Verschiebeoperation(#35904)
                                      • -
                                      • Implementierte Clustering Key Skip Load Verhaltensprüfung(#35899)
                                      • -
                                      • Sicherstellung eines einzelnen Starts von Querycoord-Beobachtern in 2.4(#35817)
                                      • +

                                        Bug fixes

                                          +
                                        • Resolved Trie index range operation issue for GreaterThan and GreaterThanEqual comparisons (#36126)
                                        • +
                                        • Corrected marisa_label_order usage in Trie index construction (#36060)
                                        • +
                                        • Enhanced value checking for trie.predictive_search (#35999)
                                        • +
                                        • Enabled Binary arithmetic expression support on inverted index (#36097)
                                        • +
                                        • Fixed segment fault caused by Skipindex (#35908)
                                        • +
                                        • Resolved memory leak in proxy meta cache (#36076)
                                        • +
                                        • Renamed mmap file path to prevent directory conflicts (#35975)
                                        • +
                                        • Improved logging and cleanup for failed/timeout tasks in mix compaction (#35967)
                                        • +
                                        • Addressed logic deadlock during high memory usage by delegator (#36066)
                                        • +
                                        • Implemented empty segment creation when compaction deletes all inserts (#36045)
                                        • +
                                        • Corrected load field list population from old version load info in 2.4 (#36018)
                                        • +
                                        • Fixed tracing config update logic in 2.4 (#35998)
                                        • +
                                        • Resolved search/query request failures during dynamic partition release (#36019)
                                        • +
                                        • Prevented override of fallback parameters (#36006)
                                        • +
                                        • Ensured proper registration of privilege groups for validation (#35938)
                                        • +
                                        • Prevented mistaken cleanup of db limiter nodes (#35992)
                                        • +
                                        • Addressed issue with replicas not participating in queries after failure recovery (#35925)
                                        • +
                                        • Resolved data race in clustering compaction writer (#35958)
                                        • +
                                        • Fixed variable reference after move operation (#35904)
                                        • +
                                        • Implemented clustering key skip load behavior check (#35899)
                                        • +
                                        • Ensured single startup of querycoord observers in 2.4 (#35817)
                                        -

                                        Verbesserungen

                                          -
                                        • Aktualisierung von Milvus & proto auf Version 2.4.11(#36069)
                                        • -
                                        • Adressiert ein Speicherleck in Unit-Tests und aktiviert die use_asan Option für Unittest-Builds(#35857)
                                        • -
                                        • Anpassung der l0segmentsrowcount-Grenzwerte auf angemessenere Werte(#36015)
                                        • -
                                        • Änderung des deltalog Speicherschätzungsfaktors auf eins(#36035)
                                        • -
                                        • Implementierte Slicesetequal für Ladefeldlistenvergleiche(#36062)
                                        • -
                                        • Reduzierte Log-Häufigkeit für Löschoperationen(#35981)
                                        • -
                                        • Upgraded etcd Version auf 3.5.14(#35977)
                                        • -
                                        • Optimierte mmap-rss Reduzierung nach dem Aufwärmen(#35965)
                                        • -
                                        • Abkühlungsperiode im Ratenbegrenzer für Leseanfragen wurde entfernt(#35936)
                                        • -
                                        • Verbesserte Überprüfung von Ladefeldern für zuvor geladene Sammlungen(#35910)
                                        • -
                                        • Unterstützung für das Löschen von Rollen im Zusammenhang mit Berechtigungslisten in 2.4 hinzugefügt(#35863)
                                        • -
                                        • Implementierung von depguard-Regeln, um die Verwendung veralteter Proto-Bibliotheken zu verbieten(#35818)
                                        • +

                                          Improvements

                                            +
                                          • Upgraded Milvus & proto version to 2.4.11 (#36069)
                                          • +
                                          • Addressed memory leak in unit tests and enable use_asan option for unittest builds (#35857)
                                          • +
                                          • Adjusted l0segmentsrowcount limits to more appropriate values (#36015)
                                          • +
                                          • Modified deltalog memory estimation factor to one (#36035)
                                          • +
                                          • Implemented slicesetequal for load field list comparisons (#36062)
                                          • +
                                          • Reduced log frequency for delete operations (#35981)
                                          • +
                                          • Upgraded etcd version to 3.5.14 (#35977)
                                          • +
                                          • Optimized mmap-rss reduction after warmup (#35965)
                                          • +
                                          • Removed cooling off period in rate limiter for read requests (#35936)
                                          • +
                                          • Enhanced load field checking for previously loaded collections (#35910)
                                          • +
                                          • Added support for dropping roles related to privilege lists in 2.4 (#35863)
                                          • +
                                          • Implemented depguard rules to prohibit deprecated proto library usage (#35818)
                                          -

                                          Andere

                                            -
                                          • Aktualisierte Knowhere Version(#36067)
                                          • +

                                            Others

                                              +
                                            • Updated Knowhere version (#36067)

                                            v2.4.10

                                            Veröffentlichungsdatum: August 30, 2024

                                            +

                                            Release Date: August 30, 2024

                                            - +
                                            Milvus-VersionPython SDK-VersionJava SDK-VersionNode.js SDK-Version
                                            Milvus versionPython SDK versionJava SDK versionNode.js SDK version
                                            2.4.102.4.62.4.32.4.6
                                            -

                                            Milvus 2.4.10 bietet erhebliche Verbesserungen in Bezug auf Funktionalität und Stabilität. Zu den wichtigsten Funktionen gehören die Unterstützung von Upsert-Operationen bei AutoID-aktivierten Sammlungen, die Möglichkeit, Sammlungen teilweise zu laden, und verschiedene Memory-Mapped-Konfigurationen (MMAP) zur Optimierung der Speichernutzung. In dieser Version wurden außerdem mehrere Fehler behoben, die zu Panics, Core Dumps und Ressourcenlecks führten. Wir empfehlen ein Upgrade, um alle Vorteile dieser Verbesserungen zu nutzen.

                                            -

                                            Funktionen

                                              -
                                            • Upsert mit automatischer ID: Unterstützung für Upsert-Operationen mit automatischer ID-Generierung(#34633)
                                            • -
                                            • Feldpartielles Laden von Sammlungen [Beta-Vorschau]: Ermöglicht das Laden bestimmter Felder einer Sammlung(#35696)
                                            • -
                                            • RBAC-Verbesserungen:
                                                -
                                              • RBAC Nachrichtenunterstützung für Change Data Capture (CDC) hinzugefügt(#35562)
                                              • -
                                              • Einführung von readonly/readwrite/admin privilege Gruppen zur Vereinfachung des RBAC grant Prozesses(#35543)
                                              • -
                                              • Neue API für das Sichern und Wiederherstellen von RBAC-Konfigurationen(#35513)
                                              • -
                                              • Aktualisieren des Proxy-Caches nach der Wiederherstellung von RBAC-Metadaten(#35636)
                                              • +

                                                Milvus 2.4.10 introduces significant improvements in functionality and stability. Key features include support for upsert operations on AutoID-enabled collections, partial collection loading capabilities, and various memory-mapped (MMAP) configurations to optimize memory usage. This release also addresses several bugs causing panics, core dumps, and resource leaks. We recommend upgrading to take full advantage of these improvements.

                                                +

                                                Features

                                                  +
                                                • Upsert with Auto ID: Support for upsert operations with automatic ID generation (#34633)
                                                • +
                                                • Field Partial Load Collection [Beta Preview]: Allows loading specific fields of a collection (#35696)
                                                • +
                                                • RBAC Enhancements: +
                                                    +
                                                  • Added RBAC message support for Change Data Capture (CDC) (#35562)
                                                  • +
                                                  • Introduced readonly/readwrite/admin privilege groups to simplify RBAC grant process (#35543)
                                                  • +
                                                  • New API for backing up and restoring RBAC configurations (#35513)
                                                  • +
                                                  • Refresh proxy cache after restoring RBAC metadata (#35636)
                                                • -
                                                • Verbesserte MMAP-Konfiguration: Mehr allgemeine Konfigurationsoptionen zur Steuerung des MMAP-Verhaltens(#35609)
                                                • -
                                                • Datenbank-Zugriffsbeschränkungen: Neue Eigenschaften zur Einschränkung des Lesezugriffs auf Datenbanken(#35754)
                                                • +
                                                • Improved MMAP Configuration: More general configuration options to control MMAP behavior (#35609)
                                                • +
                                                • Database Access Restrictions: New properties to restrict read access to databases (#35754)
                                                -

                                                Fehlerbehebungen

                                                  -
                                                • Arrow Go Client gibt keinen Fehler mehr zurück(#35820)
                                                • -
                                                • Korrigierte ungenaue Ratenbegrenzung(#35700)
                                                • -
                                                • Proxy-Panik nach importbezogenen API-Fehlern behoben(#35559)
                                                • -
                                                • Mögliche fehlerhafte Löschungen während GC Channel Checkpoints behoben(#35708)
                                                • -
                                                • Behoben wurde eine Panik aufgrund von leeren Kandidaten-Importsegmenten(#35674)
                                                • -
                                                • Korrigierte mmap Speicherfreigabe(#35726)
                                                • -
                                                • Sicherstellung der korrekten Channel-Überwachung bei Upgrades von 2.2 auf 2.4(#35695)
                                                • -
                                                • Reparierte DataNode unüberwachte Channel Release Funktion(#35657)
                                                • -
                                                • Korrigierte Partitionsanzahl in RootCoord Metadaten(#35601)
                                                • -
                                                • Probleme mit dynamischen Konfigurations-Updates für bestimmte Parameter behoben(#35637)
                                                • +

                                                  Bug fixes

                                                    +
                                                  • Fixed Arrow Go client don’t return error issue (#35820)
                                                  • +
                                                  • Corrected inaccurate rate limiting (#35700)
                                                  • +
                                                  • Resolved proxy panic after import-related API failures (#35559)
                                                  • +
                                                  • Fixed potential mistaken deletions during GC channel checkpoints (#35708)
                                                  • +
                                                  • Addressed panic due to empty candidate import segments (#35674)
                                                  • +
                                                  • Corrected mmap memory deallocation (#35726)
                                                  • +
                                                  • Ensured proper channel watching for upgrades from 2.2 to 2.4 (#35695)
                                                  • +
                                                  • Fixed DataNode unwatching channel release function (#35657)
                                                  • +
                                                  • Corrected partition count in RootCoord metadata (#35601)
                                                  • +
                                                  • Resolved issues with dynamic config updates for certain parameters (#35637)
                                                  -

                                                  Verbesserungen

                                                  Leistung

                                                    -
                                                  • Optimierte Abfrage von dynamischen Feldern(#35602)
                                                  • -
                                                  • Verbesserte Bitset-Leistung für AVX512(#35480)
                                                  • -
                                                  • Neueinlesen des Wertes nach once Initialisierung für bessere Effizienz(#35643)
                                                  • +

                                                    Improvements

                                                    Performance

                                                      +
                                                    • Optimized retrieval on dynamic fields (#35602)
                                                    • +
                                                    • Improved bitset performance for AVX512 (#35480)
                                                    • +
                                                    • Re-read value after once initialization for better efficiency (#35643)
                                                    -

                                                    Verbesserungen beim Rolling Upgrade

                                                      -
                                                    • Markierung von Abfrageknoten als schreibgeschützt nach dem Aussetzen(#35586)
                                                    • -
                                                    • Verhinderte die Koexistenz des alten Koordinators mit dem neuen Knoten/Proxy(#35760)
                                                    • +

                                                      Rolling upgrade improvements

                                                        +
                                                      • Marked query node as read-only after suspended (#35586)
                                                      • +
                                                      • Prevented coexistence of old coordinator with new node/proxy (#35760)
                                                      -

                                                      Andere

                                                        -
                                                      • Optimierter Prozess zur Erstellung des Milvus-Kerns(#35660)
                                                      • -
                                                      • Aktualisiert auf protobuf-go v2(#35555)
                                                      • -
                                                      • Verbessertes Tracing mit Hex-String-Kodierung für traceid und spanid(#35568)
                                                      • -
                                                      • Treffer-Segmentnummer-Metrik für Query Hook hinzugefügt(#35619)
                                                      • -
                                                      • Verbesserte Kompatibilität mit dem alten SDK für die configure load param Funktion(#35573)
                                                      • -
                                                      • Unterstützung für HTTP v1/v2 Drosselung hinzugefügt(#35504)
                                                      • -
                                                      • Reparierte Index-Speicher-Schätzung(#35670)
                                                      • -
                                                      • Möglichkeit, mehrere Segmente in den Mix Compactor zu schreiben, um die Erzeugung großer Segmente zu vermeiden(#35648)
                                                      • +

                                                        Others

                                                          +
                                                        • Optimized Milvus core building process (#35660)
                                                        • +
                                                        • Updated to protobuf-go v2 (#35555)
                                                        • +
                                                        • Enhanced tracing with hex string encoding for traceid and spanid (#35568)
                                                        • +
                                                        • Added hit segment number metrics for query hook (#35619)
                                                        • +
                                                        • Improved compatibility with old SDK for configure load param feature (#35573)
                                                        • +
                                                        • Added support for HTTP v1/v2 throttling (#35504)
                                                        • +
                                                        • Fixed index memory estimation (#35670)
                                                        • +
                                                        • Ability to write multiple segments in mix compactor to avoid large segment generation (#35648)

                                                        v2.4.9

                                                        Veröffentlichungsdatum: August 20, 2024

                                                        +

                                                        Release Date: August 20, 2024

                                                        - +
                                                        Milvus-VersionPython SDK-VersionJava SDK-VersionNode.js SDK-Version
                                                        Milvus versionPython SDK versionJava SDK versionNode.js SDK version
                                                        2.4.92.4.52.4.32.4.4
                                                        -

                                                        Milvus v2.4.9 behebt ein kritisches Problem, das in einigen Fällen Ergebnisse unterhalb des Limits (topk) liefern konnte, und enthält mehrere wichtige Verbesserungen, um die Leistung und Benutzerfreundlichkeit der Plattform zu verbessern.

                                                        -

                                                        Kritische Fehlerbehebungen

                                                          -
                                                        • Das l0-Segment wurde aus dem lesbaren Snapshot ausgeschlossen(#35510).
                                                        • +

                                                          Milvus v2.4.9 addresses a critical issue which could return results less than limit (topk) in some corner cases and includes several key improvements to enhance the performance and usability of the platform.

                                                          +

                                                          Critical fixes

                                                            +
                                                          • Excluded l0 segment from readable snapshot (#35510).
                                                          -

                                                          Verbesserungen

                                                            -
                                                          • Duplizierte Schema-Helper-Erstellung im Proxy wurde entfernt(#35502).
                                                          • -
                                                          • Unterstützung für die Kompilierung von Milvus auf Ubuntu 20.04 hinzugefügt(#35457).
                                                          • -
                                                          • Optimierte Verwendung von Sperren und Vermeidung von Double Flush Clustering Buffer Writer(#35490).
                                                          • -
                                                          • Das ungültige Protokoll wurde entfernt(#35473).
                                                          • -
                                                          • Ein Benutzerhandbuch für die Clustering-Verdichtung wurde hinzugefügt(#35428).
                                                          • -
                                                          • Unterstützung für dynamische Felder im Schemahelfer(#35469).
                                                          • -
                                                          • Der Abschnitt msgchannel wurde in der generierten YAML hinzugefügt(#35466).
                                                          • +

                                                            Improvements

                                                              +
                                                            • Removed duplicated schema helper creation in the proxy (#35502).
                                                            • +
                                                            • Added support for compiling Milvus on Ubuntu 20.04 (#35457).
                                                            • +
                                                            • Optimized the use of locks and avoided double flush clustering buffer writer (#35490).
                                                            • +
                                                            • Removed the invalid log (#35473).
                                                            • +
                                                            • Added a clustering compaction user guide doc (#35428).
                                                            • +
                                                            • Added support for dynamic fields in the schema helper (#35469).
                                                            • +
                                                            • Added the msgchannel section in the generated YAML (#35466).

                                                            v2.4.8

                                                            Veröffentlichungsdatum: August 14, 2024

                                                            +

                                                            Release Date: August 14, 2024

                                                            - +
                                                            Milvus-VersionPython SDK VersionJava SDK-VersionNode.js SDK-Version
                                                            Milvus versionPython SDK versionJava SDK versionNode.js SDK version
                                                            2.4.82.4.52.4.32.4.4
                                                            -

                                                            Mit Milvus 2.4.8 wurden mehrere bedeutende Verbesserungen der Leistung und Stabilität des Systems eingeführt. Das bemerkenswerteste Merkmal war die Implementierung der Clusterverdichtung, ein Mechanismus, der die Such- und Abfrageeffizienz erhöht, indem er Daten in großen Sammlungen auf der Grundlage eines festgelegten Clustering-Schlüssels umverteilt und so die Menge der gescannten Daten reduziert. Die Verdichtung wurde auch vom Shard DataNode entkoppelt, so dass jeder DataNode die Verdichtung unabhängig durchführen kann, was die Fehlertoleranz, Stabilität, Leistung und Skalierbarkeit verbessert. Darüber hinaus wurde die Schnittstelle zwischen den Go- und C++-Komponenten überarbeitet, um asynchrone CGO-Aufrufe zu verwenden und Probleme wie Session-Timeouts zu beheben. Die Abhängigkeiten der Anwendung wurden ebenfalls aktualisiert, um bekannte Sicherheitslücken zu schließen. Darüber hinaus enthält diese Version auch zahlreiche Leistungsoptimierungen und kritische Bugfixes.

                                                            -

                                                            Funktionen

                                                              -
                                                            • Es wurde eine Clustering-Kompaktierung implementiert, die es ermöglicht, Daten auf der Grundlage eines bestimmten Clustering-Schlüssels neu zu verteilen, um die Abfrageeffizienz zu verbessern(#34326),(#34363).
                                                            • +

                                                              Milvus 2.4.8 introduced several significant improvements to the system’s performance and stability. The most notable feature was the implementation of clustering compaction, a mechanism that enhances search and query efficiency by redistributing data in large collections based on a designated clustering key, reducing the amount of data scanned. Compaction was also decoupled from the shard DataNode, allowing any DataNode to perform compaction independently, which improved fault tolerance, stability, performance, and scalability. Additionally, the interface between the Go and C++ components was refactored to use asynchronous CGO calls, addressing issues like session timeouts, while several other performance optimizations were made based on profiling. The application dependencies were also updated to address known security vulnerabilities. Moreover, this release also includes numerous performance optimizations and critical bug fixes.

                                                              +

                                                              Features

                                                                +
                                                              • Implemented clustering compaction, allowing data to be redistributed based on a designated clustering key to enhance query efficiency (#34326), (#34363).
                                                              -

                                                              Verbesserungen

                                                                -
                                                              • Implementierung von asynchronen Such- und Abruffunktionen in CGO.(#34200)
                                                              • -
                                                              • Der Verdichtungsprozess wurde vom Shard DataNode getrennt, um die Modularität des Systems zu verbessern.(#34157)
                                                              • -
                                                              • Unterstützung für Client-Pooling in QueryNode innerhalb des Proxy/Delegator hinzugefügt, um die Leistung zu verbessern.(#35195)
                                                              • -
                                                              • Sonic wurde integriert, um den CPU-Overhead während des JSON-Marshaling und -Marshaling in Gin und RestfulV1 Handlern zu minimieren.(#35018)
                                                              • -
                                                              • Es wurde ein In-Memory-Cache eingeführt, um den Abruf von Authentifizierungsergebnissen zu optimieren.(#35272)
                                                              • -
                                                              • Der Standard-Metrik-Typ für Autoindex wurde geändert.[#34277, #34479]
                                                              • -
                                                              • Das Laufzeit-Speicherformat für variable Spalten wurde überarbeitet, was zu einer geringeren Speichernutzung führt.[#34367, #35012, #35041]
                                                              • -
                                                              • Die Verdichtungsprozesse wurden überarbeitet, um eine dauerhafte Datenspeicherung zu ermöglichen.(#34268)
                                                              • -
                                                              • Unterstützung von Memory-Mapped-Dateien für wachsende Segmente wurde aktiviert, was die Speicherverwaltung verbessert.(#34110)
                                                              • -
                                                              • Verbesserte Zugriffsprotokolle durch Hinzufügen von RESTful API-Unterstützung, Protokollierung von Konsistenzstufen und Unterscheidung zwischen System- und Benutzerfehlern.[#34295, #34352, #34396]
                                                              • -
                                                              • Der neue Parameter range_search_k in Knowhere wurde verwendet, um die Bereichssuche zu beschleunigen.(#34709)
                                                              • -
                                                              • Anwendung von blockierten Bloom-Filtern, um die Geschwindigkeit der Filterkonstruktion und Abfrage zu erhöhen.[#34377, #34922]
                                                              • -
                                                              • Verbesserungen bei der Speichernutzung:
                                                                  -
                                                                • Vorab zugewiesener Platz für DataNode-Einfügepuffer.(#34205)
                                                                • -
                                                                • Vorab zugewiesene FieldData für Reduce-Operationen.(#34254)
                                                                • -
                                                                • Freigegebene Datensätze im Delete Codec, um Speicherlecks zu verhindern.(#34506)
                                                                • -
                                                                • Kontrollierte Gleichzeitigkeitsstufe des Disk File Managers während des Ladens von Dateien.(#35282)
                                                                • -
                                                                • Optimierte Go-Laufzeit-Garbage-Collection-Logik für rechtzeitige Speicherfreigabe.(#34950)
                                                                • -
                                                                • Es wurde eine neue Versiegelungsrichtlinie für wachsende Segmente implementiert.(#34779)
                                                                • +

                                                                  Improvements

                                                                    +
                                                                  • Implemented asynchronous search and retrieval capabilities in CGO. (#34200)
                                                                  • +
                                                                  • Separated the compaction process from the Shard DataNode to improve system modularity. (#34157)
                                                                  • +
                                                                  • Added support for client pooling in QueryNode within the proxy/delegator to enhance performance. (#35195)
                                                                  • +
                                                                  • Integrated Sonic to minimize CPU overhead during JSON marshaling and unmarshaling in Gin and RestfulV1 handlers. (#35018)
                                                                  • +
                                                                  • Introduced an in-memory cache to optimize authentication result retrieval. (#35272)
                                                                  • +
                                                                  • Modified the default metric type for autoindex. [#34277, #34479]
                                                                  • +
                                                                  • Refactored the runtime memory format for variable columns, leading to reduced memory usage. [#34367, #35012, #35041]
                                                                  • +
                                                                  • Refactored compaction processes to enable persistent data storage. (#34268)
                                                                  • +
                                                                  • Enabled memory-mapped file support for growing segments, improving memory management. (#34110)
                                                                  • +
                                                                  • Improved access logs by adding RESTful API support, logging consistency levels, and distinguishing between system and user errors. [#34295, #34352, #34396]
                                                                  • +
                                                                  • Utilized the new range_search_k parameter in Knowhere to speed up range searches. (#34709)
                                                                  • +
                                                                  • Applied blocked Bloom filters to enhance the speed of filter construction and querying. [#34377, #34922]
                                                                  • +
                                                                  • Memory Usage Improvements: +
                                                                      +
                                                                    • Pre-allocated space for DataNode insert buffers. (#34205)
                                                                    • +
                                                                    • Pre-allocated FieldData for Reduce operations. (#34254)
                                                                    • +
                                                                    • Released records in delete codec to prevent memory leaks. (#34506)
                                                                    • +
                                                                    • Controlled concurrency level of the disk file manager during file loading. (#35282)
                                                                    • +
                                                                    • Optimized Go runtime garbage collection logic for timely memory release. (#34950)
                                                                    • +
                                                                    • Implemented a new seal policy for growing segments. (#34779)
                                                                  • -
                                                                  • DataCoord-Verbesserungen:
                                                                      -
                                                                    • Reduzierte CPU-Auslastung.[#34231, #34309]
                                                                    • -
                                                                    • Schnellere Logik für das Beenden der Garbage Collection wurde implementiert.(#35051)
                                                                    • -
                                                                    • Verbesserte Algorithmen zur Planung der Arbeitsknoten.(#34382)
                                                                    • -
                                                                    • Verbesserter Algorithmus zur Kontrolle der Segmentgröße speziell für Importoperationen.(#35149)
                                                                    • +
                                                                    • DataCoord Enhancements: +
                                                                        +
                                                                      • Reduced CPU usage. [#34231, #34309]
                                                                      • +
                                                                      • Implemented faster garbage collection exit logic. (#35051)
                                                                      • +
                                                                      • Improved worker node scheduling algorithms. (#34382)
                                                                      • +
                                                                      • Enhanced segment size control algorithm specifically for import operations. (#35149)
                                                                    • -
                                                                    • Verbesserungen des Lastausgleichs-Algorithmus:
                                                                        -
                                                                      • Verringerung des Speicherüberlastungsfaktors auf dem Delegator.(#35164)
                                                                      • -
                                                                      • Zuweisung einer festen Speichergröße für den Delegator.(#34600)
                                                                      • -
                                                                      • Die übermäßige Zuweisung von Segmenten und Kanälen für neue Abfrageknoten wurde vermieden.(#34245)
                                                                      • -
                                                                      • Die Anzahl der Aufgaben pro Planungszyklus durch den Abfragekoordinator wurde reduziert, während die Planungshäufigkeit erhöht wurde.(#34987)
                                                                      • -
                                                                      • Verbesserter Algorithmus zum Kanalausgleich auf dem DataNode(#35033)
                                                                      • +
                                                                      • Load Balancing Algorithm Improvements: +
                                                                          +
                                                                        • Reduced the memory overload factor on the delegator. (#35164)
                                                                        • +
                                                                        • Allocated fixed memory size for the delegator. (#34600)
                                                                        • +
                                                                        • Avoided excessive allocation of segments and channels for new query nodes. (#34245)
                                                                        • +
                                                                        • Reduced the number of tasks per scheduling cycle by Query Coordinator while increasing scheduling frequency. (#34987)
                                                                        • +
                                                                        • Enhanced channel balancing algorithm on the DataNode. (#35033)
                                                                      • -
                                                                      • Erweiterte Systemmetriken: Es wurden neue Metriken für verschiedene Komponenten hinzugefügt, um bestimmte Aspekte zu überwachen, darunter:
                                                                          -
                                                                        • Force-deny-writing-Status.(#34989)
                                                                        • -
                                                                        • Warteschlangen-Latenz.(#34788)
                                                                        • -
                                                                        • Festplatten-Quota.(#35306)
                                                                        • -
                                                                        • Task-Ausführungszeit.(#35141)
                                                                        • -
                                                                        • Binlog-Größe.(#35235)
                                                                        • -
                                                                        • Einfügerate.(#35188)
                                                                        • -
                                                                        • Speicher-Hochwasserstand.(#35188)
                                                                        • -
                                                                        • RESTful API Metriken.(#35083)
                                                                        • -
                                                                        • Such-Latenzzeit.(#34783)
                                                                        • +
                                                                        • Expanded System Metrics: Added new metrics across various components to monitor specific aspects including: +
                                                                        -

                                                                        Änderungen

                                                                          -
                                                                        • Für Open-Source-Benutzer ändert diese Version die Metrik-Typen in AutoIndex für FloatVector und BinaryVector in Cosine bzw. Hamming.

                                                                        • -
                                                                        • Korrigierte Versionen von Drittanbieter-Abhängigkeiten:

                                                                          +

                                                                          Changes

                                                                            +
                                                                          • For open-source users, this version changes the metric types in AutoIndex for FloatVector and BinaryVector to Cosine and Hamming, respectively.

                                                                          • +
                                                                          • Fixed Third-Party Dependency Versions:

                                                                              -
                                                                            • Mit dieser Version werden feste Versionen für bestimmte Bibliotheken von Drittanbietern eingeführt, was das Software Supply Chain Management von Milvus erheblich verbessert.
                                                                            • -
                                                                            • Durch die Isolierung des Projekts von Upstream-Änderungen werden die täglichen Builds vor möglichen Unterbrechungen geschützt.
                                                                            • -
                                                                            • Das Update gewährleistet Stabilität, indem es ausschließlich validierte C++-Pakete von Drittanbietern auf der JFrog Cloud hostet und Conan Recipe Revisions (RREV) verwendet.
                                                                            • -
                                                                            • Dieser Ansatz mindert das Risiko, dass Änderungen durch Updates im ConanCenter unterbrochen werden.
                                                                            • -
                                                                            • Entwickler, die Ubuntu 22.04 verwenden, werden sofort von diesen Änderungen profitieren. Entwickler auf anderen Betriebssystemen müssen jedoch möglicherweise ihre glibc Version aktualisieren, um Kompatibilitätsprobleme zu vermeiden.
                                                                            • +
                                                                            • This release introduces fixed versions for certain third-party dependency libraries, significantly enhancing Milvus’s software supply chain management.
                                                                            • +
                                                                            • By isolating the project from upstream changes, it safeguards daily builds from potential disruptions.
                                                                            • +
                                                                            • The update ensures stability by exclusively hosting validated C++ third-party packages on JFrog Cloud and utilizing Conan Recipe Revisions (RREV).
                                                                            • +
                                                                            • This approach mitigates the risk of breaking changes from updates in ConanCenter.
                                                                            • +
                                                                            • Developers using Ubuntu 22.04 will benefit immediately from these changes. However, developers on other operating systems may need to upgrade their glibc version to avoid compatibility issues.
                                                                          -

                                                                          Kritische Fehlerbehebungen

                                                                            -
                                                                          • Es wurde ein Problem behoben, bei dem Löschdaten verloren gingen, weil Segmente während der L0-Kompaktierung ausgelassen wurden.[#33980, #34363]
                                                                          • -
                                                                          • Es wurde ein Problem behoben, bei dem Löschnachrichten aufgrund einer falschen Behandlung des Datenbereichs nicht weitergeleitet werden konnten.(#35313)
                                                                          • -
                                                                          • Behebung einer SIGBUS-Ausnahme, die aufgrund einer falschen Verwendung von mmap auftrat.[#34455, #34530]
                                                                          • -
                                                                          • Abstürze, die durch illegale Suchausdrücke verursacht wurden, wurden behoben.(#35307)
                                                                          • -
                                                                          • Es wurde ein Problem behoben, bei dem die DataNode-Überwachung aufgrund einer falschen Timeout-Einstellung im Überwachungskontext fehlschlug.(#35017)
                                                                          • +

                                                                            Critical bug fixes

                                                                              +
                                                                            • Fixed an issue where deletion data was lost due to segments being omitted during L0 compaction. [#33980, #34363]
                                                                            • +
                                                                            • Rectified a problem where delete messages failed to be forwarded due to incorrect data scope handling. (#35313)
                                                                            • +
                                                                            • Resolved a SIGBUS exception that occurred due to incorrect usage of mmap. [#34455, #34530]
                                                                            • +
                                                                            • Fixed crashes caused by illegal search expressions. (#35307)
                                                                            • +
                                                                            • Corrected an issue where DataNode watch failed due to an incorrect timeout setting in the watch context. (#35017)
                                                                            -

                                                                            Fehlerbehebungen

                                                                              -
                                                                            • Behebung von Sicherheitsschwachstellen durch Aktualisierung bestimmter Abhängigkeiten.[#33927, #34693]
                                                                            • -
                                                                            • Es wurde ein Parsing-Fehler behoben, der durch übermäßig lange Ausdrücke ausgelöst wurde.(#34957)
                                                                            • -
                                                                            • Es wurde ein Speicherleck behoben, das beim Parsen des Abfrageplans auftrat.(#34932)
                                                                            • -
                                                                            • Es wurde ein Problem behoben, bei dem dynamische Änderungen der Log-Ebene nicht wirksam wurden.(#34777)
                                                                            • -
                                                                            • Es wurde ein Problem behoben, bei dem Gruppierungsabfragen für wachsende Daten aufgrund von nicht initialisierten Segmentoffsets fehlschlugen.(#34750)
                                                                            • -
                                                                            • Die Einstellung der Suchparameter bei Verwendung des Knowhere-Iterators wurde korrigiert.(#34732)
                                                                            • -
                                                                            • Die Logik zur Überprüfung des Status der Partitionsladung wurde überarbeitet.(#34305)
                                                                            • -
                                                                            • Es wurde ein Problem behoben, bei dem Aktualisierungen des Privilegien-Caches aufgrund von unbehandelten Anfragefehlern fehlschlugen.(#34697)
                                                                            • -
                                                                            • Es wurde ein Fehler bei der Wiederherstellung von geladenen Sammlungen nach einem Neustart von QueryCoord behoben.(#35211)
                                                                            • -
                                                                            • Ein Problem mit der Last-Idempotenz wurde behoben, indem eine unnötige Validierung der Indexparameter entfernt wurde.(#35179)
                                                                            • -
                                                                            • Es wurde sichergestellt, dass compressBinlog ausgeführt wird, um reloadFromKV zu ermöglichen, binlog's logID nach dem Neustart von DataCoord korrekt zu füllen.(#34062)
                                                                            • -
                                                                            • Ein Problem wurde behoben, bei dem Sammlungs-Metadaten nach der Garbage Collection in DataCoord nicht entfernt wurden.(#34884)
                                                                            • -
                                                                            • Ein Speicherleck im SegmentManager innerhalb von DataCoord wurde behoben, indem durch Importe erzeugte Flush-Segmente entfernt wurden.(#34651)
                                                                            • -
                                                                            • Ein Panic-Problem wurde behoben, das auftrat, wenn die Verdichtung deaktiviert war und eine Sammlung gelöscht wurde.(#34206)
                                                                            • -
                                                                            • Ein Out-of-Memory-Problem in DataNode wurde behoben, indem der Algorithmus zur Schätzung der Speichernutzung verbessert wurde.(#34203)
                                                                            • -
                                                                            • Durch die Implementierung von Singleflight für den Chunk-Cache wurde ein Burst-Speicherverbrauch verhindert, wenn mehrere Vektor-Abrufanforderungen auf einen Cache-Miss treffen.(#34283)
                                                                            • -
                                                                            • Erfasst ErrKeyNotFound während CAS (Compare and Swap) Operationen in der Konfiguration.(#34489)
                                                                            • -
                                                                            • Es wurde ein Problem behoben, bei dem Konfigurationsaktualisierungen fehlschlugen, weil fälschlicherweise der formatierte Wert in einer CAS-Operation verwendet wurde.(#34373)
                                                                            • +

                                                                              Bug fixes

                                                                                +
                                                                              • Addressed security vulnerabilities by upgrading certain dependencies. [#33927, #34693]
                                                                              • +
                                                                              • Fixed a parsing error triggered by excessively long expressions. (#34957)
                                                                              • +
                                                                              • Resolved a memory leak that occurred during query plan parsing. (#34932)
                                                                              • +
                                                                              • Fixed an issue where dynamic log level modifications were not taking effect. (#34777)
                                                                              • +
                                                                              • Resolved an issue where group by queries on growing data failed due to uninitialized segment offsets. (#34750)
                                                                              • +
                                                                              • Corrected the setting of search parameters when using the Knowhere iterator. (#34732)
                                                                              • +
                                                                              • Revised the logic for checking the status of the partition load. (#34305)
                                                                              • +
                                                                              • Fixed an issue where privilege cache updates failed due to unhandled request errors. (#34697)
                                                                              • +
                                                                              • Resolved a failure in loaded collection recovery after QueryCoord restarted. (#35211)
                                                                              • +
                                                                              • Fixed an issue of load idempotence by removing unnecessary index parameter validation. (#35179)
                                                                              • +
                                                                              • Ensured compressBinlog is executed to allow reloadFromKV to properly fill binlog’s logID after DataCoord restarts. (#34062)
                                                                              • +
                                                                              • Fixed an issue where collection metadata was not removed after garbage collection in DataCoord. (#34884)
                                                                              • +
                                                                              • Resolved a memory leak in SegmentManager within DataCoord by removing flushed segments generated through imports. (#34651)
                                                                              • +
                                                                              • Fixed a panic issue when compaction was disabled and a collection was dropped. (#34206)
                                                                              • +
                                                                              • Fixed an out-of-memory issue in DataNode by enhancing the memory usage estimation algorithm. (#34203)
                                                                              • +
                                                                              • Prevented burst memory usage when multiple vector retrieval requests hit a cache miss by implementing singleflight for chunk cache. (#34283)
                                                                              • +
                                                                              • Captured ErrKeyNotFound during CAS (Compare and Swap) operations in the configuration. (#34489)
                                                                              • +
                                                                              • Fixed an issue where configuration updates failed due to mistakenly using the formatted value in a CAS operation. (#34373)
                                                                              -

                                                                              Verschiedenes

                                                                                -
                                                                              • Unterstützung für den OTLP HTTP-Exporter wurde hinzugefügt, wodurch die Beobachtbarkeit und die Überwachungsmöglichkeiten verbessert wurden.[#35073, #35299]
                                                                              • -
                                                                              • Verbesserte Datenbankfunktionalität durch Einführung von Eigenschaften wie "max collections" und "disk quota", die nun dynamisch geändert werden können.[#34511, #34386]
                                                                              • -
                                                                              • Es wurden Tracing-Funktionen für L0-Verdichtungsprozesse innerhalb von DataNode hinzugefügt, um Diagnose und Überwachung zu verbessern.(#33898)
                                                                              • -
                                                                              • Es wurde eine Quotenkonfiguration für die Anzahl der L0-Segmenteinträge pro Sammlung eingeführt, die eine bessere Kontrolle der Löschungsraten durch Anwendung von Gegendruck ermöglicht.(#34837)
                                                                              • -
                                                                              • Der Mechanismus zur Ratenbegrenzung für Einfügeoperationen wurde erweitert, um auch Upsert-Operationen abzudecken, was eine konsistente Leistung unter hoher Last gewährleistet.(#34616)
                                                                              • -
                                                                              • Es wurde ein dynamischer CGO-Pool für Proxy-CGO-Aufrufe implementiert, der die Ressourcennutzung und Leistung optimiert.(#34842)
                                                                              • -
                                                                              • Die DiskAnn-Kompilierungsoption für die Betriebssysteme Ubuntu, Rocky und Amazon wurde aktiviert, was die Kompatibilität und Leistung auf diesen Plattformen verbessert.(#34244)
                                                                              • -
                                                                              • Conan wurde auf Version 1.64.1 aktualisiert, um die Kompatibilität mit den neuesten Funktionen und Verbesserungen zu gewährleisten.(#35216)
                                                                              • -
                                                                              • Knowhere wurde auf Version 2.3.7 aktualisiert, was Leistungsverbesserungen und neue Funktionen mit sich bringt.(#34709)
                                                                              • -
                                                                              • Die Revision bestimmter Pakete von Drittanbietern wurde korrigiert, um konsistente Builds zu gewährleisten und das Risiko unerwarteter Änderungen zu verringern.(#35316)
                                                                              • +

                                                                                Miscellaneous

                                                                                  +
                                                                                • Added support for the OTLP HTTP exporter, enhancing observability and monitoring capabilities. [#35073, #35299]
                                                                                • +
                                                                                • Enhanced database functionality by introducing properties such as “max collections” and “disk quota,” which can now be dynamically modified. [#34511, #34386]
                                                                                • +
                                                                                • Added tracing capabilities for L0 compaction processes within DataNode to improve diagnostics and monitoring. (#33898)
                                                                                • +
                                                                                • Introduced quota configuration for the number of L0 segment entries per collection, enabling better control over deletion rates by applying backpressure. (#34837)
                                                                                • +
                                                                                • Extended the rate-limiting mechanism for insert operations to also cover upsert operations, ensuring consistent performance under high load. (#34616)
                                                                                • +
                                                                                • Implemented a dynamic CGO pool for proxy CGO calls, optimizing resource usage and performance. (#34842)
                                                                                • +
                                                                                • Enabled the DiskAnn compile option for Ubuntu, Rocky, and Amazon operating systems, improving compatibility and performance on these platforms. (#34244)
                                                                                • +
                                                                                • Upgraded Conan to version 1.64.1, ensuring compatibility with the latest features and improvements. (#35216)
                                                                                • +
                                                                                • Updated Knowhere to version 2.3.7, bringing in performance enhancements and new features. (#34709)
                                                                                • +
                                                                                • Fixed the revision of specific third-party packages to ensure consistent builds and reduce the risk of unexpected changes. (#35316)

                                                                                v2.4.6

                                                                                Veröffentlichungsdatum: Juli 16, 2024

                                                                                +

                                                                                Release date: July 16, 2024

                                                                                - +
                                                                                Milvus-VersionPython SDK-VersionJava SDK-VersionNode.js SDK-Version
                                                                                Milvus versionPython SDK versionJava SDK versionNode.js SDK version
                                                                                2.4.62.4.42.4.22.4.4
                                                                                -

                                                                                Milvus v2.4.6 ist ein Bugfix-Release, das kritische Probleme wie Panics, Speicherlecks und Datenverluste bei Löschvorgängen behebt. Außerdem werden mehrere Optimierungen eingeführt, darunter Verbesserungen der Überwachungsmetriken, die Aktualisierung der Go-Version auf 1.21 und die Verbesserung der Benutzerfreundlichkeit bei RESTful count(*)-Abfragen.

                                                                                -

                                                                                Verbesserungen

                                                                                  -
                                                                                • Die Benutzerfreundlichkeit von RESTful-API-Abfragen wurde verbessert(#34444).
                                                                                • -
                                                                                • Aktualisierung der Go-Version von 1.20 auf 1.21(#33940).
                                                                                • -
                                                                                • Optimierung des Histogramm-Metrik-Buckets für feinere Granularität beim Bucketing(#34592).
                                                                                • -
                                                                                • Aktualisierung der Pulsar-Abhängigkeitsversion von 2.8.2 auf 2.9.5. Es wird empfohlen, Pulsar seit Milvus 2.4.6 auf 2.9.5 zu aktualisieren.
                                                                                • +

                                                                                  Milvus v2.4.6 is a bug-fix release that addresses critical issues such as panics, memory leaks, and data loss during deletions. It also introduces several optimizations, including enhancements to monitoring metrics, upgrading the Go version to 1.21, and improving the user experience for RESTful count(*) queries.

                                                                                  +

                                                                                  Improvements

                                                                                    +
                                                                                  • Enhanced the user-friendliness of RESTful API queries (#34444).
                                                                                  • +
                                                                                  • Upgraded the Go version from 1.20 to 1.21 (#33940).
                                                                                  • +
                                                                                  • Optimized the histogram metric bucket for finer granularity in bucketing (#34592).
                                                                                  • +
                                                                                  • Upgraded Pulsar dependency version from 2.8.2 to 2.9.5. It’s recommended to upgrade Pulsar to 2.9.5 since Milvus 2.4.6.
                                                                                  -

                                                                                  Fehlerbehebungen

                                                                                    -
                                                                                  • Es wurde ein Problem behoben, bei dem die GetReplicas API einen Nil-Status zurückgab(#34019).
                                                                                  • -
                                                                                  • Es wurde ein Problem behoben, bei dem Abfragen gelöschte Datensätze zurückgeben konnten(#34502).
                                                                                  • -
                                                                                  • Es wurde ein Problem behoben, bei dem IndexNode während des Anhaltens aufgrund einer falschen Lebenszeitkontrolle stecken blieb(#34559).
                                                                                  • -
                                                                                  • Es wurde ein Speicherleck bei Primärschlüssel-Orakel-Objekten behoben, wenn ein Worker offline ist(#34020).
                                                                                  • -
                                                                                  • ChannelManagerImplV2 korrigiert, um den richtigen Knoten zu benachrichtigen, und behebt Probleme mit der Parametererfassung beim Schließen von Schleifen(#34004).
                                                                                  • -
                                                                                  • Ein Lese- und Schreibdaten-Race in ImportTask segmentsInfo wurde durch die Implementierung einer tiefen Kopie behoben(#34126).
                                                                                  • -
                                                                                  • Korrigierte Versionsinformationen für die Konfigurationsoption "legacyVersionWithoutRPCWatch", um Fehler bei Rolling Upgrades zu vermeiden(#34185).
                                                                                  • -
                                                                                  • Die Metrik für die Anzahl der geladenen Partitionen wurde korrigiert(#34195).
                                                                                  • -
                                                                                  • Übergabe der otlpSecure Konfiguration beim Einrichten von Segcore Tracing(#34210).
                                                                                  • -
                                                                                  • Es wurde ein Problem behoben, bei dem die Eigenschaften von DataCoord versehentlich überschrieben wurden(#34240).
                                                                                  • -
                                                                                  • Es wurde ein Problem mit Datenverlust behoben, das durch das fälschliche Zusammenführen von zwei neu erstellten Nachrichtenströmen verursacht wurde(#34563).
                                                                                  • -
                                                                                  • Eine Panik wurde behoben, die dadurch verursacht wurde, dass msgstream versuchte, einen ungültigen pchannel zu konsumieren(#34230).
                                                                                  • -
                                                                                  • Es wurde ein Problem behoben, bei dem Importe verwaiste Dateien erzeugen konnten(#34071).
                                                                                  • -
                                                                                  • Unvollständige Abfrageergebnisse aufgrund von doppelten Primärschlüsseln in einem Segment behoben(#34302).
                                                                                  • -
                                                                                  • Ein Problem mit fehlenden versiegelten Segmenten bei der L0-Verdichtung wurde behoben(#34566).
                                                                                  • -
                                                                                  • Das Problem der schmutzigen Daten in der channel-cp-Meta, die nach der Garbage Collection erzeugt wurde, wurde behoben(#34609).
                                                                                  • -
                                                                                  • Korrigierte die Metriken, bei denen database_num nach dem Neustart von RootCoord 0 war(#34010).
                                                                                  • -
                                                                                  • Ein Speicherleck im SegmentManager in DataCoord wurde behoben, indem durch Import erzeugte geflushte Segmente entfernt wurden(#34652).
                                                                                  • -
                                                                                  • Es wurde sichergestellt, dass compressBinlog die logID von binlogs nach einem Neustart von DataCoord füllt, um ein korrektes Neuladen von KV sicherzustellen(#34064).
                                                                                  • +

                                                                                    Bug fixes

                                                                                      +
                                                                                    • Fixed an issue where the GetReplicas API returned a nil status (#34019).
                                                                                    • +
                                                                                    • Corrected a problem where queries could return deleted records (#34502).
                                                                                    • +
                                                                                    • Resolved an issue where IndexNode would get stuck during stopping due to incorrect lifetime control (#34559).
                                                                                    • +
                                                                                    • Fixed a memory leak of primary key oracle objects when a worker is offline (#34020).
                                                                                    • +
                                                                                    • Corrected ChannelManagerImplV2 to notify the correct Node, addressing parameter capture issues in loop closure (#34004).
                                                                                    • +
                                                                                    • Fixed a read-write data race in ImportTask segmentsInfo by implementing a deep copy (#34126).
                                                                                    • +
                                                                                    • Corrected version information for the “legacyVersionWithoutRPCWatch” configuration option to prevent errors during rolling upgrades (#34185).
                                                                                    • +
                                                                                    • Fixed the metric for the number of partitions loaded (#34195).
                                                                                    • +
                                                                                    • Passed the otlpSecure config when setting up segcore tracing (#34210).
                                                                                    • +
                                                                                    • Fixed an issue where DataCoord’s properties were overwritten by mistake (#34240).
                                                                                    • +
                                                                                    • Resolved a data loss issue caused by erroneously merging two newly created message streams (#34563).
                                                                                    • +
                                                                                    • Fixed a panic caused by msgstream trying to consume an invalid pchannel (#34230).
                                                                                    • +
                                                                                    • Addressed an issue where imports could generate orphaned files (#34071).
                                                                                    • +
                                                                                    • Fixed incomplete query results due to duplicate primary keys in a segment (#34302).
                                                                                    • +
                                                                                    • Resolved an issue of missing sealed segments in L0 compaction (#34566).
                                                                                    • +
                                                                                    • Fixed the problem of dirty data in the channel-cp meta generated after garbage collection (#34609).
                                                                                    • +
                                                                                    • Corrected the metrics where database_num was 0 after restarting RootCoord (#34010).
                                                                                    • +
                                                                                    • Fixed a memory leak in SegmentManager in DataCoord by removing flushed segments generated through import (#34652).
                                                                                    • +
                                                                                    • Ensured compressBinlog to fill binlogs’ logID after DataCoord restarts, ensuring proper reload from KV (#34064).

                                                                                    v2.4.5

                                                                                    Veröffentlichungsdatum: Juni 18, 2024

                                                                                    +

                                                                                    Release date: June 18, 2024

                                                                                    - +
                                                                                    Milvus-VersionPython SDK VersionJava SDK-VersionNode.js SDK-Version
                                                                                    Milvus versionPython SDK versionJava SDK versionNode.js SDK version
                                                                                    2.4.52.4.42.4.12.4.3
                                                                                    -

                                                                                    Die Veröffentlichung von Milvus 2.4.5 führt mehrere Verbesserungen und Fehlerbehebungen ein, um Leistung, Stabilität und Funktionalität zu verbessern. Milvus 2.4.5 vereinfacht die Suche nach Sparse-, Float16- und bfloat16-Vektoren durch automatische Indizierung, beschleunigt Suchen, Löschen und Verdichten durch Bloom-Filter-Optimierungen und verbessert die Datenverwaltung durch schnellere Ladezeiten und Unterstützung von L0-Segmenten beim Import. Außerdem wird der Sparse-HNSW-Index für eine effiziente hochdimensionale Sparse-Datensuche eingeführt, die RESTful-API mit Unterstützung für Sparse-Float-Vektoren erweitert und kritische Fehler für mehr Stabilität behoben.

                                                                                    -

                                                                                    Neue Funktionen

                                                                                      -
                                                                                    • rbac-Unterstützung zur describe/alter database api hinzugefügt(#33804)
                                                                                    • -
                                                                                    • Unterstützt den Aufbau des HNSW-Index für Sparse-Vektoren(#33653, #33662)
                                                                                    • -
                                                                                    • Unterstützt die Erstellung des Disk-Index für binäre Vektoren(#33575)
                                                                                    • -
                                                                                    • Unterstützt sparse Vektortyp auf RESTful v2(#33555)
                                                                                    • -
                                                                                    • Hinzufügen von /management/stop RESTful api zum Stoppen einer Komponente(#33799)
                                                                                    • +

                                                                                      The release of Milvus 2.4.5 introduces several improvements and bug fixes to enhance performance, stability, and functionality. Milvus 2.4.5 simplifies sparse, float16, and bfloat16 vector search with auto-indexing, speeds up searches, deletions, and compactions with Bloom filter optimizations, and tackles data management through faster loading times and import L0 segment support. It also introduces the sparse HNSW index for efficient high-dimensional sparse data search, enhances the RESTful API with sparse float vector support, and fixes critical bugs for better stability.

                                                                                      +

                                                                                      New Features

                                                                                        +
                                                                                      • Added rbac support to describe/alter database api (#33804)
                                                                                      • +
                                                                                      • Supported building the HNSW index for sparse vectors (#33653, #33662)
                                                                                      • +
                                                                                      • Supported building the Disk index for binary vector (#33575)
                                                                                      • +
                                                                                      • Supported sparse vector type on RESTful v2 (#33555)
                                                                                      • +
                                                                                      • Add /management/stop RESTful api to stop a component (#33799)
                                                                                      -

                                                                                      Verbesserungen

                                                                                        -
                                                                                      • Setzt maxPartitionNum Standardwert auf 1024(#33950)
                                                                                      • -
                                                                                      • Aktiviert, um das Zurücksetzen der Verbindung für nicht verfügbare Fehler zu erzwingen(#33910)
                                                                                      • -
                                                                                      • Aktiviert Flush-Ratenbegrenzer der Sammlungsebene(#33864)
                                                                                      • -
                                                                                      • Parallele Ausführung von Bloom-Filtern zur Beschleunigung der Segment-Vorhersage(#33793)
                                                                                      • -
                                                                                      • Benutzte fastjson lib für unmarshal delete log, um json.Unmarshal zu beschleunigen(#33802)
                                                                                      • -
                                                                                      • Verwendet BatchPkExist, um die Kosten für Bloomfilter-Funktionsaufrufe zu reduzieren(#33752)
                                                                                      • -
                                                                                      • Beschleunigte das Laden von kleinen Sammlungen(#33746)
                                                                                      • -
                                                                                      • Unterstützt den Import von Löschdaten in das L0-Segment (#33712)
                                                                                      • -
                                                                                      • Übersprungene Markierungskompaktierungs-Tasks werden zeitgesteuert, um zu vermeiden, dass dieselbe Task immer wieder ausgeführt wird(#33833)
                                                                                      • -
                                                                                      • Behandelt float16 und bfloat16 Vektoren als gleich wie BinaryVector in numpy bulk insert (#33788)
                                                                                      • -
                                                                                      • Das includeCurrentMsg Flag für die seek Methode wurde hinzugefügt(#33743)
                                                                                      • -
                                                                                      • MergeInterval, targetBufSize, maxTolerantLag von msgdispatcher zu Configs hinzugefügt(#33680)
                                                                                      • -
                                                                                      • Verbesserte GetVectorByID von Sparse Vector(#33652)
                                                                                      • -
                                                                                      • StringPrimarykey wurde entfernt, um unnötige Kopier- und Funktionsaufrufkosten zu reduzieren (#33649)
                                                                                      • -
                                                                                      • Autoindex-Zuordnung für binäre/sparsame Datentypen hinzugefügt(#33625)
                                                                                      • -
                                                                                      • Optimierte einige Caches, um den Speicherverbrauch zu reduzieren(#33560)
                                                                                      • -
                                                                                      • Abstrahierte Ausführungsschnittstelle für Import/Preimport Aufgabe (#33607)
                                                                                      • -
                                                                                      • Map pk zu Zeitstempel beim Einfügen in Puffer verwendet, um bf Ursachen zu reduzieren(#33582)
                                                                                      • -
                                                                                      • Redundante Meta-Operationen beim Import wurden vermieden (#33519)
                                                                                      • -
                                                                                      • Verbesserung der Logs durch bessere Festplatten-Quota-Informationen, Hinzufügen des UseDefaultConsistency-Flags, Entfernen unnötiger Logs(#33597, #33644, #33670)
                                                                                      • +

                                                                                        Improvements

                                                                                          +
                                                                                        • Set maxPartitionNum default value to 1024 (#33950)
                                                                                        • +
                                                                                        • Enabled to Force reset connection for unavailable error (#33910)
                                                                                        • +
                                                                                        • Enabled flush rate limiter of collection level (#33864)
                                                                                        • +
                                                                                        • Executed bloom filter apply in parallel to speed up segment predict (#33793)
                                                                                        • +
                                                                                        • Used fastjson lib for unmarshal delete log to speed up json.Unmarshal(#33802)
                                                                                        • +
                                                                                        • Used BatchPkExist to reduce bloom filter func call cost (#33752)
                                                                                        • +
                                                                                        • Speeded up the loading of small collections (#33746)
                                                                                        • +
                                                                                        • Supported import delete data to L0 segment (#33712)
                                                                                        • +
                                                                                        • Skipped mark compaction tasks to be timeouted to aviod executing the same task over and over again (#33833)
                                                                                        • +
                                                                                        • Handled float16 and bfloat16 vectors as same as BinaryVector in numpy bulk insert (#33788)
                                                                                        • +
                                                                                        • Added the includeCurrentMsg flag for the seek method (#33743)
                                                                                        • +
                                                                                        • Added mergeInterval, targetBufSize, maxTolerantLagof msgdispatcher to configs (#33680)
                                                                                        • +
                                                                                        • Improved GetVectorByID of sparse vector (#33652)
                                                                                        • +
                                                                                        • Removed StringPrimarykey to reduce unnecessary copy and function call cost (#33649)
                                                                                        • +
                                                                                        • Added autoindex mapping for binary/sparse data type (#33625)
                                                                                        • +
                                                                                        • Optimized some cache to reduce memory usage (#33560)
                                                                                        • +
                                                                                        • Abstracted execute interface for import/preimport task (#33607)
                                                                                        • +
                                                                                        • Used map pk to timestamp in buffer insert to reduce bf causes (#33582)
                                                                                        • +
                                                                                        • Avoided redundant meta operations of import (#33519)
                                                                                        • +
                                                                                        • Improve logs by logging better disk quota info, adding UseDefaultConsistency flag, removing unnecessary logs (#33597, #33644, #33670)
                                                                                        -

                                                                                        Fehlerbehebungen

                                                                                          -
                                                                                        • Fehler behoben, dass queryHook den Vektortyp nicht erkennen konnte(#33911)
                                                                                        • -
                                                                                        • Verhinderte die Verwendung der erfassten Iterationsvariable partitionID(#33970)
                                                                                        • -
                                                                                        • Es wurde ein Fehler behoben, der dazu führen konnte, dass Milvus nicht in der Lage war, AutoIndex auf binären und spärlichen Vektoren zu erstellen(#33867)
                                                                                        • -
                                                                                        • Fehler behoben, der dazu führen konnte, dass indexnode die Indexerstellung bei ungültigen Indexparametern aller Vektoren wiederholte(#33878)
                                                                                        • -
                                                                                        • Fehler behoben, der bei gleichzeitigem Laden und Freigeben zum Absturz des Servers führen kann(#33699)
                                                                                        • -
                                                                                        • Verbesserte Cache-Konsistenz für Konfigurationswerte(#33797)
                                                                                        • -
                                                                                        • Verhindert möglichen Datenverlust beim Löschen(#33821)
                                                                                        • -
                                                                                        • Sicherstellung, dass das Feld DroppedAt (wahrscheinlicher Zeitstempel der Löschung) nach dem Löschen von Sammlungen gesetzt wird(#33767)
                                                                                        • -
                                                                                        • Es wurde ein Problem behoben, das Milvus dazu veranlasste, binäre Vektordatengrößen falsch zu behandeln(#33751)
                                                                                        • -
                                                                                        • Verhindert, dass sensible Kafka-Anmeldeinformationen im Klartext protokolliert werden(#33694, #33747)
                                                                                        • -
                                                                                        • Es wurde sichergestellt, dass Milvus Daten mit mehreren Vektorfeldern korrekt importieren kann.(#33724)
                                                                                        • -
                                                                                        • Die Zuverlässigkeit des Imports wurde erhöht, indem vor dem Start geprüft wird, ob ein Importauftrag existiert.(#33673)
                                                                                        • -
                                                                                        • Verbesserte Handhabung des spärlichen HNSW-Index (interne Funktionalität)(#33714)
                                                                                        • -
                                                                                        • Bereinigung des Vektorspeichers zur Vermeidung von Speicherlecks(#33708)
                                                                                        • -
                                                                                        • Sicherstellung eines reibungsloseren asynchronen Aufwärmens durch Behebung eines State-Lock-Problems(#33687)
                                                                                        • -
                                                                                        • Es wurde ein Fehler behoben, der fehlende Ergebnisse in Abfrage-Iteratoren verursachen konnte.(#33506)
                                                                                        • -
                                                                                        • Es wurde ein Fehler behoben, der dazu führen konnte, dass die Größe von Importsegmenten ungleichmäßig war (#33634)
                                                                                        • -
                                                                                        • Falsche Handhabung der Datengröße für bf16, fp16 und binäre Vektortypen behoben(#33488)
                                                                                        • -
                                                                                        • Verbesserte Stabilität durch Behebung möglicher Probleme mit dem L0 Compactor(#33564)
                                                                                        • -
                                                                                        • Es wurde sichergestellt, dass dynamische Konfigurationsaktualisierungen korrekt im Cache reflektiert werden.(#33590)
                                                                                        • -
                                                                                        • Verbesserte die Genauigkeit der RootCoordQuotaStates-Metrik (#33601)
                                                                                        • -
                                                                                        • Die Anzahl der geladenen Entitäten in der Metrik wurde genauer angezeigt(#33522)
                                                                                        • -
                                                                                        • Bietet vollständigere Informationen in Ausnahmeprotokollen. (#33396)
                                                                                        • -
                                                                                        • Optimierte Abfrage-Pipeline durch Entfernen des unnötigen Gruppen-Checkers(#33485)
                                                                                        • -
                                                                                        • Der lokale Speicherpfad wurde für eine genauere Überprüfung der Festplattenkapazität auf dem Indexknoten verwendet.(#33505)
                                                                                        • -
                                                                                        • Korrigiert, dass hasMoreResult false zurückgeben kann, wenn die Trefferanzahl größer als das Limit ist(#33642)
                                                                                        • -
                                                                                        • Verzögertes Laden von bf im Delegator, um zu verhindern, dass bfs immer wieder geladen wird, wenn der Worker keinen Speicher mehr hat(#33650)- Fehler behoben, dass queryHook den Vektortyp nicht erkennen konnte(#33911)
                                                                                        • -
                                                                                        • Verhinderte die Verwendung der erfassten Iterationsvariable partitionID(#33970)
                                                                                        • -
                                                                                        • Es wurde ein Fehler behoben, der dazu führen konnte, dass Milvus nicht in der Lage war, AutoIndex auf binären und spärlichen Vektoren zu erstellen(#33867)
                                                                                        • -
                                                                                        • Fehler behoben, der dazu führen konnte, dass indexnode die Indexerstellung bei ungültigen Indexparametern aller Vektoren wiederholte(#33878)
                                                                                        • -
                                                                                        • Fehler behoben, der bei gleichzeitigem Laden und Freigeben zum Absturz des Servers führen kann(#33699)
                                                                                        • -
                                                                                        • Verbesserte Cache-Konsistenz für Konfigurationswerte(#33797)
                                                                                        • -
                                                                                        • Verhindert möglichen Datenverlust beim Löschen(#33821)
                                                                                        • -
                                                                                        • Sicherstellung, dass das Feld DroppedAt (wahrscheinlicher Zeitstempel der Löschung) nach dem Löschen von Sammlungen gesetzt wird(#33767)
                                                                                        • -
                                                                                        • Es wurde ein Problem behoben, das Milvus dazu veranlasste, binäre Vektordatengrößen falsch zu behandeln(#33751)
                                                                                        • -
                                                                                        • Verhindert, dass sensible Kafka-Anmeldeinformationen im Klartext protokolliert werden(#33694, #33747)
                                                                                        • -
                                                                                        • Es wurde sichergestellt, dass Milvus Daten mit mehreren Vektorfeldern korrekt importieren kann.(#33724)
                                                                                        • -
                                                                                        • Die Zuverlässigkeit des Imports wurde erhöht, indem vor dem Start geprüft wird, ob ein Importauftrag existiert.(#33673)
                                                                                        • -
                                                                                        • Verbesserte Handhabung des spärlichen HNSW-Index (interne Funktionalität)(#33714)
                                                                                        • -
                                                                                        • Bereinigung des Vektorspeichers zur Vermeidung von Speicherlecks(#33708)
                                                                                        • -
                                                                                        • Sicherstellung eines reibungsloseren asynchronen Aufwärmens durch Behebung eines State-Lock-Problems(#33687)
                                                                                        • -
                                                                                        • Es wurde ein Fehler behoben, der fehlende Ergebnisse in Abfrage-Iteratoren verursachen konnte.(#33506)
                                                                                        • -
                                                                                        • Es wurde ein Fehler behoben, der dazu führen konnte, dass die Größe von Importsegmenten ungleichmäßig war (#33634)
                                                                                        • -
                                                                                        • Falsche Handhabung der Datengröße für bf16, fp16 und binäre Vektortypen behoben(#33488)
                                                                                        • -
                                                                                        • Verbesserte Stabilität durch Behebung möglicher Probleme mit dem L0 Compactor(#33564)
                                                                                        • -
                                                                                        • Es wurde sichergestellt, dass dynamische Konfigurationsaktualisierungen korrekt im Cache reflektiert werden.(#33590)
                                                                                        • -
                                                                                        • Verbesserte die Genauigkeit der RootCoordQuotaStates-Metrik (#33601)
                                                                                        • -
                                                                                        • Die Anzahl der geladenen Entitäten in der Metrik wurde genauer angezeigt(#33522)
                                                                                        • -
                                                                                        • Bietet vollständigere Informationen in Ausnahmeprotokollen. (#33396)
                                                                                        • -
                                                                                        • Optimierte Abfrage-Pipeline durch Entfernen des unnötigen Gruppen-Checkers(#33485)
                                                                                        • -
                                                                                        • Verwendung des lokalen Speicherpfads für eine genauere Überprüfung der Festplattenkapazität auf dem Indexknoten.(#33505)
                                                                                        • -
                                                                                        • Korrigiert, dass hasMoreResult false zurückgeben kann, wenn die Trefferanzahl größer als das Limit ist(#33642)
                                                                                        • -
                                                                                        • Verzögertes Laden von bf im Delegator, um zu verhindern, dass bfs immer wieder geladen werden, wenn der Worker keinen Speicher mehr hat(#33650)
                                                                                        • +

                                                                                          Bug fixes

                                                                                            +
                                                                                          • Fixed a bug that queryHook unable to recognize vector type (#33911)
                                                                                          • +
                                                                                          • Prevented use captured iteration variable partitionID (#33970)
                                                                                          • +
                                                                                          • Fixed a bug that may cause Milvus to be unable to create AutoIndex on binary and sparse vectors (#33867)
                                                                                          • +
                                                                                          • Fixed a bug that may cause indexnode to retry creating index on invalid index params of all vectors(#33878)
                                                                                          • +
                                                                                          • Fixed the bug that when loads and releases happen concurrently may crash the Server(#33699)
                                                                                          • +
                                                                                          • Improved cache consistency for configuration values (#33797)
                                                                                          • +
                                                                                          • Prevented possible data loss during deletion (#33821)
                                                                                          • +
                                                                                          • Ensured the DroppedAt field (likely deletion timestamp) is set after dropping collections(#33767)
                                                                                          • +
                                                                                          • Fixed an issue that might have caused Milvus to handle binary vector data sizes incorrectly(#33751)
                                                                                          • +
                                                                                          • Prevented sensitive Kafka credentials from being logged in plain text.(#33694, #33747)
                                                                                          • +
                                                                                          • Ensured Milvus can correctly import data with multiple vector fields.(#33724)
                                                                                          • +
                                                                                          • Enhanced import reliability by checking if an import job exists before starting. (#33673)
                                                                                          • +
                                                                                          • Improved handling of the sparse HNSW index (internal functionality) (#33714)
                                                                                          • +
                                                                                          • Cleaned vector memory to avoid memory leak(#33708)
                                                                                          • +
                                                                                          • Ensured smoother asynchronous warmup by fixing a state lock issue.(#33687)
                                                                                          • +
                                                                                          • Addressed a bug that might have caused missing results in query iterators. (#33506)
                                                                                          • +
                                                                                          • Fixed a bug that might cause import segment size is uneven (#33634)
                                                                                          • +
                                                                                          • Fixed incorrect data size handling for bf16, fp16, and binary vector types (#33488)
                                                                                          • +
                                                                                          • Improved stability by addressing potential issues with the L0 compactor(#33564)
                                                                                          • +
                                                                                          • Ensured dynamic configuration updates are reflected correctly in the cache. (#33590)
                                                                                          • +
                                                                                          • Improved the accuracy of the RootCoordQuotaStates metric (#33601)
                                                                                          • +
                                                                                          • Ensured accurate reporting of the number of loaded entities in metric(#33522)
                                                                                          • +
                                                                                          • Provided more complete information in exception logs. (#33396)
                                                                                          • +
                                                                                          • Optimized query pipeline by removing unnecessary group checker (#33485)
                                                                                          • +
                                                                                          • Used the local storage path for a more accurate disk capacity check on the index node. (#33505)
                                                                                          • +
                                                                                          • Corrected hasMoreResult may return false when hit number larger than limit (#33642)
                                                                                          • +
                                                                                          • Delayed load bf in delegator to prevent bfs been loaded over and over again when worker has no more memory (#33650)- Fixed a bug that queryHook unable to recognize vector type (#33911)
                                                                                          • +
                                                                                          • Prevented use captured iteration variable partitionID (#33970)
                                                                                          • +
                                                                                          • Fixed a bug that may cause Milvus to be unable to create AutoIndex on binary and sparse vectors (#33867)
                                                                                          • +
                                                                                          • Fixed a bug that may cause indexnode to retry creating index on invalid index params of all vectors(#33878)
                                                                                          • +
                                                                                          • Fixed the bug that when loads and releases happen concurrently may crash the Server(#33699)
                                                                                          • +
                                                                                          • Improved cache consistency for configuration values (#33797)
                                                                                          • +
                                                                                          • Prevented possible data loss during deletion (#33821)
                                                                                          • +
                                                                                          • Ensured the DroppedAt field (likely deletion timestamp) is set after dropping collections(#33767)
                                                                                          • +
                                                                                          • Fixed an issue that might have caused Milvus to handle binary vector data sizes incorrectly(#33751)
                                                                                          • +
                                                                                          • Prevented sensitive Kafka credentials from being logged in plain text.(#33694, #33747)
                                                                                          • +
                                                                                          • Ensured Milvus can correctly import data with multiple vector fields.(#33724)
                                                                                          • +
                                                                                          • Enhanced import reliability by checking if an import job exists before starting. (#33673)
                                                                                          • +
                                                                                          • Improved handling of the sparse HNSW index (internal functionality) (#33714)
                                                                                          • +
                                                                                          • Cleaned vector memory to avoid memory leak(#33708)
                                                                                          • +
                                                                                          • Ensured smoother asynchronous warmup by fixing a state lock issue.(#33687)
                                                                                          • +
                                                                                          • Addressed a bug that might have caused missing results in query iterators. (#33506)
                                                                                          • +
                                                                                          • Fixed a bug that might cause import segment size is uneven (#33634)
                                                                                          • +
                                                                                          • Fixed incorrect data size handling for bf16, fp16, and binary vector types (#33488)
                                                                                          • +
                                                                                          • Improved stability by addressing potential issues with the L0 compactor(#33564)
                                                                                          • +
                                                                                          • Ensured dynamic configuration updates are reflected correctly in the cache. (#33590)
                                                                                          • +
                                                                                          • Improved the accuracy of the RootCoordQuotaStates metric (#33601)
                                                                                          • +
                                                                                          • Ensured accurate reporting of the number of loaded entities in metric(#33522)
                                                                                          • +
                                                                                          • Provided more complete information in exception logs. (#33396)
                                                                                          • +
                                                                                          • Optimized query pipeline by removing unnecessary group checker (#33485)
                                                                                          • +
                                                                                          • Used the local storage path for a more accurate disk capacity check on the index node. (#33505)
                                                                                          • +
                                                                                          • Corrected hasMoreResult may return false when hit number larger than limit (#33642)
                                                                                          • +
                                                                                          • Delayed load bf in delegator to prevent bfs been loaded over and over again when worker has no more memory (#33650)

                                                                                          v2.4.4

                                                                                          Veröffentlichungsdatum: Mai 31, 2024

                                                                                          +

                                                                                          Release date: May 31, 2024

                                                                                          - +
                                                                                          Milvus-VersionPython SDK-VersionJava SDK-VersionNode.js SDK-Version
                                                                                          Milvus versionPython SDK versionJava SDK versionNode.js SDK version
                                                                                          2.4.42.4.32.4.12.4.2
                                                                                          -

                                                                                          Milvus v2.4.4 enthält mehrere kritische Fehlerkorrekturen und Verbesserungen zur Steigerung der Leistung und Stabilität. Insbesondere haben wir ein kritisches Problem behoben, bei dem Bulk-Insert-Statistikprotokolle fälschlicherweise als Müll gesammelt wurden, was die Datenintegrität beeinträchtigen konnte. Wir empfehlen allen Anwendern von v2.4 dringend ein Upgrade auf diese Version, um von diesen Korrekturen zu profitieren.

                                                                                          -

                                                                                          Wenn Sie Bulk Insert verwenden, sollten Sie so schnell wie möglich auf v2.4.4 aktualisieren, um die Datenintegrität zu gewährleisten.

                                                                                          -

                                                                                          Kritische Fehlerbehebungen

                                                                                            -
                                                                                          • Die ID des Statistikprotokolls wurde ausgefüllt und auf ihre Korrektheit hin überprüft(#33478)
                                                                                          • +

                                                                                            Milvus v2.4.4 includes several critical bug fixes and improvements aimed at enhancing performance and stability. Notably, we’ve resolved a critical issue where bulk insert statistics logs were incorrectly garbage collected, potentially affecting data integrity. We strongly recommend all v2.4 users upgrade to this version to benefit from these fixes.

                                                                                            +

                                                                                            If you are using bulk insert, upgrade to v2.4.4 at the earliest opportunity for data integrity.

                                                                                            +

                                                                                            Critical bug fixes

                                                                                              +
                                                                                            • Filled stats log ID and validated its correctness (#33478)
                                                                                            -

                                                                                            Verbesserungen

                                                                                              -
                                                                                            • Verbesserter Bitset für ARM SVE(#33440)
                                                                                            • -
                                                                                            • Ermöglicht Milvus-Kompilierung mit GCC-13(#33441)
                                                                                            • +

                                                                                              Improvements

                                                                                                +
                                                                                              • Upgraded bitset for ARM SVE (#33440)
                                                                                              • +
                                                                                              • Enabled Milvus compilation with GCC-13 (#33441)
                                                                                              -

                                                                                              Fehlerbehebungen

                                                                                                -
                                                                                              • Leere Sammlungen wurden angezeigt, wenn alle Rechte gewährt wurden(#33454)
                                                                                              • -
                                                                                              • Sicherstellung, dass CMake für die aktuelle Plattform heruntergeladen und installiert wird, nicht nur für x86_64(#33439)
                                                                                              • +

                                                                                                Bug fixes

                                                                                                  +
                                                                                                • Displayed empty collections when all privilege is granted (#33454)
                                                                                                • +
                                                                                                • Ensured CMake downloads and installs for the current platform, not just x86_64 (#33439)

                                                                                                v2.4.3

                                                                                                Veröffentlichungsdatum: Mai 29, 2024

                                                                                                +

                                                                                                Release date: May 29, 2024

                                                                                                - +
                                                                                                Milvus-VersionPython SDK-VersionJava SDK-VersionNode.js SDK-Version
                                                                                                Milvus versionPython SDK versionJava SDK versionNode.js SDK version
                                                                                                2.4.32.4.32.4.12.4.2
                                                                                                -

                                                                                                Milvus Version 2.4.3 bietet eine Vielzahl von Funktionen, Verbesserungen und Fehlerbehebungen, um die Leistung und Zuverlässigkeit zu erhöhen. Zu den bemerkenswerten Erweiterungen gehören die Unterstützung von Sparse-Float-Vektor-Bulk-Insert und eine optimierte Bloom-Filter-Beschleunigung. Die Verbesserungen betrafen verschiedene Bereiche, von dynamischen Konfigurationsaktualisierungen bis zur Optimierung der Speichernutzung. Fehlerkorrekturen behoben kritische Probleme wie Panikszenarien und sorgten für einen reibungsloseren Systembetrieb. Diese Version unterstreicht das kontinuierliche Engagement von Milvus für die Verbesserung der Funktionalität, die Optimierung der Leistung und die Bereitstellung einer robusten Benutzererfahrung.

                                                                                                -

                                                                                                Merkmale

                                                                                                  -
                                                                                                • Unterstützt sparse float vector bulk insert für binlog/json/parquet(#32649)
                                                                                                • +

                                                                                                  Milvus version 2.4.3 introduced a host of features, improvements, and bug fixes to elevate performance and reliability. Notable enhancements included support for sparse float vector bulk insert and optimized bloom filter acceleration. Improvements covered various areas, from dynamic configuration updates to memory usage optimization. Bug fixes addressed critical issues like panic scenarios and ensured smoother system operations. This release underscored Milvus’s ongoing commitment to enhancing functionality, optimizing performance, and delivering a robust user experience.

                                                                                                  +

                                                                                                  Features

                                                                                                    +
                                                                                                  • Supported sparse float vector bulk insert for binlog/json/parquet (#32649)
                                                                                                  -

                                                                                                  Verbesserungen

                                                                                                    -
                                                                                                  • Implementierter Datacoord/Knoten-Überwachungskanal basierend auf RPC(#32036)
                                                                                                  • -
                                                                                                  • Optimierter Bloom-Filter zur Beschleunigung der Löschfilterung(#32642, #33329, #33284)
                                                                                                  • -
                                                                                                  • Rohdaten wurden über mmap geladen, wenn der skalare Index keine Rohdaten enthielt(#33317)
                                                                                                  • -
                                                                                                  • Synchronisierung der milvus Konfiguration mit milvus.yaml(#33322, #32920, #32857, #32946)
                                                                                                  • -
                                                                                                  • Aktualisierte knowhere Version(#33310, #32931, #33043)
                                                                                                  • -
                                                                                                  • Aktivierte dynamische Aktualisierung der Balancer-Richtlinie in QueryCoord(#33272)
                                                                                                  • -
                                                                                                  • Verwendet einen vorgefertigten Logger im Schreibpuffer, um die Logger-Zuweisung zu minimieren(#33304)
                                                                                                  • -
                                                                                                  • Verbesserte Parameterüberprüfung(#32777, #33271, #33218)
                                                                                                  • -
                                                                                                  • Es wurde ein Parameter hinzugefügt, um falsche Nachrichten-IDs im Checkpoint zu ignorieren(#33249)
                                                                                                  • -
                                                                                                  • Konfiguration hinzugefügt, um die Behandlung von Initialisierungsfehlern für Plugins zu kontrollieren(#32680)
                                                                                                  • -
                                                                                                  • Konfiguration zur Berechnung der Konsistenz von Punkten für Knowhere hinzugefügt(#32997)
                                                                                                  • -
                                                                                                  • Konfigurationsoption zur Steuerung der Initialisierung von öffentlichen Rollenberechtigungen eingeführt(#33174)
                                                                                                  • -
                                                                                                  • Optimierte Speichernutzung beim Lesen von Feldern(#33196)
                                                                                                  • -
                                                                                                  • Verfeinerte Implementierung des Channel Managers v2(#33172, #33121, #33014)
                                                                                                  • -
                                                                                                  • Funktion hinzugefügt, um die Größe der Daten im Speicher für binlog zu verfolgen(#33025)
                                                                                                  • -
                                                                                                  • Metriken für die Größe von Segment-Index-Dateien hinzugefügt(#32979, #33305)
                                                                                                  • -
                                                                                                  • Ersetzte Delete mit DeletePartialMatch, um Metriken zu entfernen(#33029)
                                                                                                  • -
                                                                                                  • Bezogene Datengröße gemäß Segmenttyp erhalten(#33017)
                                                                                                  • -
                                                                                                  • Kanal-Knoten-Informationen im Metaspeicher bereinigt(#32988)
                                                                                                  • -
                                                                                                  • Rootcoord aus Datenknoten-Broker entfernt(#32818)
                                                                                                  • -
                                                                                                  • Aktiviert Batch-Upload(#32788)
                                                                                                  • -
                                                                                                  • Die Standard-Partitionsnummer wurde auf 16 geändert, wenn ein Partitionsschlüssel verwendet wird(#32950)
                                                                                                  • -
                                                                                                  • Verbesserte Reduktionsleistung bei sehr großen top-k Abfragen(#32871)
                                                                                                  • -
                                                                                                  • Nutzung der TestLocations-Fähigkeit zur Beschleunigung von Schreiben und Verdichtung(#32948)
                                                                                                  • -
                                                                                                  • Optimierter Plan-Parser-Pool, um unnötiges Recycling zu vermeiden(#32869)
                                                                                                  • -
                                                                                                  • Verbesserte Ladegeschwindigkeit(#32898)
                                                                                                  • -
                                                                                                  • Verwendete Standard-Konsistenzstufe für restv2(#32956)
                                                                                                  • -
                                                                                                  • Kostenantwort für die Rest-API hinzugefügt(#32620)
                                                                                                  • -
                                                                                                  • Aktivierte Kanal-exklusive Balance-Politik (#32911)
                                                                                                  • -
                                                                                                  • Beschriebene Datenbank-API im Proxy offengelegt(#32732)
                                                                                                  • -
                                                                                                  • Verwendetes coll2replica Mapping beim Abrufen von RG nach Sammlung(#32892)
                                                                                                  • -
                                                                                                  • Mehr Tracing für Suche und Abfrage hinzugefügt(#32734)
                                                                                                  • -
                                                                                                  • Unterstützt dynamische Konfiguration für opentelemetry Trace(#32169)
                                                                                                  • -
                                                                                                  • Vermeidet Iteration über Kanal-Ergebnisse beim Aktualisieren der Leaderview(#32887)
                                                                                                  • -
                                                                                                  • Optimierte Handhabung von Vektor-Offsets für Parkett(#32822)
                                                                                                  • -
                                                                                                  • Verbesserte Datensatz-Segment-Filterung mit Collection(#32831)
                                                                                                  • -
                                                                                                  • Angepasste Log-Level und Frequenz(#33042, #32838, #33337)
                                                                                                  • -
                                                                                                  • Ermöglichte das Anhalten des Ausgleichs, nachdem der Ausgleich ausgesetzt wurde(#32812)
                                                                                                  • -
                                                                                                  • Aktualisierter Shard-Leader-Cache bei Änderung des Leader-Standorts(#32470)
                                                                                                  • -
                                                                                                  • Entfernte veraltete API und Felder(#32808, #32704)
                                                                                                  • -
                                                                                                  • metautil.channel hinzugefügt, um String-Vergleiche in int zu konvertieren(#32749)
                                                                                                  • -
                                                                                                  • Typinformation für Payload Writer Fehlermeldung und Log hinzugefügt, wenn Querynode eine neue Sammlung gefunden hat(#32522)
                                                                                                  • -
                                                                                                  • Überprüfung der Partitionsnummer beim Erstellen von Sammlungen mit Partitionsschlüssel(#32670)
                                                                                                  • -
                                                                                                  • Altes l0-Segment wurde entfernt, wenn Watch fehlschlug(#32725)
                                                                                                  • -
                                                                                                  • Verbessertes Drucken des Typs der Anfrage(#33319)
                                                                                                  • -
                                                                                                  • Überprüft, ob die Array-Felddaten gleich Null sind, bevor der Typ ermittelt wird(#33311)
                                                                                                  • -
                                                                                                  • Gab einen Fehler zurück, wenn die Delete/AddNode Knoten-Operation beim Start fehlschlug(#33258)
                                                                                                  • -
                                                                                                  • Erlaubte das Aktualisieren der Server-ID von Datenknoten(#31597)
                                                                                                  • -
                                                                                                  • Vereinheitlichte Bereinigung der Querynode-Metriken in der Collection-Version(#32805)
                                                                                                  • -
                                                                                                  • Fehlerhafte Version der skalaren Auto-Index-Konfiguration behoben(#32795)
                                                                                                  • -
                                                                                                  • Verfeinerte Index-Param-Prüfung beim Erstellen/Ändern von Indizes(#32712)
                                                                                                  • -
                                                                                                  • Redundante Replika-Wiederherstellung wurde entfernt(#32985)
                                                                                                  • -
                                                                                                  • Ermöglicht das Schreiben von mehr als 200k Segmenten in der Kanal-Metatabelle(#33300)
                                                                                                  • +

                                                                                                    Improvements

                                                                                                      +
                                                                                                    • Implemented Datacoord/node watch channel based on RPC (#32036)
                                                                                                    • +
                                                                                                    • Optimized bloom filter to accelerate delete filtering (#32642, #33329, #33284)
                                                                                                    • +
                                                                                                    • Loaded raw data via mmap if scalar index did not have raw data (#33317)
                                                                                                    • +
                                                                                                    • Synced milvus config to milvus.yaml (#33322, #32920, #32857, #32946)
                                                                                                    • +
                                                                                                    • Updated knowhere version (#33310, #32931, #33043)
                                                                                                    • +
                                                                                                    • Enabled dynamic updating of balancer policy in QueryCoord (#33272)
                                                                                                    • +
                                                                                                    • Used a pre-built logger in the write buffer to minimize logger allocation (#33304)
                                                                                                    • +
                                                                                                    • Improved parameter checking (#32777, #33271, #33218)
                                                                                                    • +
                                                                                                    • Added a parameter to ignore incorrect message IDs in the checkpoint (#33249)
                                                                                                    • +
                                                                                                    • Added config to control initialization failure handling for plugins (#32680)
                                                                                                    • +
                                                                                                    • Added score compute consistency config for knowhere (#32997)
                                                                                                    • +
                                                                                                    • Introduced a configuration option to control the initialization of public role permissions (#33174)
                                                                                                    • +
                                                                                                    • Optimized memory usage when reading fields (#33196)
                                                                                                    • +
                                                                                                    • Refined implementation of Channel Manager v2 (#33172, #33121, #33014)
                                                                                                    • +
                                                                                                    • Added feature to track the size of data in memory for binlog (#33025)
                                                                                                    • +
                                                                                                    • Added metrics for segment index files size (#32979, #33305)
                                                                                                    • +
                                                                                                    • Replaced Delete with DeletePartialMatch to remove metrics (#33029)
                                                                                                    • +
                                                                                                    • Got related data size according to segment type (#33017)
                                                                                                    • +
                                                                                                    • Cleaned channel node info in meta store (#32988)
                                                                                                    • +
                                                                                                    • Removed rootcoord from datanode broker (#32818)
                                                                                                    • +
                                                                                                    • Enabled batch uploading (#32788)
                                                                                                    • +
                                                                                                    • Changed default partition number to 16 when using partition key (#32950)
                                                                                                    • +
                                                                                                    • Improved reduce performance on very large top-k queries (#32871)
                                                                                                    • +
                                                                                                    • Utilized TestLocations ability to accelerate write & compaction (#32948)
                                                                                                    • +
                                                                                                    • Optimized plan parser pool to avoid unnecessary recycling (#32869)
                                                                                                    • +
                                                                                                    • Improved load speed (#32898)
                                                                                                    • +
                                                                                                    • Used collection default consistency level for restv2 (#32956)
                                                                                                    • +
                                                                                                    • Added cost response for the rest API (#32620)
                                                                                                    • +
                                                                                                    • Enabled channel exclusive balance policy (#32911)
                                                                                                    • +
                                                                                                    • Exposed describedatabase API in proxy (#32732)
                                                                                                    • +
                                                                                                    • Utilized coll2replica mapping when getting RG by collection (#32892)
                                                                                                    • +
                                                                                                    • Added more tracing for search & query (#32734)
                                                                                                    • +
                                                                                                    • Supported dynamic config for opentelemetry trace (#32169)
                                                                                                    • +
                                                                                                    • Avoided iteration over channel results when updating leaderview (#32887)
                                                                                                    • +
                                                                                                    • Optimized vector offsets handling for parquet (#32822)
                                                                                                    • +
                                                                                                    • Improved datacoord segment filtering with collection (#32831)
                                                                                                    • +
                                                                                                    • Adjusted log level and frequency (#33042, #32838, #33337)
                                                                                                    • +
                                                                                                    • Enabled stopping balance after balance had been suspended (#32812)
                                                                                                    • +
                                                                                                    • Updated shard leader cache when leader location changed (#32470)
                                                                                                    • +
                                                                                                    • Removed deprecated API and field (#32808, #32704)
                                                                                                    • +
                                                                                                    • Added metautil.channel to convert string compare to int (#32749)
                                                                                                    • +
                                                                                                    • Added type info for payload writer error message and log when querynode found new collection (#32522)
                                                                                                    • +
                                                                                                    • Checked partition number when creating collection with partition key (#32670)
                                                                                                    • +
                                                                                                    • Removed legacy l0 segment if watch failed (#32725)
                                                                                                    • +
                                                                                                    • Improved printing type of request (#33319)
                                                                                                    • +
                                                                                                    • Checked array field data was nil before getting the type (#33311)
                                                                                                    • +
                                                                                                    • Returned error when startup Delete/AddNode node operation failed (#33258)
                                                                                                    • +
                                                                                                    • Allowed datanode’s server ID to be updated (#31597)
                                                                                                    • +
                                                                                                    • Unified querynode metrics cleanup in collection release (#32805)
                                                                                                    • +
                                                                                                    • Fixed scalar auto index config incorrect version (#32795)
                                                                                                    • +
                                                                                                    • Refined index param check for create/alter index (#32712)
                                                                                                    • +
                                                                                                    • Removed redundant replica recovery (#32985)
                                                                                                    • +
                                                                                                    • Enabled channel meta table to write more than 200k segments (#33300)
                                                                                                    -

                                                                                                    Fehlerbehebungen

                                                                                                      -
                                                                                                    • Panic behoben, wenn die Datenbank im Rate Limit Interceptor nicht existierte(#33308)
                                                                                                    • -
                                                                                                    • Fehler bei der Sammlung von Quotacenter-Metriken aufgrund falscher Parameter behoben(#33399)
                                                                                                    • -
                                                                                                    • Panik behoben, wenn processactivestandby einen Fehler zurückgab(#33372)
                                                                                                    • -
                                                                                                    • Korrigierte das Abschneiden von Suchergebnissen in restful v2, wenn nq > 1(#33363)
                                                                                                    • -
                                                                                                    • Datenbank-Namensfeld für Rollenoperationen in restful v2 hinzugefügt(#33291)
                                                                                                    • -
                                                                                                    • Behoben: Globale Ratenbegrenzung funktionierte nicht(#33336)
                                                                                                    • -
                                                                                                    • Korrigierte Panik, die durch das Scheitern des Indexaufbaus verursacht wurde(#33314)
                                                                                                    • -
                                                                                                    • Validierung für sparse vector in segcore hinzugefügt, um die Legalität sicherzustellen(#33312)
                                                                                                    • -
                                                                                                    • Entfernte Aufgabe aus syncmgr nach Abschluss der Aufgabe(#33303)
                                                                                                    • -
                                                                                                    • Fehler bei der Partitionsschlüssel-Filterung während des Datenimports behoben(#33277)
                                                                                                    • -
                                                                                                    • Die Unfähigkeit, TraceID zu generieren, wenn der noop-Exporter verwendet wird, wurde behoben(#33208)
                                                                                                    • -
                                                                                                    • Verbesserter Abruf von Abfrageergebnissen(#33179)
                                                                                                    • -
                                                                                                    • Markierter Kanal-Checkpoint wurde fallen gelassen, um das Auslaufen von Checkpoint-Lag-Metriken zu verhindern(#33201)
                                                                                                    • -
                                                                                                    • Korrigierter Abfrageknoten, der während des Anhaltens des Fortschritts stecken blieb(#33154)
                                                                                                    • -
                                                                                                    • Fehlende Segmente in der Flush-Antwort behoben(#33061)
                                                                                                    • -
                                                                                                    • Absendeoperation idempotent gemacht(#33053)
                                                                                                    • -
                                                                                                    • Zuweisung eines neuen Slice für jeden Batch im Streaming Reader(#33360)
                                                                                                    • -
                                                                                                    • Offline-Knoten aus der Ressourcen-Gruppe nach QueryCoord-Neustart entfernt(#33233)
                                                                                                    • -
                                                                                                    • Entfernter l0 compactor in completedCompactor(#33216)
                                                                                                    • -
                                                                                                    • Quota-Wert bei Initialisierung des Limiters zurückgesetzt(#33152)
                                                                                                    • -
                                                                                                    • Problem behoben, bei dem das etcd-Limit überschritten wurde(#33041)
                                                                                                    • -
                                                                                                    • Überschreitung des etcd-Transaktionslimits aufgrund zu vieler Felder behoben(#33040)
                                                                                                    • -
                                                                                                    • RLock-Wiedereintritt in GetNumRowsOfPartition entfernt(#33045)
                                                                                                    • -
                                                                                                    • LeaderCacheObserver wurde vor SyncAll gestartet(#33035)
                                                                                                    • -
                                                                                                    • Aktivierte den Ausgleich des freigegebenen Standby-Kanals(#32986)
                                                                                                    • -
                                                                                                    • Initialisierte den Zugriffslogger vor der Serverinitialisierung(#32976)
                                                                                                    • -
                                                                                                    • Verdichter wurde in die Lage versetzt, leere Segmente zu löschen(#32821)
                                                                                                    • -
                                                                                                    • Füllte Deltalog-Eintragsnummer und Zeitbereich in L0-Kompaktierungen(#33004)
                                                                                                    • -
                                                                                                    • Proxy-Absturz aufgrund von Shard-Leader-Cache-Daten-Race behoben(#32971)
                                                                                                    • -
                                                                                                    • Korrigierte Zeiteinheit für Lastindex-Metrik(#32935)
                                                                                                    • -
                                                                                                    • Problem behoben, bei dem ein Segment auf einem stoppenden Abfrageknoten nicht erfolgreich freigegeben werden konnte(#32929)
                                                                                                    • -
                                                                                                    • Korrigierte Index-Ressourcen-Schätzung(#32842)
                                                                                                    • -
                                                                                                    • Kanal-Prüfpunkt wurde auf Delta-Position gesetzt(#32878)
                                                                                                    • -
                                                                                                    • Syncmgr sperrte den Schlüssel vor der Rückgabe von future(#32865)
                                                                                                    • -
                                                                                                    • Sicherstellung, dass invertierter Index nur ein Segment hat(#32858)
                                                                                                    • -
                                                                                                    • Behobener Verdichtungs-Trigger, der zwei identische Segmente auswählt(#32800)
                                                                                                    • -
                                                                                                    • Problem behoben, bei dem der Partitionsname im binlog-Import nicht angegeben werden konnte(#32730, #33027)
                                                                                                    • -
                                                                                                    • Dynamische Spalte wurde optional im Parkett-Import(#32738)
                                                                                                    • -
                                                                                                    • Überprüfung der Auto-ID beim Einfügen von Daten wurde übersprungen(#32775)
                                                                                                    • -
                                                                                                    • Validierung der Anzahl von Zeilen für Insert-Felddaten mit Schema(#32770)
                                                                                                    • -
                                                                                                    • Wrapper und Keepalive für CTraceContext IDs hinzugefügt(#32746)
                                                                                                    • -
                                                                                                    • Problem behoben, bei dem der Datenbankname nicht im Datacoord-Metaobjekt gefunden wurde(#33412)
                                                                                                    • -
                                                                                                    • Synchronisiertes verworfenes Segment für verworfene Partition(#33332)
                                                                                                    • -
                                                                                                    • Fehler bei der Sammlung von quotaCenter-Metriken aufgrund von falschen Parametern behoben(#33399)
                                                                                                    • +

                                                                                                      Bug fixes

                                                                                                        +
                                                                                                      • Fixed panic when the database didn’t exist in the rate limit interceptor (#33308)
                                                                                                      • +
                                                                                                      • Fixed quotacenter metrics collection failure due to incorrect parameters (#33399)
                                                                                                      • +
                                                                                                      • Fixed panic if processactivestandby returned an error (#33372)
                                                                                                      • +
                                                                                                      • Fixed search result truncation in restful v2 when nq > 1 (#33363)
                                                                                                      • +
                                                                                                      • Added database name field for role operations in restful v2 (#33291)
                                                                                                      • +
                                                                                                      • Fixed global rate limit not working (#33336)
                                                                                                      • +
                                                                                                      • Fixed panic caused by failure of building index (#33314)
                                                                                                      • +
                                                                                                      • Added validation for sparse vector in segcore to ensure legality (#33312)
                                                                                                      • +
                                                                                                      • Removed task from syncmgr after task completion (#33303)
                                                                                                      • +
                                                                                                      • Fixed partition key filtering failure during data import (#33277)
                                                                                                      • +
                                                                                                      • Fixed inability to generate traceID when using noop exporter (#33208)
                                                                                                      • +
                                                                                                      • Improved query results retrieval (#33179)
                                                                                                      • +
                                                                                                      • Marked channel checkpoint dropped to prevent checkpoint lag metrics leakage (#33201)
                                                                                                      • +
                                                                                                      • Fixed query node getting stuck during stopping progress (#33154)
                                                                                                      • +
                                                                                                      • Fixed missing segments in flush response (#33061)
                                                                                                      • +
                                                                                                      • Made submit operation idempotent (#33053)
                                                                                                      • +
                                                                                                      • Allocated new slice for each batch in streaming reader (#33360)
                                                                                                      • +
                                                                                                      • Cleaned offline node from resource group after QueryCoord restart (#33233)
                                                                                                      • +
                                                                                                      • Removed l0 compactor in completedCompactor (#33216)
                                                                                                      • +
                                                                                                      • Reset quota value when initializing the limiter (#33152)
                                                                                                      • +
                                                                                                      • Fixed issue where etcd limit was exceeded (#33041)
                                                                                                      • +
                                                                                                      • Resolved etcd transaction limit exceedance due to too many fields (#33040)
                                                                                                      • +
                                                                                                      • Removed RLock re-entry in GetNumRowsOfPartition (#33045)
                                                                                                      • +
                                                                                                      • Started LeaderCacheObserver before SyncAll (#33035)
                                                                                                      • +
                                                                                                      • Enabled balancing of released standby channel (#32986)
                                                                                                      • +
                                                                                                      • Initialized access logger before server initialization (#32976)
                                                                                                      • +
                                                                                                      • Made compactor capable of clearing empty segments (#32821)
                                                                                                      • +
                                                                                                      • Filled deltalog entry number and time range in l0 compactions (#33004)
                                                                                                      • +
                                                                                                      • Fixed proxy crash due to shard leader cache data race (#32971)
                                                                                                      • +
                                                                                                      • Corrected time unit for load index metric (#32935)
                                                                                                      • +
                                                                                                      • Fixed issue where segment on stopping query node couldn’t be released successfully (#32929)
                                                                                                      • +
                                                                                                      • Fixed index resource estimation (#32842)
                                                                                                      • +
                                                                                                      • Set channel checkpoint to delta position (#32878)
                                                                                                      • +
                                                                                                      • Made syncmgr lock key before returning future (#32865)
                                                                                                      • +
                                                                                                      • Ensured inverted index had only one segment (#32858)
                                                                                                      • +
                                                                                                      • Fixed compaction trigger choosing two identical segments (#32800)
                                                                                                      • +
                                                                                                      • Fixed issue where partition name could not be specified in binlog import (#32730, #33027)
                                                                                                      • +
                                                                                                      • Made dynamic column optional in parquet import (#32738)
                                                                                                      • +
                                                                                                      • Skipped checking auto ID when inserting data (#32775)
                                                                                                      • +
                                                                                                      • Validated number of rows for insert field data with schema (#32770)
                                                                                                      • +
                                                                                                      • Added Wrapper and Keepalive for CTraceContext IDs (#32746)
                                                                                                      • +
                                                                                                      • Fixed issue where database name was not found in the datacoord meta object (#33412)
                                                                                                      • +
                                                                                                      • Synchronized dropped segment for dropped partition (#33332)
                                                                                                      • +
                                                                                                      • Fixed quotaCenter metrics collection failure due to incorrect parameters (#33399)

                                                                                                      v2.4.1

                                                                                                      Veröffentlichungsdatum: Mai 6, 2024

                                                                                                      +

                                                                                                      Release date: May 6, 2024

                                                                                                      - +
                                                                                                      Milvus-VersionPython SDK-VersionJava SDK-VersionNode.js SDK-Version
                                                                                                      Milvus versionPython SDK versionJava SDK versionNode.js SDK version
                                                                                                      2.4.12.4.12.4.02.4.2
                                                                                                      -

                                                                                                      Milvus Version 2.4.1 bringt zahlreiche Verbesserungen und Fehlerkorrekturen, die darauf abzielen, die Leistung, Beobachtbarkeit und Stabilität der Software zu verbessern. Zu diesen Verbesserungen gehören eine deklarative Ressourcengruppen-API, eine erweiterte Bulk-Insert-Funktionalität, die Float16/BFloat16-Vektordatentypen unterstützt, ein verfeinerter Garbage-Collection-Mechanismus (GC), der Listenoperationen für die Objektspeicherung reduziert, sowie weitere Änderungen im Zusammenhang mit Leistungsoptimierungen. Darüber hinaus wurden Fehler behoben, wie z. B. Kompilierungsfehler, fehlgeschlagene Fuzzy-Übereinstimmungen bei Zeilenumbrüchen, falsche Parameterdatentypen für RESTful-Schnittstellen und BulkInsert, das Fehler bei Numpy-Dateien auslöst, wenn dynamische Felder aktiviert sind.

                                                                                                      -

                                                                                                      Behebbare Änderungen

                                                                                                        -
                                                                                                      • Die Unterstützung für das Löschen mit einem leeren Filterausdruck wurde eingestellt.(#32472)
                                                                                                      • +

                                                                                                        Milvus version 2.4.1 brings numerous improvements and bug fixes that aim to enhance the software’s performance, observability, and stability. These improvements include a declarative resource group API, enhanced bulk insert functionality that supports Float16/BFloat16 vector data types, a refined garbage collection (GC) mechanism that reduces list operations for object storage, and other changes related to performance optimizations. Additionally, bug fixes address issues such as compilation errors, failed fuzzy matches on newline characters, incorrect parameter datatypes for RESTful interfaces, and BulkInsert raising errors on numpy files when dynamic fields are enabled.

                                                                                                        +

                                                                                                        Breaking changes

                                                                                                          +
                                                                                                        • Discontinued support for delete with an empty filter expression. (#32472)
                                                                                                        -

                                                                                                        Funktionen

                                                                                                          -
                                                                                                        • Unterstützung für Float16/BFloat16 Vektor-Datentypen in BulkInsert hinzugefügt(#32157)
                                                                                                        • -
                                                                                                        • Verbesserter Sparse-Float-Vektor zur Unterstützung von Brute-Force-Iterator-Suche und Bereichs-Suche(#32635)
                                                                                                        • +

                                                                                                          Features

                                                                                                            +
                                                                                                          • Added support for Float16/BFloat16 vector data types in bulk insert (#32157)
                                                                                                          • +
                                                                                                          • Enhanced sparse float vector to support brute force iterator search and range search (#32635)
                                                                                                          -

                                                                                                          Verbesserungen

                                                                                                            -
                                                                                                          • Deklarative Ressourcengruppen-Api hinzugefügt(#31930, #32297, #32536, #32666)
                                                                                                          • -
                                                                                                          • Der Collection Observer in QueryCoord wurde umgeschrieben, um ihn aufgabenorientiert zu machen(#32441)
                                                                                                          • -
                                                                                                          • Überarbeitung der Datenstruktur, die im SyncManager von DataNode verwendet wird, um die Speichernutzung zu reduzieren und Fehler zu vermeiden(#32673)
                                                                                                          • -
                                                                                                          • Die Implementierung der Garbage Collection wurde überarbeitet, um die mit der Objektspeicherung verbundenen Listenoperationen zu minimieren(#31740)
                                                                                                          • -
                                                                                                          • Reduzierte die CPU-Auslastung bei einer hohen Anzahl von Sammlungen(#32245)
                                                                                                          • -
                                                                                                          • Verbessertes Management von milvus.yaml durch automatische Generierung relevanter Konfigurationselemente in der milvus.yaml Datei durch Code(#31832, #32357)
                                                                                                          • -
                                                                                                          • Die Leistung der Abfrage wurde verbessert, indem die Daten nach der Durchführung einer lokalen Reduktion abgerufen werden(#32346)
                                                                                                          • -
                                                                                                          • Option WithBlock für die Erstellung von etcd-Clients hinzugefügt(#32641)
                                                                                                          • -
                                                                                                          • Verwendet die vom Client angegebene client_request_id als TraceID, wenn der Client diese angibt(#32264)
                                                                                                          • -
                                                                                                          • db label zu den Metriken für die delete und bulk insert Operationen hinzugefügt(#32611)
                                                                                                          • -
                                                                                                          • Logik hinzugefügt, um die Überprüfung durch die Konfiguration für AutoID und PartitionKey Spalten zu überspringen(#32592)
                                                                                                          • -
                                                                                                          • Verfeinerte Fehler im Zusammenhang mit der Authentifizierung(#32253)
                                                                                                          • -
                                                                                                          • Verfeinerte Fehlerprotokolle für AllocSegmentID in DataCoord(#32351, #32335)
                                                                                                          • -
                                                                                                          • Doppelte Metriken wurden entfernt(#32380, #32308) und unbenutzte Metriken aufgeräumt(#32404, #32515)
                                                                                                          • -
                                                                                                          • Konfigurationsoption hinzugefügt, um zu steuern, ob die Aktivierung der partitionKey-Funktion erzwungen werden soll(#32433)
                                                                                                          • -
                                                                                                          • Konfigurationsoption hinzugefügt, um die maximale Datenmenge zu kontrollieren, die in einer einzigen Anfrage eingefügt werden kann(#32433)
                                                                                                          • -
                                                                                                          • Parallelisierung der applyDelete-Operation auf Segment-Ebene, um die Verarbeitung von Delete-Nachrichten durch den Delegator zu beschleunigen(#32291)
                                                                                                          • -
                                                                                                          • Verwendung von Index(#32232, #32505, #32533, #32595) und Add Cache(#32580), um häufige Filterungsoperationen in QueryCoord zu beschleunigen.
                                                                                                          • -
                                                                                                          • Umschreiben der Datenstruktur(#32273) und Refactoring des Codes(#32389), um häufige Operationen in DataCoord zu beschleunigen.
                                                                                                          • -
                                                                                                          • Entfernt openblas aus conan(#32002)
                                                                                                          • +

                                                                                                            Improvements

                                                                                                              +
                                                                                                            • Added declarative resource group api (#31930, #32297, #32536, #32666)
                                                                                                            • +
                                                                                                            • Rewrote the collection observer in QueryCoord to make it task-driven (#32441)
                                                                                                            • +
                                                                                                            • Refactored the data structure used in the SyncManager of DataNode to reduce memory usage and prevent errors (#32673)
                                                                                                            • +
                                                                                                            • Revised the implementation of garbage collection to minimize list operations associated with object storage (#31740)
                                                                                                            • +
                                                                                                            • Reduced the cpu usage when collection number is high (#32245)
                                                                                                            • +
                                                                                                            • Enhanced the management of milvus.yaml by automatically generating relevant configuration items in the milvus.yaml file through code (#31832, #32357)
                                                                                                            • +
                                                                                                            • Enhanced the performance of the Query by retrieving the data after performing local reduction (#32346)
                                                                                                            • +
                                                                                                            • Added WithBlock option for etcd client creation (#32641)
                                                                                                            • +
                                                                                                            • Used client_request_id specified by the client as the TraceID if client provided (#32264)
                                                                                                            • +
                                                                                                            • Added db label to the metrics for the delete and bulk insert operations (#32611)
                                                                                                            • +
                                                                                                            • Added logic to skip the verification through configuration for AutoID and PartitionKey columns (#32592)
                                                                                                            • +
                                                                                                            • Refined errors related to authentication (#32253)
                                                                                                            • +
                                                                                                            • Refined error logs for AllocSegmentID in DataCoord (#32351, #32335)
                                                                                                            • +
                                                                                                            • Removed duplicate metrics (#32380, #32308) and cleaned up unused metrics (#32404, #32515)
                                                                                                            • +
                                                                                                            • Added configuration option to control whether to enforce the activation of the partitionKey feature (#32433)
                                                                                                            • +
                                                                                                            • Added configuration option to control the maximum amount of data that can be inserted in a single request (#32433)
                                                                                                            • +
                                                                                                            • Parallelize the applyDelete operation at the segment level to accelerate the processing of Delete messages by the Delegator (#32291)
                                                                                                            • +
                                                                                                            • Used index (#32232, #32505, #32533, #32595) and add cache (#32580) to accelerate frequent filtering operations in QueryCoord.
                                                                                                            • +
                                                                                                            • Rewrote the data structure (#32273) and refactored code (#32389) to accelerate common operations in DataCoord.
                                                                                                            • +
                                                                                                            • Removed openblas from conan (#32002)
                                                                                                            -

                                                                                                            Fehlerbehebungen

                                                                                                              -
                                                                                                            • Build-Milvus in rockylinux8 behoben(#32619)
                                                                                                            • -
                                                                                                            • Kompilierungsfehler für SVE auf ARM behoben(#32463, #32270)
                                                                                                            • -
                                                                                                            • Das Absturzproblem auf ARM-basierten GPU-Images wurde behoben(#31980)
                                                                                                            • -
                                                                                                            • Behoben: Regex-Abfrage kann Text mit Zeilenumbruch nicht verarbeiten(#32569)
                                                                                                            • -
                                                                                                            • Korrigiert, dass die Suche leere Ergebnisse liefert, wenn GetShardLeaders eine leere Knotenliste zurückgibt(#32685)
                                                                                                            • -
                                                                                                            • Korrigierter BulkInsert-Fehler beim Auffinden von dynamischen Feldern in Numpy-Dateien(#32596)
                                                                                                            • -
                                                                                                            • Fehler im Zusammenhang mit der RESTFulV2-Schnittstelle behoben, einschließlich eines wichtigen Fixes, der es numerischen Parametern in Anfragen erlaubt, numerische Eingaben anstelle von Strings zu akzeptieren(#32485, #32355)
                                                                                                            • -
                                                                                                            • Speicherleck im Proxy behoben, indem das beobachtende Konfigurationsereignis im Ratenbegrenzer entfernt wurde(#32313)
                                                                                                            • -
                                                                                                            • Problem behoben, bei dem der Ratenbegrenzer fälschlicherweise meldet, dass die Partition nicht gefunden werden kann, wenn partitionName nicht angegeben ist(#32647)
                                                                                                            • -
                                                                                                            • Es wurde eine Erkennung zwischen den Fällen hinzugefügt, in denen sich die Sammlung im Wiederherstellungszustand befindet und im Fehlertyp nicht geladen ist.(#32447)
                                                                                                            • -
                                                                                                            • Die Metrik für negative abfragbare num Entitäten wurde korrigiert(#32361)
                                                                                                            • +

                                                                                                              Bug fixes

                                                                                                                +
                                                                                                              • Fixed build milvus in rockylinux8 (#32619)
                                                                                                              • +
                                                                                                              • Fixed compilation errors for SVE on ARM (#32463, #32270)
                                                                                                              • +
                                                                                                              • Fixed the crash issue on ARM-based GPU images (#31980)
                                                                                                              • +
                                                                                                              • Fixed regex query can’t handle text with newline (#32569)
                                                                                                              • +
                                                                                                              • Fixed search get empty result caused by GetShardLeaders return empty node list (#32685)
                                                                                                              • +
                                                                                                              • Fixed BulkInsert raised error when encountering dynamic fields in numpy files (#32596)
                                                                                                              • +
                                                                                                              • Fixed bugs related to the RESTFulV2 interface, including an important fix that allows numeric parameters in requests to accept numerical input instead of string type (#32485, #32355)
                                                                                                              • +
                                                                                                              • Fixed memory leak in proxy by removing watching config event in rate limiter (#32313)
                                                                                                              • +
                                                                                                              • Fixed the issue where the rate limiter incorrectly reports that the partition cannot be found when partitionName is not specified (#32647)
                                                                                                              • +
                                                                                                              • Added detection between the cases of Collection being in the recovery state and not being loaded in the error type. (#32447)
                                                                                                              • +
                                                                                                              • Corrected the negative queryable num entities metric (#32361)

                                                                                                              v2.4.0

                                                                                                              Veröffentlichungsdatum: April 17, 2024

                                                                                                              +

                                                                                                              Release date: April 17, 2024

                                                                                                              - +
                                                                                                              Milvus-VersionPython SDK VersionNode.js SDK-Version
                                                                                                              Milvus versionPython SDK versionNode.js SDK version
                                                                                                              2.4.02.4.02.4.0
                                                                                                              -

                                                                                                              Wir freuen uns, die offizielle Markteinführung von Milvus 2.4.0 bekannt zu geben. Aufbauend auf der soliden Grundlage der Version 2.4.0-rc.1 haben wir uns darauf konzentriert, kritische Fehler zu beheben, die von unseren Benutzern gemeldet wurden, und gleichzeitig die bestehende Funktionalität zu erhalten. Darüber hinaus führt Milvus 2.4.0 eine Reihe von Optimierungen ein, die darauf abzielen, die Systemleistung zu erhöhen, die Beobachtbarkeit durch die Einbeziehung verschiedener Metriken zu verbessern und die Codebasis für eine größere Einfachheit zu verschlanken.

                                                                                                              -

                                                                                                              Verbesserungen

                                                                                                                -
                                                                                                              • Unterstützung für MinIO TLS-Verbindungen(#31396, #31618)
                                                                                                              • -
                                                                                                              • AutoIndex-Unterstützung für skalare Felder(#31593)
                                                                                                              • -
                                                                                                              • Hybrid Search Refactoring für konsistente Ausführungspfade mit regulärer Suche(#31742, #32178)
                                                                                                              • -
                                                                                                              • Beschleunigte Filterung durch Bitset und Bitset_view Refaktorierung(#31592, #31754, #32139)
                                                                                                              • -
                                                                                                              • Importaufgaben unterstützen nun das Warten auf den Abschluss des Datenindexes(#31733)
                                                                                                              • -
                                                                                                              • Verbesserte Importkompatibilität(#32121), Aufgabenplanung(#31475) und Begrenzung der Größe und Anzahl importierter Dateien(#31542)
                                                                                                              • -
                                                                                                              • Code-Vereinfachung, einschließlich Schnittstellen-Standardisierung für Typüberprüfung(#31945, #31857), Entfernung von veraltetem Code und Metriken(#32079, #32134, #31535, #32211, #31935) und Normalisierung von Konstantennamen(#31515)
                                                                                                              • -
                                                                                                              • Neue Metriken für QueryCoord, die Verzögerung des aktuellen Zielkanalprüfpunkts (#31420)
                                                                                                              • -
                                                                                                              • Neue db-Bezeichnung für allgemeine Metriken(#32024)
                                                                                                              • -
                                                                                                              • Neue Metriken bezüglich der Anzahl gelöschter, indizierter und geladener Entitäten, mit der Einbeziehung von Bezeichnungen wie collectionName und dbName(#31861)
                                                                                                              • -
                                                                                                              • Verbesserungen bei der Fehlerbehandlung für nicht übereinstimmende Vektortypen(#31766)
                                                                                                              • -
                                                                                                              • Unterstützung für das Auslösen von Fehlern anstelle eines Absturzes, wenn der Index nicht erstellt werden kann(#31845)
                                                                                                              • -
                                                                                                              • Unterstützung für die Invalidierung des Datenbank-Meta-Cache beim Löschen von Datenbanken(#32092)
                                                                                                              • -
                                                                                                              • Überarbeitung der Schnittstelle für die Kanalverteilung(#31814) und die Verwaltung von Leader Views(#32127)
                                                                                                              • -
                                                                                                              • Refactor channel dist manager interface(#31814) und Refactor leader view manager interface(#32127)
                                                                                                              • -
                                                                                                              • Stapelverarbeitung(#31632), Hinzufügen von Zuordnungsinformationen(#32234, #32249) und Vermeidung der Verwendung von Sperren(#31787) zur Beschleunigung häufig aufgerufener Operationen
                                                                                                              • +

                                                                                                                We are excited to announce the official launch of Milvus 2.4.- Building upon the solid foundation of the 2.4.0-rc.1 release, we have focused on addressing critical bugs reported by our users, while preserving the existing functionality. In addition, Milvus 2.4.0 introduces a range of optimizations aimed at enhancing system performance, improving observability through the incorporation of various metrics, and streamlining the codebase for increased simplicity.

                                                                                                                +

                                                                                                                Improvements

                                                                                                                  +
                                                                                                                • Support for MinIO TLS connections (#31396, #31618)
                                                                                                                • +
                                                                                                                • AutoIndex support for scalar fields (#31593)
                                                                                                                • +
                                                                                                                • Hybrid search refactoring for consistent execution paths with regular search (#31742, #32178)
                                                                                                                • +
                                                                                                                • Accelerated filtering through bitset and bitset_view refactoring (#31592, #31754, #32139)
                                                                                                                • +
                                                                                                                • Import tasks now support waiting for data index completion (#31733)
                                                                                                                • +
                                                                                                                • Enhanced Import compatibility (#32121), task scheduling (#31475), and limits on imported file size and number (#31542)
                                                                                                                • +
                                                                                                                • Code simplification efforts including interface standardization for type checking (#31945, #31857), removal of deprecated code and metrics (#32079, #32134, #31535, #32211, #31935), and normalization of constant names (#31515)
                                                                                                                • +
                                                                                                                • New metrics for QueryCoord current target channel check point lag latency (#31420)
                                                                                                                • +
                                                                                                                • New db label for common metrics (#32024)
                                                                                                                • +
                                                                                                                • New metrics regarding the count of deleted, indexed, and loaded entities, with the inclusion of labels such as collectionName and dbName (#31861)
                                                                                                                • +
                                                                                                                • Error handling improvements for mismatched vector types (#31766)
                                                                                                                • +
                                                                                                                • Support for throwing errors instead of crashing when index cannot be built (#31845)
                                                                                                                • +
                                                                                                                • Support for invalidating the database meta cache when dropping databases (#32092)
                                                                                                                • +
                                                                                                                • Interface refactoring for channel distribution (#31814) and leader view management (#32127)
                                                                                                                • +
                                                                                                                • Refactor channel dist manager interface (#31814) and Refactor leader view manager interface (#32127)
                                                                                                                • +
                                                                                                                • Batch processing (#31632), adding mapping information (#32234, #32249), and avoiding usage of lock (#31787) to accelerate frequently invoked operations
                                                                                                                -

                                                                                                                Aufhebende Änderungen

                                                                                                                  -
                                                                                                                • Abschaffung der Gruppierungssuche bei binären Vektoren(#31735)
                                                                                                                • -
                                                                                                                • Abgekündigte Gruppierungssuche mit hybrider Suche(#31812)
                                                                                                                • -
                                                                                                                • HNSW-Index für binäre Vektoren wurde eingestellt(#31883)
                                                                                                                • +

                                                                                                                  Breaking Changes

                                                                                                                    +
                                                                                                                  • Discontinued grouping search on binary vectors (#31735)
                                                                                                                  • +
                                                                                                                  • Discontinued grouping search with hybrid search (#31812)
                                                                                                                  • +
                                                                                                                  • Discontinued HNSW index on binary vectors (#31883)
                                                                                                                  -

                                                                                                                  Fehlerbehebungen

                                                                                                                    -
                                                                                                                  • Verbesserte Datentyp- und Werteprüfungen für Abfragen und Einfügungen, um Abstürze zu verhindern(#31478, #31653, #31698, #31842, #32042, #32251, #32204)
                                                                                                                  • -
                                                                                                                  • RESTful API Fehlerbehebungen(#32160)
                                                                                                                  • -
                                                                                                                  • Verbesserte Vorhersage des Ressourcenverbrauchs bei invertierten Indizes(#31641)
                                                                                                                  • -
                                                                                                                  • Behebung von Verbindungsproblemen mit etcd, wenn Autorisierung aktiviert ist(#31668)
                                                                                                                  • -
                                                                                                                  • Sicherheitsupdate für nats Server(#32023)
                                                                                                                  • -
                                                                                                                  • Speichern von invertierten Index-Dateien in einem lokalen Speicherpfad von QueryNode statt /tmp(#32210)
                                                                                                                  • -
                                                                                                                  • Adressierte Datenordner-Speicherlecks für collectionInfo(#32243)
                                                                                                                  • -
                                                                                                                  • Korrekturen für fp16/bf16 bezogene Fehler, die möglicherweise eine Systempanik verursachen konnten(#31677, #31841, #32196)
                                                                                                                  • -
                                                                                                                  • Behebung von Problemen mit der Gruppierungssuche, die unzureichende Ergebnisse lieferte(#32151)
                                                                                                                  • -
                                                                                                                  • Anpassung der Suche mit Iteratoren, um Offsets im Reduce-Schritt effektiver zu behandeln und adäquate Ergebnisse mit aktiviertem "reduceStopForBest" zu gewährleisten(#32088)
                                                                                                                  • +

                                                                                                                    Bug Fixes

                                                                                                                      +
                                                                                                                    • Enhanced data type and value checks for queries and insertions to prevent crashes (#31478, #31653, #31698, #31842, #32042, #32251, #32204)
                                                                                                                    • +
                                                                                                                    • RESTful API bug fixes (#32160)
                                                                                                                    • +
                                                                                                                    • Improved prediction of inverted index resource usage (#31641)
                                                                                                                    • +
                                                                                                                    • Resolution of connection issues with etcd when authorization is enabled (#31668)
                                                                                                                    • +
                                                                                                                    • Security update for nats server (#32023)
                                                                                                                    • +
                                                                                                                    • Stored inverted index files into a local storage path of QueryNode instead of /tmp (#32210)
                                                                                                                    • +
                                                                                                                    • Addressed datacoord memory leaks for collectionInfo (#32243)
                                                                                                                    • +
                                                                                                                    • Fixes for fp16/bf16 related bugs potentially causing system panic (#31677, #31841, #32196)
                                                                                                                    • +
                                                                                                                    • Resolved issues with grouping search returning insufficient results (#32151)
                                                                                                                    • +
                                                                                                                    • Adjustment of search with iterators to handle offsets in the Reduce step more effectively and ensure adequate results with “reduceStopForBest” enabled (#32088)

                                                                                                                    v2.4.0-rc.1

                                                                                                                    Veröffentlichungsdatum: März 20, 2024

                                                                                                                    +

                                                                                                                    Release date: March 20, 2024

                                                                                                                    - +
                                                                                                                    Milvus-VersionPython SDK-Version
                                                                                                                    Milvus versionPython SDK version
                                                                                                                    2.4.0-rc.12.4.0
                                                                                                                    -

                                                                                                                    Mit dieser Version werden mehrere szenariobasierte Funktionen eingeführt:

                                                                                                                    +

                                                                                                                    This release introduces several scenario-based features:

                                                                                                                      -
                                                                                                                    • Neuer GPU-Index - CAGRA: Dank des Beitrags von NVIDIA bietet dieser neue GPU-Index eine 10-fache Leistungssteigerung, insbesondere bei Batch-Suchen. Einzelheiten finden Sie unter GPU-Index.

                                                                                                                    • -
                                                                                                                    • Multi-Vektor- und Hybrid-Suche: Diese Funktion ermöglicht die Speicherung von Vektoreinbettungen aus mehreren Modellen und die Durchführung hybrider Suchen. Weitere Informationen finden Sie unter Hybride Suche.

                                                                                                                    • -
                                                                                                                    • Spärliche Vektoren: Sparse Vectors sind ideal für die Interpretation und Analyse von Schlüsselwörtern und werden jetzt für die Verarbeitung in Ihrer Sammlung unterstützt. Weitere Informationen finden Sie unter Spärliche Vektoren.

                                                                                                                    • -
                                                                                                                    • Gruppierungssuche: Die kategoriale Aggregation verbessert den Abruf auf Dokumentenebene für Retrieval-Augmented Generation (RAG)-Anwendungen. Einzelheiten finden Sie unter Gruppierungssuche.

                                                                                                                    • -
                                                                                                                    • Invertierter Index und Fuzzy Matching: Diese Funktionen verbessern die Suche nach Schlüsselwörtern für skalare Felder. Weitere Informationen finden Sie unter Skalare Felder indizieren und gefilterte Suche.

                                                                                                                    • +
                                                                                                                    • New GPU Index - CAGRA: Thanks to NVIDIA’s contribution, this new GPU index offers a 10x performance boost, especially for batch searches. For details, refer to GPU Index.

                                                                                                                    • +
                                                                                                                    • Multi-vector and Hybrid Search: This feature enables storing vector embeddings from multiple models and conducting hybrid searches. For details, refer to Hybrid Search.

                                                                                                                    • +
                                                                                                                    • Sparse Vectors: Ideal for keyword interpretation and analysis, sparse vectors are now supported for processing in your collection. For details, refer to Sparse Vectors.

                                                                                                                    • +
                                                                                                                    • Grouping Search: Categorical aggregation enhances document-level recall for Retrieval-Augmented Generation (RAG) applications. For details, refer to Grouping Search.

                                                                                                                    • +
                                                                                                                    • Inverted Index and Fuzzy Matching: These capabilities improve keyword retrieval for scalar fields. For details, refer to Index Scalar Fields and Filtered Search.

                                                                                                                    -

                                                                                                                    Neue Funktionen

                                                                                                                    GPU-Index - CAGRA

                                                                                                                    Wir möchten dem NVIDIA-Team unseren aufrichtigen Dank für seinen unschätzbaren Beitrag zu CAGRA aussprechen, einem hochmodernen (SoTA) GPU-basierten Graph-Index, der online verwendet werden kann.

                                                                                                                    -

                                                                                                                    Im Gegensatz zu früheren GPU-Indizes zeigt CAGRA selbst bei kleinen Batch-Abfragen eine überwältigende Überlegenheit, ein Bereich, in dem CPU-Indizes traditionell überragend sind. Darüber hinaus ist die Leistung von CAGRA bei großen Batch-Abfragen und bei der Geschwindigkeit des Indexaufbaus - Bereiche, in denen GPU-Indizes bereits glänzen - wirklich beispiellos.

                                                                                                                    -

                                                                                                                    Ein Beispielcode ist in example_gpu_cagra.py zu finden.

                                                                                                                    -

                                                                                                                    Sparse Vector (Beta)

                                                                                                                    In dieser Version führen wir einen neuen Typ von Vektorfeldern ein, den Sparse Vector. Sparse Vektoren unterscheiden sich von ihren dichten Gegenstücken, da sie in der Regel eine um ein Vielfaches höhere Anzahl von Dimensionen haben, von denen nur eine Handvoll ungleich Null ist. Diese Eigenschaft bietet eine bessere Interpretierbarkeit aufgrund ihrer termbasierten Natur und kann in bestimmten Bereichen effektiver sein. Gelernte Sparse-Modelle wie SPLADEv2/BGE-M3 haben sich als sehr nützlich für gängige First-Stage-Ranking-Aufgaben erwiesen. Der Hauptanwendungsfall für diese neue Funktion in Milvus ist die Ermöglichung einer effizienten semantischen Näherungssuche über spärliche Vektoren, die von neuronalen Modellen wie SPLADEv2/BGE-M3 und Statistikmodellen wie dem BM25-Algorithmus erzeugt werden. Milvus unterstützt nun die effektive und leistungsstarke Speicherung, Indizierung und Suche (MIPS, Maximum Inner Product Search) von spärlichen Vektoren.

                                                                                                                    -

                                                                                                                    Ein Beispielcode ist in hello_sparse.py zu finden.

                                                                                                                    -

                                                                                                                    Die Unterstützung mehrerer Vektoren ist der Grundstein für Anwendungen, die eine Datenverarbeitung mit mehreren Modellen oder eine Mischung aus dichten und spärlichen Vektoren erfordern. Mit der Multi-Vektor-Unterstützung können Sie jetzt:

                                                                                                                    +

                                                                                                                    New Features

                                                                                                                    GPU Index - CAGRA

                                                                                                                    We would like to express our sincere gratitude to the NVIDIA team for their invaluable contribution to CAGRA, a state-of-the-art (SoTA) GPU-based graph index that can be used online.

                                                                                                                    +

                                                                                                                    Unlike previous GPU indices, CAGRA demonstrates overwhelming superiority even in small batch queries, an area where CPU indices traditionally excel. In addition, CAGRA’s performance in large batch queries and index construction speed, domains where GPU indices already shine, is truly unparalleled.

                                                                                                                    +

                                                                                                                    Example code can be found in example_gpu_cagra.py.

                                                                                                                    +

                                                                                                                    Sparse Vector (Beta)

                                                                                                                    In this release, we are introducing a new type of vector field called sparse vector. Sparse vectors are different from their dense counterparts as they tend to have several magnitude higher number of dimensions with only a handful being non-zero. This feature offers better interpretability due to its term-based nature and can be more effective in certain domains. Learned sparse models such as SPLADEv2/BGE-M3 have proven to be very useful for common first-stage ranking tasks. The main use case for this new feature in Milvus is to allow efficient approximate semantic nearest neighbor search over sparse vectors generated by neural models such as SPLADEv2/BGE-M3 and statistics models such as the BM25 algorithm. Milvus now supports effective and high-performance storage, indexing, and searching (MIPS, Maximum Inner Product Search) of sparse vectors.

                                                                                                                    +

                                                                                                                    Example code can be found in hello_sparse.py.

                                                                                                                    +

                                                                                                                    Multi-vector support is the cornerstone for applications that require multi-model data processing or a mix of dense and sparse vectors. With multi-vector support, now you can:

                                                                                                                      -
                                                                                                                    • Speichern von Vektoreinbettungen, die für unstrukturierte Text-, Bild- oder Audiobeispiele aus mehreren Modellen generiert wurden.
                                                                                                                    • -
                                                                                                                    • ANN-Suchen durchführen, die mehrere Vektoren jeder Entität umfassen.
                                                                                                                    • -
                                                                                                                    • Suchstrategien anpassen, indem Sie verschiedenen Einbettungsmodellen Gewichte zuweisen.
                                                                                                                    • -
                                                                                                                    • Experimentieren Sie mit verschiedenen Einbettungsmodellen, um die optimale Modellkombination zu finden.
                                                                                                                    • +
                                                                                                                    • Store vector embeddings generated for unstructured text, image, or audio samples from multiple models.
                                                                                                                    • +
                                                                                                                    • Conduct ANN searches that include multiple vectors of each entity.
                                                                                                                    • +
                                                                                                                    • Customize search strategies by assigning weights to different embedding models.
                                                                                                                    • +
                                                                                                                    • Experiment with various embedding models to find the optimal model combination.
                                                                                                                    -

                                                                                                                    Die Unterstützung für mehrere Vektoren ermöglicht das Speichern, Indizieren und Anwenden von Reranking-Strategien auf mehrere Vektorfelder unterschiedlichen Typs, wie FLOAT_VECTOR und SPARSE_FLOAT_VECTOR, in einer Sammlung. Derzeit sind zwei Rangordnungsstrategien verfügbar: Reciprocal Rank Fusion (RRF) und Average Weighted Scoring. Beide Strategien kombinieren die Suchergebnisse aus verschiedenen Vektorfeldern zu einer einheitlichen Ergebnismenge. Die erste Strategie priorisiert die Entitäten, die immer wieder in den Suchergebnissen verschiedener Vektorfelder auftauchen, während die andere Strategie den Suchergebnissen der einzelnen Vektorfelder Gewichte zuweist, um ihre Bedeutung in der endgültigen Ergebnismenge zu bestimmen.

                                                                                                                    -

                                                                                                                    Ein Beispielcode ist in hybrid_search.py zu finden.

                                                                                                                    -

                                                                                                                    Invertierter Index und Fuzzy Match

                                                                                                                    In früheren Versionen von Milvus wurden speicherbasierte binäre Suchindizes und Marisa-Trie-Indizes für die Indizierung skalarer Felder verwendet. Diese Methoden waren jedoch sehr speicherintensiv. Die neueste Version von Milvus verwendet nun den Tantivy-basierten invertierten Index, der auf alle numerischen und String-Datentypen angewendet werden kann. Dieser neue Index verbessert die Leistung skalarer Abfragen drastisch und reduziert die Abfrage von Schlüsselwörtern in Strings um das Zehnfache. Darüber hinaus verbraucht der invertierte Index dank zusätzlicher Optimierungen bei der Datenkomprimierung und dem Memory-mapped storage (MMap)-Mechanismus der internen Indizierungsstruktur weniger Speicher.

                                                                                                                    -

                                                                                                                    Diese Version unterstützt auch unscharfe Übereinstimmungen bei der skalaren Filterung mit Präfixen, Infixen und Suffixen.

                                                                                                                    -

                                                                                                                    Beispielcode finden Sie in inverted_index_example.py und fuzzy_match.py.

                                                                                                                    -

                                                                                                                    Sie können nun die Suchergebnisse nach den Werten in einem bestimmten skalaren Feld gruppieren. Dies hilft RAG-Anwendungen bei der Implementierung eines Rückrufs auf Dokumentenebene. Betrachten Sie eine Sammlung von Dokumenten, wobei jedes Dokument in verschiedene Passagen aufgeteilt ist. Jede Passage wird durch eine Vektoreinbettung dargestellt und gehört zu einem Dokument. Um die relevantesten Dokumente anstelle der verstreuten Passagen zu finden, können Sie das Argument group_by_field in die search()-Operation aufnehmen, um die Ergebnisse nach der Dokument-ID zu gruppieren.

                                                                                                                    -

                                                                                                                    Ein Beispielcode findet sich in example_group_by.py.

                                                                                                                    -

                                                                                                                    Float16 und BFloat- Vektor Datentyp

                                                                                                                    Maschinelles Lernen und neuronale Netze verwenden häufig Datentypen mit halber Genauigkeit, wie Float16 und BFloat. Während diese Datentypen die Abfrageeffizienz verbessern und die Speichernutzung reduzieren können, haben sie den Nachteil einer geringeren Genauigkeit. Mit dieser Version unterstützt Milvus nun diese Datentypen für Vektorfelder.

                                                                                                                    -

                                                                                                                    Beispielcode finden Sie in float16_example.py und bfloat16_example.py.

                                                                                                                    -

                                                                                                                    Verbesserte Architektur

                                                                                                                    L0-Segment

                                                                                                                    Diese Version enthält ein neues Segment namens L0-Segment, das zur Aufzeichnung gelöschter Daten dient. Dieses Segment verdichtet regelmäßig die gespeicherten gelöschten Datensätze und teilt sie in versiegelte Segmente auf, wodurch die Anzahl der Datenflushs, die für kleine Löschungen erforderlich sind, reduziert wird und ein geringer Speicherplatzbedarf entsteht. Mit diesem Mechanismus trennt Milvus die Datenverdichtung vollständig von den Datenflushs und verbessert so die Leistung von Lösch- und Upsert-Operationen.

                                                                                                                    -

                                                                                                                    Überarbeitetes BulkInsert

                                                                                                                    Mit dieser Version wurde auch die Logik für Masseneinfügungen verbessert. Damit können Sie mehrere Dateien in einer einzigen BulkInsert-Anforderung importieren. Mit der überarbeiteten Version wurden sowohl die Leistung als auch die Stabilität von BulkInsert deutlich verbessert. Auch die Benutzerfreundlichkeit wurde verbessert, z. B. durch eine fein abgestimmte Ratenbegrenzung und benutzerfreundlichere Fehlermeldungen. Darüber hinaus können Sie über die RESTful-API von Milvus einfach auf die Bulk-Insert-Endpunkte zugreifen.

                                                                                                                    -

                                                                                                                    Memory-mapped Speicherung

                                                                                                                    Milvus verwendet Memory-mapped Storage (MMap), um die Speichernutzung zu optimieren. Anstatt den Dateiinhalt direkt in den Speicher zu laden, ordnet dieser Mechanismus den Dateiinhalt dem Speicher zu. Dieser Ansatz geht mit einer Leistungsverschlechterung einher. Wenn Sie MMap für eine HNSW-indizierte Sammlung auf einem Host mit 2 CPUs und 8 GB RAM aktivieren, können Sie 4x mehr Daten mit weniger als 10 % Leistungseinbußen laden.

                                                                                                                    -

                                                                                                                    Darüber hinaus ermöglicht diese Version eine dynamische und feinkörnige Kontrolle über MMap, ohne dass Milvus neu gestartet werden muss.

                                                                                                                    -

                                                                                                                    Einzelheiten finden Sie unter MMap-Speicher.

                                                                                                                    -

                                                                                                                    Andere

                                                                                                                    Milvus-CDC

                                                                                                                    Milvus-CDC ist ein benutzerfreundliches Zusatztool zur Erfassung und Synchronisierung inkrementeller Daten zwischen Milvus-Instanzen, das eine einfache inkrementelle Sicherung und Disaster Recovery ermöglicht. In dieser Version wurde die Stabilität von Milvus-CDC verbessert, und die Change Data Capture (CDC)-Funktionalität ist nun allgemein verfügbar.

                                                                                                                    -

                                                                                                                    Um mehr über Milvus-CDC zu erfahren, besuchen Sie das GitHub Repository und die Milvus-CDC Übersicht.

                                                                                                                    -

                                                                                                                    Verfeinerte MilvusClient-Schnittstellen

                                                                                                                    MilvusClient ist eine einfach zu bedienende Alternative zum ORM-Modul. Es verfolgt einen rein funktionalen Ansatz, um die Interaktion mit dem Server zu vereinfachen. Anstatt einen Verbindungspool zu unterhalten, baut jeder MilvusClient eine gRPC-Verbindung zum Server auf. Das MilvusClient-Modul hat die meisten Funktionen des ORM-Moduls implementiert. Um mehr über das MilvusClient-Modul zu erfahren, besuchen Sie pymilvus und die Referenzdokumente.

                                                                                                                    +

                                                                                                                    Multi-vector support allows storing, indexing, and applying reranking strategies to multiple vector fields of different types, such as FLOAT_VECTOR and SPARSE_FLOAT_VECTOR, in a collection. Currently, two reranking strategies are available: Reciprocal Rank Fusion (RRF) and Average Weighted Scoring. Both strategies combine the search results from different vector fields into a unified result set. The first strategy prioritizes the entities that consistently appear in the search results of different vector fields, while the other strategy assigns weights to the search results of each vector field to determine their importance in the final result set.

                                                                                                                    +

                                                                                                                    Example code can be found in hybrid_search.py.

                                                                                                                    +

                                                                                                                    Inverted Index and Fuzzy Match

                                                                                                                    In previous releases of Milvus, memory-based binary search indexes and Marisa Trie indexes were used for scalar field indexing. However, these methods were memory-intensive. The latest release of Milvus now employs the Tantivy-based inverted index, which can be applied to all numeric and string data types. This new index dramatically improves scalar query performance, reducing the query of keywords in strings by ten times. In addition, The inverted index consumes less memory, thanks to additional optimizations in data compression and Memory-mapped storage (MMap) mechanism of the internal indexing structure.

                                                                                                                    +

                                                                                                                    This release also supports fuzzy matches in scalar filtering using prefixes, infixes, and suffixes.

                                                                                                                    +

                                                                                                                    Example code can be found in inverted_index_example.py and fuzzy_match.py.

                                                                                                                    +

                                                                                                                    You can now aggregate the search results by the values in a specific scalar field. This helps RAG applications to implement document-level recall. Consider a collection of documents, each document splits into various passages. Each passage is represented by one vector embedding and belongs to one document. To find the most relevant documents instead of scattering passages, you can include the group_by_field argument in the search() operation to group results by the document ID.

                                                                                                                    +

                                                                                                                    Example code can be found in example_group_by.py.

                                                                                                                    +

                                                                                                                    Float16 and BFloat- Vector DataType

                                                                                                                    Machine learning and neural networks often use half-precision data types, such as Float16 and BFloat- While these data types can improve query efficiency and reduce memory usage, they come with a tradeoff of reduced accuracy. With this release, Milvus now supports these data types for vector fields.

                                                                                                                    +

                                                                                                                    Example code can be found in float16_example.py and bfloat16_example.py.

                                                                                                                    +

                                                                                                                    Upgraded Architecture

                                                                                                                    L0 Segment

                                                                                                                    This release includes a new segment called L0 Segment, designed to record deleted data. This segment periodically compacts stored deleted records and splits them into sealed segments, reducing the number of data flushes required for small deletions and leaving a small storage footprint. With this mechanism, Milvus completely separates data compactions from data flushes, enhancing the performance of delete and upsert operations.

                                                                                                                    +

                                                                                                                    Refactored BulkInsert

                                                                                                                    This release also introduces improved bulk-insert logic. This allows you to import multiple files in a single bulk-insert request. With the refactored version, both the performance and stability of bulk insert have seen significant improvements. The user experience has also been enhanced, such as fine-tuned rate limiting and more user-friendly error messages. In addition, you can easily access the bulk-insert endpoints through Milvus’ RESTful API.

                                                                                                                    +

                                                                                                                    Memory-mapped Storage

                                                                                                                    Milvus uses memory-mapped storage (MMap) to optimize its memory usage. Instead of loading file content directly into memory, this mechanism maps the file content into memory. This approach comes with a tradeoff of performance degradation. By enabling MMap for an HNSW-indexed collection on a host with 2 CPUs and 8 GB RAM, you can load 4x more data with less than 10% performance degradation.

                                                                                                                    +

                                                                                                                    In addition, this release also allows dynamic and fine-grained control over MMap without the need to restart Milvus.

                                                                                                                    +

                                                                                                                    For details, refer to MMap Storage.

                                                                                                                    +

                                                                                                                    Others

                                                                                                                    Milvus-CDC

                                                                                                                    Milvus-CDC is an easy-to-use companion tool to capture and synchronize incremental data between Milvus instances, allowing for easy incremental backup and disaster recovery. In this release, Milvus-CDC has improved stability, and its Change Data Capture (CDC) functionality now becomes generally available.

                                                                                                                    +

                                                                                                                    To learn more about Milvus-CDC, refer to GitHub repository and Milvus-CDC Overview.

                                                                                                                    +

                                                                                                                    Refined MilvusClient Interfaces

                                                                                                                    MilvusClient is an easy-to-use alternative to the ORM module. It adopts a purely functional approach to simplify interactions with the server. Instead of maintaining a connection pool, each MilvusClient establishes a gRPC connection to the server. +The MilvusClient module has implemented most of the functionalities of the ORM module. +To learn more about the MilvusClient module, visit pymilvus and the reference documents.

                                                                                                                    diff --git a/localization/v2.4.x/site/de/userGuide/data-import/import-data.json b/localization/v2.4.x/site/de/userGuide/data-import/import-data.json index 23afdf679..d5c6fbcac 100644 --- a/localization/v2.4.x/site/de/userGuide/data-import/import-data.json +++ b/localization/v2.4.x/site/de/userGuide/data-import/import-data.json @@ -1 +1 @@ -{"codeList":["client = MilvusClient(\"http://localhost:19530\")\n\nschema = MilvusClient.create_schema(\n auto_id=False,\n enable_dynamic_field=True\n)\n\nschema.add_field(field_name=\"id\", datatype=DataType.INT64, is_primary=True)\nschema.add_field(field_name=\"vector\", datatype=DataType.FLOAT_VECTOR, dim=768)\nschema.add_field(field_name=\"scalar_1\", datatype=DataType.VARCHAR, max_length=512)\nschema.add_field(field_name=\"scalar_2\", datatype=DataType.INT64)\n\nclient.create_collection(\n collection_name=\"quick_setup\",\n schema=schema\n)\n","import io.milvus.client.MilvusServiceClient;\nimport io.milvus.param.ConnectParam;\nimport io.milvus.grpc.DataType;\nimport io.milvus.param.collection.CollectionSchemaParam;\nimport io.milvus.param.collection.CollectionSchemaParam;\nimport io.milvus.param.collection.FieldType;\n\nfinal MilvusServiceClient milvusClient = new MilvusServiceClient(\nConnectParam.newBuilder()\n .withUri(\"localhost:19530\")\n .withToken(\"root:Milvus\")\n .build()\n);\n\n// Define schema for the target collection\nFieldType id = FieldType.newBuilder()\n .withName(\"id\")\n .withDataType(DataType.Int64)\n .withPrimaryKey(true)\n .withAutoID(false)\n .build();\n\nFieldType vector = FieldType.newBuilder()\n .withName(\"vector\")\n .withDataType(DataType.FloatVector)\n .withDimension(768)\n .build();\n\nFieldType scalar1 = FieldType.newBuilder()\n .withName(\"scalar_1\")\n .withDataType(DataType.VarChar)\n .withMaxLength(512)\n .build();\n\nFieldType scalar2 = FieldType.newBuilder()\n .withName(\"scalar_2\")\n .withDataType(DataType.Int64)\n .build();\n\nCollectionSchemaParam schema = CollectionSchemaParam.newBuilder()\n .withEnableDynamicField(true)\n .addFieldType(id)\n .addFieldType(vector)\n .addFieldType(scalar1)\n .addFieldType(scalar2)\n .build();\n\n// Create a collection with the given schema\nmilvusClient.createCollection(CreateCollectionParam.newBuilder()\n .withCollectionName(\"quick_setup\")\n .withSchema(schema)\n .build()\n);\n","export MILVUS_URI=\"localhost:19530\"\n\ncurl --request POST \"http://${MILVUS_URI}/v2/vectordb/jobs/import/create\" \\\n--header \"Content-Type: application/json\" \\\n--data-raw '{\n \"files\": [\n [\n \"/8ca44f28-47f7-40ba-9604-98918afe26d1/1.parquet\"\n ],\n [\n \"/8ca44f28-47f7-40ba-9604-98918afe26d1/2.parquet\"\n ]\n ],\n \"collectionName\": \"quick_setup\"\n}'\n","[\n \"/d1782fa1-6b65-4ff3-b05a-43a436342445/1.json\"\n],\n","[\n \"/a6fb2d1c-7b1b-427c-a8a3-178944e3b66d/1.parquet\"\n]\n\n","{\n \"code\": 200,\n \"data\": {\n \"jobId\": \"448707763884413158\"\n }\n}\n","export MILVUS_URI=\"localhost:19530\"\n\ncurl --request POST \"http://${MILVUS_URI}/v2/vectordb/jobs/import/get_progress\" \\\n--header \"Content-Type: application/json\" \\\n--data-raw '{\n \"jobId\": \"449839014328146739\"\n}'\n","{\n \"code\": 200,\n \"data\": {\n \"collectionName\": \"quick_setup\",\n \"completeTime\": \"2024-05-18T02:57:13Z\",\n \"details\": [\n {\n \"completeTime\": \"2024-05-18T02:57:11Z\",\n \"fileName\": \"id:449839014328146740 paths:\\\"/8ca44f28-47f7-40ba-9604-98918afe26d1/1.parquet\\\" \",\n \"fileSize\": 31567874,\n \"importedRows\": 100000,\n \"progress\": 100,\n \"state\": \"Completed\",\n \"totalRows\": 100000\n },\n {\n \"completeTime\": \"2024-05-18T02:57:11Z\",\n \"fileName\": \"id:449839014328146741 paths:\\\"/8ca44f28-47f7-40ba-9604-98918afe26d1/2.parquet\\\" \",\n \"fileSize\": 31517224,\n \"importedRows\": 100000,\n \"progress\": 100,\n \"state\": \"Completed\",\n \"totalRows\": 200000 \n }\n ],\n \"fileSize\": 63085098,\n \"importedRows\": 200000,\n \"jobId\": \"449839014328146739\",\n \"progress\": 100,\n \"state\": \"Completed\",\n \"totalRows\": 200000\n }\n}\n","export MILVUS_URI=\"localhost:19530\"\n\ncurl --request POST \"http://${MILVUS_URI}/v2/vectordb/jobs/import/list\" \\\n--header \"Content-Type: application/json\" \\\n--data-raw '{\n \"collectionName\": \"quick_setup\"\n}'\n","{\n \"code\": 200,\n \"data\": {\n \"records\": [\n {\n \"collectionName\": \"quick_setup\",\n \"jobId\": \"448761313698322011\",\n \"progress\": 50,\n \"state\": \"Importing\"\n }\n ]\n }\n}\n"],"headingContent":"","anchorList":[{"label":"Daten importieren","href":"Import-data","type":1,"isActive":false},{"label":"Bevor Sie beginnen","href":"Before-you-start","type":2,"isActive":false},{"label":"Daten importieren","href":"Import-data","type":2,"isActive":false},{"label":"Importfortschritt prüfen","href":"Check-import-progress","type":2,"isActive":false},{"label":"Importaufträge auflisten","href":"List-Import-Jobs","type":2,"isActive":false}]} \ No newline at end of file +{"codeList":["from pymilvus.bulk_writer import bulk_import\n\nurl = f\"http://127.0.0.1:19530\"\n\n# Bulk-insert data from a set of JSON files already uploaded to the MinIO server\nresp = bulk_import(\n url=url,\n collection_name=\"quick_setup\",\n files=[['a1e18323-a658-4d1b-95a7-9907a4391bcf/1.parquet'],\n ['a1e18323-a658-4d1b-95a7-9907a4391bcf/2.parquet'],\n ['a1e18323-a658-4d1b-95a7-9907a4391bcf/3.parquet'],\n ['a1e18323-a658-4d1b-95a7-9907a4391bcf/4.parquet'],\n ['a1e18323-a658-4d1b-95a7-9907a4391bcf/5.parquet'],\n ['a1e18323-a658-4d1b-95a7-9907a4391bcf/6.parquet'],\n ['a1e18323-a658-4d1b-95a7-9907a4391bcf/7.parquet'],\n ['a1e18323-a658-4d1b-95a7-9907a4391bcf/8.parquet'],\n ['a1e18323-a658-4d1b-95a7-9907a4391bcf/9.parquet'],\n ['a1e18323-a658-4d1b-95a7-9907a4391bcf/10.parquet']],\n)\n\njob_id = resp.json()['data']['jobId']\nprint(job_id)\n","private static String bulkImport(List> batchFiles) throws InterruptedException {\n MilvusImportRequest milvusImportRequest = MilvusImportRequest.builder()\n .collectionName(\"quick_setup\")\n .files(batchFiles)\n .build();\n String bulkImportResult = BulkImport.bulkImport(\"http://localhost:19530\", milvusImportRequest);\n System.out.println(bulkImportResult);\n\n JsonObject bulkImportObject = new Gson().fromJson(bulkImportResult, JsonObject.class);\n String jobId = bulkImportObject.getAsJsonObject(\"data\").get(\"jobId\").getAsString();\n System.out.println(\"Create a bulkInert task, job id: \" + jobId);\n return jobId;\n}\n\npublic static void main(String[] args) throws Exception {\n List> batchFiles = uploadData();\n String jobId = bulkImport(batchFiles);\n}\n","export MILVUS_URI=\"localhost:19530\"\n\ncurl --request POST \"http://${MILVUS_URI}/v2/vectordb/jobs/import/create\" \\\n--header \"Content-Type: application/json\" \\\n--data-raw '{\n \"files\": [\n [\n \"/8ca44f28-47f7-40ba-9604-98918afe26d1/1.parquet\"\n ],\n [\n \"/8ca44f28-47f7-40ba-9604-98918afe26d1/2.parquet\"\n ]\n ],\n \"collectionName\": \"quick_setup\"\n}'\n","[\n \"/d1782fa1-6b65-4ff3-b05a-43a436342445/1.json\"\n],\n","[\n \"/a6fb2d1c-7b1b-427c-a8a3-178944e3b66d/1.parquet\"\n]\n\n","{\n \"code\": 200,\n \"data\": {\n \"jobId\": \"448707763884413158\"\n }\n}\n","import json\nfrom pymilvus.bulk_writer import get_import_progress\n\nurl = f\"http://127.0.0.1:19530\"\n\n# Get bulk-insert job progress\nresp = get_import_progress(\n url=url,\n job_id=\"453265736269038336\",\n)\n\nprint(json.dumps(resp.json(), indent=4))\n","private static void getImportProgress(String jobId) {\n while (true) {\n System.out.println(\"Wait 5 second to check bulkInsert job state...\");\n try {\n TimeUnit.SECONDS.sleep(5);\n } catch (InterruptedException e) {\n break;\n }\n\n MilvusDescribeImportRequest request = MilvusDescribeImportRequest.builder()\n .jobId(jobId)\n .build();\n String getImportProgressResult = BulkImport.getImportProgress(\"http://localhost:19530\", request);\n\n JsonObject getImportProgressObject = new Gson().fromJson(getImportProgressResult, JsonObject.class);\n String state = getImportProgressObject.getAsJsonObject(\"data\").get(\"state\").getAsString();\n String progress = getImportProgressObject.getAsJsonObject(\"data\").get(\"progress\").getAsString();\n if (\"Failed\".equals(state)) {\n String reason = getImportProgressObject.getAsJsonObject(\"data\").get(\"reason\").getAsString();\n System.out.printf(\"The job %s failed, reason: %s%n\", jobId, reason);\n break;\n } else if (\"Completed\".equals(state)) {\n System.out.printf(\"The job %s completed%n\", jobId);\n break;\n } else {\n System.out.printf(\"The job %s is running, state:%s progress:%s%n\", jobId, state, progress);\n }\n }\n}\n\npublic static void main(String[] args) throws Exception {\n List> batchFiles = uploadData();\n String jobId = bulkImport(batchFiles);\n getImportProgress(jobId);\n}\n","export MILVUS_URI=\"localhost:19530\"\n\ncurl --request POST \"http://${MILVUS_URI}/v2/vectordb/jobs/import/describe\" \\\n--header \"Content-Type: application/json\" \\\n--data-raw '{\n \"jobId\": \"449839014328146739\"\n}'\n","{\n \"code\": 200,\n \"data\": {\n \"collectionName\": \"quick_setup\",\n \"completeTime\": \"2024-05-18T02:57:13Z\",\n \"details\": [\n {\n \"completeTime\": \"2024-05-18T02:57:11Z\",\n \"fileName\": \"id:449839014328146740 paths:\\\"/8ca44f28-47f7-40ba-9604-98918afe26d1/1.parquet\\\" \",\n \"fileSize\": 31567874,\n \"importedRows\": 100000,\n \"progress\": 100,\n \"state\": \"Completed\",\n \"totalRows\": 100000\n },\n {\n \"completeTime\": \"2024-05-18T02:57:11Z\",\n \"fileName\": \"id:449839014328146741 paths:\\\"/8ca44f28-47f7-40ba-9604-98918afe26d1/2.parquet\\\" \",\n \"fileSize\": 31517224,\n \"importedRows\": 100000,\n \"progress\": 100,\n \"state\": \"Completed\",\n \"totalRows\": 200000 \n }\n ],\n \"fileSize\": 63085098,\n \"importedRows\": 200000,\n \"jobId\": \"449839014328146739\",\n \"progress\": 100,\n \"state\": \"Completed\",\n \"totalRows\": 200000\n }\n}\n","import json\nfrom pymilvus.bulk_writer import list_import_jobs\n\nurl = f\"http://127.0.0.1:19530\"\n\n# List bulk-insert jobs\nresp = list_import_jobs(\n url=url,\n collection_name=\"quick_setup\",\n)\n\nprint(json.dumps(resp.json(), indent=4))\n","private static void listImportJobs() {\n MilvusListImportJobsRequest listImportJobsRequest = MilvusListImportJobsRequest.builder().collectionName(\"quick_setup\").build();\n String listImportJobsResult = BulkImport.listImportJobs(\"http://localhost:19530\", listImportJobsRequest);\n System.out.println(listImportJobsResult);\n}\n\npublic static void main(String[] args) throws Exception {\n listImportJobs();\n}\n","export MILVUS_URI=\"localhost:19530\"\n\ncurl --request POST \"http://${MILVUS_URI}/v2/vectordb/jobs/import/list\" \\\n--header \"Content-Type: application/json\" \\\n--data-raw '{\n \"collectionName\": \"quick_setup\"\n}'\n","{\n \"code\": 200,\n \"data\": {\n \"records\": [\n {\n \"collectionName\": \"quick_setup\",\n \"jobId\": \"448761313698322011\",\n \"progress\": 50,\n \"state\": \"Importing\"\n }\n ]\n }\n}\n"],"headingContent":"Import data","anchorList":[{"label":"Daten importieren","href":"Import-data","type":1,"isActive":false},{"label":"Bevor Sie beginnen","href":"Before-you-start","type":2,"isActive":false},{"label":"Daten importieren","href":"Import-data","type":2,"isActive":false},{"label":"Importfortschritt prüfen","href":"Check-import-progress","type":2,"isActive":false},{"label":"Importaufträge auflisten","href":"List-Import-Jobs","type":2,"isActive":false},{"label":"Beschränkungen","href":"Limitations","type":2,"isActive":false},{"label":"Constraints","href":"Constraints","type":2,"isActive":false},{"label":"Empfehlungen","href":"Recommendations","type":2,"isActive":false}]} \ No newline at end of file diff --git a/localization/v2.4.x/site/de/userGuide/data-import/import-data.md b/localization/v2.4.x/site/de/userGuide/data-import/import-data.md index 0db62fe14..4ec42bf59 100644 --- a/localization/v2.4.x/site/de/userGuide/data-import/import-data.md +++ b/localization/v2.4.x/site/de/userGuide/data-import/import-data.md @@ -48,79 +48,6 @@ summary: >-

                                                                                                                    Das folgende Codeschnipsel erstellt eine einfache Sammlung mit dem angegebenen Schema. Weitere Informationen zu den Parametern finden Sie unter createCollection() in der SDK-Referenz.

                                                                                                                    - -
                                                                                                                    client = MilvusClient("http://localhost:19530")
                                                                                                                    -
                                                                                                                    -schema = MilvusClient.create_schema(
                                                                                                                    -    auto_id=False,
                                                                                                                    -    enable_dynamic_field=True
                                                                                                                    -)
                                                                                                                    -
                                                                                                                    -schema.add_field(field_name="id", datatype=DataType.INT64, is_primary=True)
                                                                                                                    -schema.add_field(field_name="vector", datatype=DataType.FLOAT_VECTOR, dim=768)
                                                                                                                    -schema.add_field(field_name="scalar_1", datatype=DataType.VARCHAR, max_length=512)
                                                                                                                    -schema.add_field(field_name="scalar_2", datatype=DataType.INT64)
                                                                                                                    -
                                                                                                                    -client.create_collection(
                                                                                                                    -    collection_name="quick_setup",
                                                                                                                    -    schema=schema
                                                                                                                    -)
                                                                                                                    -
                                                                                                                    -
                                                                                                                    import io.milvus.client.MilvusServiceClient;
                                                                                                                    -import io.milvus.param.ConnectParam;
                                                                                                                    -import io.milvus.grpc.DataType;
                                                                                                                    -import io.milvus.param.collection.CollectionSchemaParam;
                                                                                                                    -import io.milvus.param.collection.CollectionSchemaParam;
                                                                                                                    -import io.milvus.param.collection.FieldType;
                                                                                                                    -
                                                                                                                    -final MilvusServiceClient milvusClient = new MilvusServiceClient(
                                                                                                                    -ConnectParam.newBuilder()
                                                                                                                    -    .withUri("localhost:19530")
                                                                                                                    -    .withToken("root:Milvus")
                                                                                                                    -    .build()
                                                                                                                    -);
                                                                                                                    -
                                                                                                                    -// Define schema for the target collection
                                                                                                                    -FieldType id = FieldType.newBuilder()
                                                                                                                    -    .withName("id")
                                                                                                                    -    .withDataType(DataType.Int64)
                                                                                                                    -    .withPrimaryKey(true)
                                                                                                                    -    .withAutoID(false)
                                                                                                                    -    .build();
                                                                                                                    -
                                                                                                                    -FieldType vector = FieldType.newBuilder()
                                                                                                                    -    .withName("vector")
                                                                                                                    -    .withDataType(DataType.FloatVector)
                                                                                                                    -    .withDimension(768)
                                                                                                                    -    .build();
                                                                                                                    -
                                                                                                                    -FieldType scalar1 = FieldType.newBuilder()
                                                                                                                    -    .withName("scalar_1")
                                                                                                                    -    .withDataType(DataType.VarChar)
                                                                                                                    -    .withMaxLength(512)
                                                                                                                    -    .build();
                                                                                                                    -
                                                                                                                    -FieldType scalar2 = FieldType.newBuilder()
                                                                                                                    -    .withName("scalar_2")
                                                                                                                    -    .withDataType(DataType.Int64)
                                                                                                                    -    .build();
                                                                                                                    -
                                                                                                                    -CollectionSchemaParam schema = CollectionSchemaParam.newBuilder()
                                                                                                                    -    .withEnableDynamicField(true)
                                                                                                                    -    .addFieldType(id)
                                                                                                                    -    .addFieldType(vector)
                                                                                                                    -    .addFieldType(scalar1)
                                                                                                                    -    .addFieldType(scalar2)
                                                                                                                    -    .build();
                                                                                                                    -
                                                                                                                    -// Create a collection with the given schema
                                                                                                                    -milvusClient.createCollection(CreateCollectionParam.newBuilder()
                                                                                                                    -    .withCollectionName("quick_setup")
                                                                                                                    -    .withSchema(schema)
                                                                                                                    -    .build()
                                                                                                                    -);
                                                                                                                    -

                                                                                                                    Daten importieren

                                                                                                                    Um die vorbereiteten Daten zu importieren, müssen Sie einen Importauftrag wie folgt erstellen:

                                                                                                                    -
                                                                                                                    export MILVUS_URI="localhost:19530"
                                                                                                                    +
                                                                                                                    +
                                                                                                                    from pymilvus.bulk_writer import bulk_import
                                                                                                                    +
                                                                                                                    +url = f"http://127.0.0.1:19530"
                                                                                                                    +
                                                                                                                    +# Bulk-insert data from a set of JSON files already uploaded to the MinIO server
                                                                                                                    +resp = bulk_import(
                                                                                                                    +    url=url,
                                                                                                                    +    collection_name="quick_setup",
                                                                                                                    +    files=[['a1e18323-a658-4d1b-95a7-9907a4391bcf/1.parquet'],
                                                                                                                    +           ['a1e18323-a658-4d1b-95a7-9907a4391bcf/2.parquet'],
                                                                                                                    +           ['a1e18323-a658-4d1b-95a7-9907a4391bcf/3.parquet'],
                                                                                                                    +           ['a1e18323-a658-4d1b-95a7-9907a4391bcf/4.parquet'],
                                                                                                                    +           ['a1e18323-a658-4d1b-95a7-9907a4391bcf/5.parquet'],
                                                                                                                    +           ['a1e18323-a658-4d1b-95a7-9907a4391bcf/6.parquet'],
                                                                                                                    +           ['a1e18323-a658-4d1b-95a7-9907a4391bcf/7.parquet'],
                                                                                                                    +           ['a1e18323-a658-4d1b-95a7-9907a4391bcf/8.parquet'],
                                                                                                                    +           ['a1e18323-a658-4d1b-95a7-9907a4391bcf/9.parquet'],
                                                                                                                    +           ['a1e18323-a658-4d1b-95a7-9907a4391bcf/10.parquet']],
                                                                                                                    +)
                                                                                                                    +
                                                                                                                    +job_id = resp.json()['data']['jobId']
                                                                                                                    +print(job_id)
                                                                                                                    +
                                                                                                                    +
                                                                                                                    private static String bulkImport(List<List<String>> batchFiles) throws InterruptedException {
                                                                                                                    +    MilvusImportRequest milvusImportRequest = MilvusImportRequest.builder()
                                                                                                                    +            .collectionName("quick_setup")
                                                                                                                    +            .files(batchFiles)
                                                                                                                    +            .build();
                                                                                                                    +    String bulkImportResult = BulkImport.bulkImport("http://localhost:19530", milvusImportRequest);
                                                                                                                    +    System.out.println(bulkImportResult);
                                                                                                                    +
                                                                                                                    +    JsonObject bulkImportObject = new Gson().fromJson(bulkImportResult, JsonObject.class);
                                                                                                                    +    String jobId = bulkImportObject.getAsJsonObject("data").get("jobId").getAsString();
                                                                                                                    +    System.out.println("Create a bulkInert task, job id: " + jobId);
                                                                                                                    +    return jobId;
                                                                                                                    +}
                                                                                                                    +
                                                                                                                    +public static void main(String[] args) throws Exception {
                                                                                                                    +    List<List<String>> batchFiles = uploadData();
                                                                                                                    +    String jobId = bulkImport(batchFiles);
                                                                                                                    +}
                                                                                                                    +
                                                                                                                    +
                                                                                                                    export MILVUS_URI="localhost:19530"
                                                                                                                     
                                                                                                                     curl --request POST "http://${MILVUS_URI}/v2/vectordb/jobs/import/create" \
                                                                                                                     --header "Content-Type: application/json" \
                                                                                                                    @@ -176,7 +147,7 @@ curl --request POST "http://{
                                                                                                                    +
                                                                                                                    {
                                                                                                                         "code": 200,
                                                                                                                         "data": {
                                                                                                                             "jobId": "448707763884413158"
                                                                                                                    @@ -199,9 +170,60 @@ curl --request POST "http://export MILVUS_URI="localhost:19530"
                                                                                                                    +
                                                                                                                    +
                                                                                                                    import json
                                                                                                                    +from pymilvus.bulk_writer import get_import_progress
                                                                                                                    +
                                                                                                                    +url = f"http://127.0.0.1:19530"
                                                                                                                    +
                                                                                                                    +# Get bulk-insert job progress
                                                                                                                    +resp = get_import_progress(
                                                                                                                    +    url=url,
                                                                                                                    +    job_id="453265736269038336",
                                                                                                                    +)
                                                                                                                    +
                                                                                                                    +print(json.dumps(resp.json(), indent=4))
                                                                                                                    +
                                                                                                                    +
                                                                                                                    private static void getImportProgress(String jobId) {
                                                                                                                    +    while (true) {
                                                                                                                    +        System.out.println("Wait 5 second to check bulkInsert job state...");
                                                                                                                    +        try {
                                                                                                                    +            TimeUnit.SECONDS.sleep(5);
                                                                                                                    +        } catch (InterruptedException e) {
                                                                                                                    +            break;
                                                                                                                    +        }
                                                                                                                    +
                                                                                                                    +        MilvusDescribeImportRequest request = MilvusDescribeImportRequest.builder()
                                                                                                                    +                .jobId(jobId)
                                                                                                                    +                .build();
                                                                                                                    +        String getImportProgressResult = BulkImport.getImportProgress("http://localhost:19530", request);
                                                                                                                     
                                                                                                                    -curl --request POST "http://${MILVUS_URI}/v2/vectordb/jobs/import/get_progress" \
                                                                                                                    +        JsonObject getImportProgressObject = new Gson().fromJson(getImportProgressResult, JsonObject.class);
                                                                                                                    +        String state = getImportProgressObject.getAsJsonObject("data").get("state").getAsString();
                                                                                                                    +        String progress = getImportProgressObject.getAsJsonObject("data").get("progress").getAsString();
                                                                                                                    +        if ("Failed".equals(state)) {
                                                                                                                    +            String reason = getImportProgressObject.getAsJsonObject("data").get("reason").getAsString();
                                                                                                                    +            System.out.printf("The job %s failed, reason: %s%n", jobId, reason);
                                                                                                                    +            break;
                                                                                                                    +        } else if ("Completed".equals(state)) {
                                                                                                                    +            System.out.printf("The job %s completed%n", jobId);
                                                                                                                    +            break;
                                                                                                                    +        } else {
                                                                                                                    +            System.out.printf("The job %s is running, state:%s progress:%s%n", jobId, state, progress);
                                                                                                                    +        }
                                                                                                                    +    }
                                                                                                                    +}
                                                                                                                    +
                                                                                                                    +public static void main(String[] args) throws Exception {
                                                                                                                    +    List<List<String>> batchFiles = uploadData();
                                                                                                                    +    String jobId = bulkImport(batchFiles);
                                                                                                                    +    getImportProgress(jobId);
                                                                                                                    +}
                                                                                                                    +
                                                                                                                    +
                                                                                                                    export MILVUS_URI="localhost:19530"
                                                                                                                    +
                                                                                                                    +curl --request POST "http://${MILVUS_URI}/v2/vectordb/jobs/import/describe" \
                                                                                                                     --header "Content-Type: application/json" \
                                                                                                                     --data-raw '{
                                                                                                                         "jobId": "449839014328146739"
                                                                                                                    @@ -258,7 +280,32 @@ curl --request POST "http://export MILVUS_URI="localhost:19530"
                                                                                                                    +
                                                                                                                    +
                                                                                                                    import json
                                                                                                                    +from pymilvus.bulk_writer import list_import_jobs
                                                                                                                    +
                                                                                                                    +url = f"http://127.0.0.1:19530"
                                                                                                                    +
                                                                                                                    +# List bulk-insert jobs
                                                                                                                    +resp = list_import_jobs(
                                                                                                                    +    url=url,
                                                                                                                    +    collection_name="quick_setup",
                                                                                                                    +)
                                                                                                                    +
                                                                                                                    +print(json.dumps(resp.json(), indent=4))
                                                                                                                    +
                                                                                                                    +
                                                                                                                    private static void listImportJobs() {
                                                                                                                    +    MilvusListImportJobsRequest listImportJobsRequest = MilvusListImportJobsRequest.builder().collectionName("quick_setup").build();
                                                                                                                    +    String listImportJobsResult = BulkImport.listImportJobs("http://localhost:19530", listImportJobsRequest);
                                                                                                                    +    System.out.println(listImportJobsResult);
                                                                                                                    +}
                                                                                                                    +
                                                                                                                    +public static void main(String[] args) throws Exception {
                                                                                                                    +    listImportJobs();
                                                                                                                    +}
                                                                                                                    +
                                                                                                                    +
                                                                                                                    export MILVUS_URI="localhost:19530"
                                                                                                                     
                                                                                                                     curl --request POST "http://${MILVUS_URI}/v2/vectordb/jobs/import/list" \
                                                                                                                     --header "Content-Type: application/json" \
                                                                                                                    @@ -267,7 +314,7 @@ curl --request POST "http://

                                                                                                                    Die möglichen Werte sind wie folgt:

                                                                                                                    -
                                                                                                                    {
                                                                                                                    +
                                                                                                                    {
                                                                                                                         "code": 200,
                                                                                                                         "data": {
                                                                                                                             "records": [
                                                                                                                    @@ -281,3 +328,76 @@ curl --request POST "http://
                                                                                                                    +

                                                                                                                    Beschränkungen

                                                                                                                      +
                                                                                                                    • Die Größe jeder Importdatei sollte 16 GB nicht überschreiten.

                                                                                                                    • +
                                                                                                                    • Die maximale Anzahl der Importaufträge ist auf 1024 begrenzt.

                                                                                                                    • +
                                                                                                                    • Die maximale Anzahl von Dateien pro Importauftrag sollte 1024 nicht überschreiten.

                                                                                                                    • +
                                                                                                                    • In einem Importauftrag kann nur ein Partitionsname angegeben werden. Wenn kein Partitionsname angegeben wird, werden die Daten in die Standardpartition eingefügt. Außerdem können Sie keinen Partitionsnamen im Importauftrag angeben, wenn Sie den Partitionsschlüssel in der Zielsammlung festgelegt haben.

                                                                                                                    • +
                                                                                                                    +

                                                                                                                    Constraints

                                                                                                                    Bevor Sie Daten importieren, vergewissern Sie sich, dass Sie die Beschränkungen in Bezug auf die folgenden Milvus-Verhaltensweisen zur Kenntnis genommen haben:

                                                                                                                    +
                                                                                                                      +
                                                                                                                    • Einschränkungen bezüglich des Ladeverhaltens:

                                                                                                                      +
                                                                                                                        +
                                                                                                                      • Wenn eine Sammlung bereits vor dem Import geladen wurde, können Sie die Funktion refresh_load verwenden, um die neu importierten Daten nach Abschluss des Imports zu laden.
                                                                                                                      • +
                                                                                                                    • +
                                                                                                                    • Einschränkungen bezüglich des Abfrage- und Suchverhaltens:

                                                                                                                      +
                                                                                                                        +
                                                                                                                      • Bevor der Importauftrag den Status Abgeschlossen hat, sind die neu importierten Daten für Abfragen und Suchen garantiert unsichtbar.

                                                                                                                      • +
                                                                                                                      • Sobald der Auftragsstatus Abgeschlossen ist,

                                                                                                                        +
                                                                                                                          +
                                                                                                                        • Wenn die Sammlung nicht geladen ist, können Sie die Funktion load verwenden, um die neu importierten Daten zu laden.

                                                                                                                        • +
                                                                                                                        • Wenn die Sammlung bereits geladen ist, können Sie load(is_refresh=True) aufrufen, um die importierten Daten zu laden.

                                                                                                                        • +
                                                                                                                      • +
                                                                                                                    • +
                                                                                                                    • Einschränkungen bezüglich des Löschverhaltens:

                                                                                                                      +
                                                                                                                        +
                                                                                                                      • Bevor der Status des Importauftrags " Completed" lautet, ist das Löschen nicht garantiert und kann erfolgreich sein oder nicht.

                                                                                                                      • +
                                                                                                                      • Das Löschen nach Abschluss des Auftragsstatus ist garantiert erfolgreich.

                                                                                                                      • +
                                                                                                                    • +
                                                                                                                    +

                                                                                                                    Empfehlungen

                                                                                                                    Wir empfehlen dringend, die Funktion für den Import mehrerer Dateien zu verwenden, mit der Sie mehrere Dateien in einer einzigen Anfrage hochladen können. Diese Methode vereinfacht nicht nur den Importprozess, sondern steigert auch die Importleistung erheblich. Indem Sie Ihre Uploads konsolidieren, können Sie den Zeitaufwand für die Datenverwaltung verringern und Ihren Arbeitsablauf effizienter gestalten.

                                                                                                                    diff --git a/localization/v2.4.x/site/de/userGuide/data-import/prepare-source-data.json b/localization/v2.4.x/site/de/userGuide/data-import/prepare-source-data.json index e12109fd6..a5e082785 100644 --- a/localization/v2.4.x/site/de/userGuide/data-import/prepare-source-data.json +++ b/localization/v2.4.x/site/de/userGuide/data-import/prepare-source-data.json @@ -1 +1 @@ -{"codeList":["from pymilvus import MilvusClient, DataType\n\n# You need to work out a collection schema out of your dataset.\nschema = MilvusClient.create_schema(\n auto_id=False,\n enable_dynamic_field=True\n)\n\nschema.add_field(field_name=\"id\", datatype=DataType.INT64, is_primary=True)\nschema.add_field(field_name=\"vector\", datatype=DataType.FLOAT_VECTOR, dim=768)\nschema.add_field(field_name=\"scalar_1\", datatype=DataType.VARCHAR, max_length=512)\nschema.add_field(field_name=\"scalar_2\", datatype=DataType.INT64)\n\nschema.verify()\n","import io.milvus.grpc.DataType;\nimport io.milvus.param.collection.CollectionSchemaParam;\nimport io.milvus.param.collection.FieldType;\n\n// Define schema for the target collection\nFieldType id = FieldType.newBuilder()\n .withName(\"id\")\n .withDataType(DataType.Int64)\n .withPrimaryKey(true)\n .withAutoID(false)\n .build();\n\nFieldType vector = FieldType.newBuilder()\n .withName(\"vector\")\n .withDataType(DataType.FloatVector)\n .withDimension(768)\n .build();\n\nFieldType scalar1 = FieldType.newBuilder()\n .withName(\"scalar_1\")\n .withDataType(DataType.VarChar)\n .withMaxLength(512)\n .build();\n\nFieldType scalar2 = FieldType.newBuilder()\n .withName(\"scalar_2\")\n .withDataType(DataType.Int64)\n .build();\n\nCollectionSchemaParam schema = CollectionSchemaParam.newBuilder()\n .withEnableDynamicField(true)\n .addFieldType(id)\n .addFieldType(vector)\n .addFieldType(scalar1)\n .addFieldType(scalar2)\n .build();\n","from pymilvus.bulk_writer import LocalBulkWriter, BulkFileType\n# Use `from pymilvus import LocalBulkWriter, BulkFileType` \n# when you use pymilvus earlier than 2.4.2 \n\nwriter = LocalBulkWriter(\n schema=schema,\n local_path='.',\n segment_size=512 * 1024 * 1024, # Default value\n file_type=BulkFileType.PARQUET\n)\n","import io.milvus.bulkwriter.LocalBulkWriter;\nimport io.milvus.bulkwriter.LocalBulkWriterParam;\nimport io.milvus.bulkwriter.common.clientenum.BulkFileType;\n\nLocalBulkWriterParam localBulkWriterParam = LocalBulkWriterParam.newBuilder()\n .withCollectionSchema(schema)\n .withLocalPath(\".\")\n .withChunkSize(512 * 1024 * 1024)\n .withFileType(BulkFileType.PARQUET)\n .build();\n\nLocalBulkWriter localBulkWriter = new LocalBulkWriter(localBulkWriterParam);\n","from pymilvus.bulk_writer import RemoteBulkWriter\n# Use `from pymilvus import RemoteBulkWriter` \n# when you use pymilvus earlier than 2.4.2 \n\n# Third-party constants\nACCESS_KEY=\"minioadmin\"\nSECRET_KEY=\"minioadmin\"\nBUCKET_NAME=\"milvus-bucket\"\n\n# Connections parameters to access the remote bucket\nconn = RemoteBulkWriter.S3ConnectParam(\n endpoint=\"localhost:9000\", # the default MinIO service started along with Milvus\n access_key=ACCESS_KEY,\n secret_key=SECRET_KEY,\n bucket_name=BUCKET_NAME,\n secure=False\n)\n","import io.milvus.bulkwriter.common.clientenum.BulkFileType;\nimport io.milvus.bulkwriter.connect.S3ConnectParam;\nimport io.milvus.bulkwriter.connect.StorageConnectParam;\n\nString ACCESS_KEY = \"minioadmin\";\nString SECRET_KEY = \"minioadmin\";\nString BUCKET_NAME = \"milvus-bucket\";\n\nStorageConnectParam storageConnectParam = S3ConnectParam.newBuilder()\n .withEndpoint(MINIO_URI)\n .withAccessKey(ACCESS_KEY)\n .withSecretKey(SECRET_KEY)\n .withBucketName(BUCKET_NAME)\n .build();\n","from pymilvus.bulk_writer import BulkFileType\n# Use `from pymilvus import BulkFileType` \n# when you use pymilvus earlier than 2.4.2 \n\nwriter = RemoteBulkWriter(\n schema=schema,\n remote_path=\"/\",\n connect_param=conn,\n file_type=BulkFileType.PARQUET\n)\n","import io.milvus.bulkwriter.RemoteBulkWriter;\nimport io.milvus.bulkwriter.RemoteBulkWriterParam;\n\nRemoteBulkWriterParam remoteBulkWriterParam = RemoteBulkWriterParam.newBuilder()\n .withCollectionSchema(schema)\n .withConnectParam(storageConnectParam)\n .withChunkSize(512 * 1024 * 1024)\n .withRemotePath(\"/\")\n .withFileType(BulkFileType.PARQUET)\n .build();\n\nRemoteBulkWriter remoteBulkWriter = new RemoteBulkWriter(remoteBulkWriterParam);\n","import random\nimport string\n\ndef generate_random_str(length=5):\n letters = string.ascii_uppercase\n digits = string.digits\n \n return ''.join(random.choices(letters + digits, k=length))\n\nfor i in range(10000):\n writer.append_row({\n \"id\": i, \n \"vector\": [random.uniform(-1, 1) for _ in range(768)],\n \"scalar_1\": generate_random_str(random.randint(1, 20)),\n \"scalar_2\": random.randint(0, 100)\n })\n \nwriter.commit()\n","import com.alibaba.fastjson.JSONObject;\n\nfor (int i = 0; i < 10000; i++) {\n JSONObject json = new JSONObject();\n json.put(\"id\", i);\n json.put(\"vector\", get_random_vector(768));\n json.put(\"scalar_1\", get_random_string(20));\n json.put(\"scalar_2\", (long) (Math.random() * 100));\n\n // localBulkWriter.appendRow(json);\n remoteBulkWriter.appendRow(json);\n}\n\n// localBulkWriter.commit(false);\nremoteBulkWriter.commit(false);\n","import random\nimport string\n\ndef generate_random_string(length=5):\n letters = string.ascii_uppercase\n digits = string.digits\n \n return ''.join(random.choices(letters + digits, k=length))\n\nfor i in range(10000):\n writer.append_row({\n \"id\": i, \n \"vector\":[random.uniform(-1, 1) for _ in range(768)],\n \"scalar_1\": generate_random_string(),\n \"scalar_2\": random.randint(0, 100),\n \"dynamic_field_1\": random.choice([True, False]),\n \"dynamic_field_2\": random.randint(0, 100)\n })\n \nwriter.commit()\n","for (int i = 0; i < 10000; i++) {\n JSONObject json = new JSONObject();\n json.put(\"id\", i);\n json.put(\"vector\", get_random_vector(768));\n json.put(\"scalar_1\", get_random_string(20));\n json.put(\"scalar_2\", (long) (Math.random() * 100));\n json.put(\"dynamic_field_1\", get_random_boolean());\n json.put(\"dynamic_field_2\", (long) (Math.random() * 100));\n\n // localBulkWriter.appendRow(json);\n remoteBulkWriter.appendRow(json);\n}\n\n// localBulkWriter.commit(false);\nremoteBulkWriter.commit(false);\n","print(writer.batch_files)\n\n# [['d4220a9e-45be-4ccb-8cb5-bf09304b9f23/1.parquet'],\n# ['d4220a9e-45be-4ccb-8cb5-bf09304b9f23/2.parquet']]\n","// localBulkWriter.getBatchFiles();\nremoteBulkWriter.getBatchFiles();\n\n// \n\n// Close the BulkWriter\ntry {\n localBulkWriter.close();\n remoteBulkWriter.close(); \n} catch (Exception e) {\n // TODO: handle exception\n e.printStackTrace();\n}\n","# JSON\n├── folder\n│ └── 45ae1139-1d87-4aff-85f5-0039111f9e6b\n│ └── 1.json \n\n# Parquet\n├── folder\n│ └── 45ae1139-1d87-4aff-85f5-0039111f9e6b\n│ └── 1.parquet \n"],"headingContent":"","anchorList":[{"label":"Quelldaten vorbereiten","href":"Prepare-Source-Data","type":1,"isActive":false},{"label":"Bevor Sie beginnen","href":"Before-you-start","type":2,"isActive":false},{"label":"BulkWriter einrichten","href":"Set-up-BulkWriter","type":2,"isActive":false},{"label":"Schreiben starten","href":"Start-writing","type":2,"isActive":false},{"label":"Überprüfen der Ergebnisse","href":"Verify-the-results","type":2,"isActive":false}]} \ No newline at end of file +{"codeList":["from pymilvus import MilvusClient, DataType\n\n# You need to work out a collection schema out of your dataset.\nschema = MilvusClient.create_schema(\n auto_id=False,\n enable_dynamic_field=True\n)\n\nDIM = 512\n\nschema.add_field(field_name=\"id\", datatype=DataType.INT64, is_primary=True),\nschema.add_field(field_name=\"bool\", datatype=DataType.BOOL),\nschema.add_field(field_name=\"int8\", datatype=DataType.INT8),\nschema.add_field(field_name=\"int16\", datatype=DataType.INT16),\nschema.add_field(field_name=\"int32\", datatype=DataType.INT32),\nschema.add_field(field_name=\"int64\", datatype=DataType.INT64),\nschema.add_field(field_name=\"float\", datatype=DataType.FLOAT),\nschema.add_field(field_name=\"double\", datatype=DataType.DOUBLE),\nschema.add_field(field_name=\"varchar\", datatype=DataType.VARCHAR, max_length=512),\nschema.add_field(field_name=\"json\", datatype=DataType.JSON),\nschema.add_field(field_name=\"array_str\", datatype=DataType.ARRAY, max_capacity=100, element_type=DataType.VARCHAR, max_length=128)\nschema.add_field(field_name=\"array_int\", datatype=DataType.ARRAY, max_capacity=100, element_type=DataType.INT64)\nschema.add_field(field_name=\"float_vector\", datatype=DataType.FLOAT_VECTOR, dim=DIM),\nschema.add_field(field_name=\"binary_vector\", datatype=DataType.BINARY_VECTOR, dim=DIM),\nschema.add_field(field_name=\"float16_vector\", datatype=DataType.FLOAT16_VECTOR, dim=DIM),\n# schema.add_field(field_name=\"bfloat16_vector\", datatype=DataType.BFLOAT16_VECTOR, dim=DIM),\nschema.add_field(field_name=\"sparse_vector\", datatype=DataType.SPARSE_FLOAT_VECTOR)\n\nschema.verify()\n\nprint(schema)\n","import com.google.gson.Gson;\nimport com.google.gson.JsonObject;\nimport io.milvus.bulkwriter.BulkImport;\nimport io.milvus.bulkwriter.RemoteBulkWriter;\nimport io.milvus.bulkwriter.RemoteBulkWriterParam;\nimport io.milvus.bulkwriter.common.clientenum.BulkFileType;\nimport io.milvus.bulkwriter.common.clientenum.CloudStorage;\nimport io.milvus.bulkwriter.connect.S3ConnectParam;\nimport io.milvus.bulkwriter.connect.StorageConnectParam;\nimport io.milvus.bulkwriter.request.describe.MilvusDescribeImportRequest;\nimport io.milvus.bulkwriter.request.import_.MilvusImportRequest;\nimport io.milvus.bulkwriter.request.list.MilvusListImportJobsRequest;\nimport io.milvus.common.utils.Float16Utils;\nimport io.milvus.v2.client.ConnectConfig;\nimport io.milvus.v2.client.MilvusClientV2;\nimport io.milvus.v2.common.DataType;\nimport io.milvus.v2.service.collection.request.*;\n\nimport java.io.IOException;\nimport java.nio.ByteBuffer;\nimport java.util.*;\nimport java.util.concurrent.TimeUnit;\n\nprivate static final String MINIO_ENDPOINT = CloudStorage.MINIO.getEndpoint(\"http://127.0.0.1:9000\");\nprivate static final String BUCKET_NAME = \"a-bucket\";\nprivate static final String ACCESS_KEY = \"minioadmin\";\nprivate static final String SECRET_KEY = \"minioadmin\";\n\nprivate static final Integer DIM = 512;\nprivate static final Gson GSON_INSTANCE = new Gson();\n\nprivate static CreateCollectionReq.CollectionSchema createSchema() {\n CreateCollectionReq.CollectionSchema schema = CreateCollectionReq.CollectionSchema.builder()\n .enableDynamicField(true)\n .build();\n schema.addField(AddFieldReq.builder()\n .fieldName(\"id\")\n .dataType(io.milvus.v2.common.DataType.Int64)\n .isPrimaryKey(Boolean.TRUE)\n .autoID(false)\n .build());\n schema.addField(AddFieldReq.builder()\n .fieldName(\"bool\")\n .dataType(DataType.Bool)\n .build());\n schema.addField(AddFieldReq.builder()\n .fieldName(\"int8\")\n .dataType(DataType.Int8)\n .build());\n schema.addField(AddFieldReq.builder()\n .fieldName(\"int16\")\n .dataType(DataType.Int16)\n .build());\n schema.addField(AddFieldReq.builder()\n .fieldName(\"int32\")\n .dataType(DataType.Int32)\n .build());\n schema.addField(AddFieldReq.builder()\n .fieldName(\"int64\")\n .dataType(DataType.Int64)\n .build());\n schema.addField(AddFieldReq.builder()\n .fieldName(\"float\")\n .dataType(DataType.Float)\n .build());\n schema.addField(AddFieldReq.builder()\n .fieldName(\"double\")\n .dataType(DataType.Double)\n .build());\n schema.addField(AddFieldReq.builder()\n .fieldName(\"varchar\")\n .dataType(DataType.VarChar)\n .maxLength(512)\n .build());\n schema.addField(AddFieldReq.builder()\n .fieldName(\"json\")\n .dataType(io.milvus.v2.common.DataType.JSON)\n .build());\n schema.addField(AddFieldReq.builder()\n .fieldName(\"array_int\")\n .dataType(io.milvus.v2.common.DataType.Array)\n .maxCapacity(100)\n .elementType(io.milvus.v2.common.DataType.Int64)\n .build());\n schema.addField(AddFieldReq.builder()\n .fieldName(\"array_str\")\n .dataType(io.milvus.v2.common.DataType.Array)\n .maxCapacity(100)\n .elementType(io.milvus.v2.common.DataType.VarChar)\n .maxLength(128)\n .build());\n schema.addField(AddFieldReq.builder()\n .fieldName(\"float_vector\")\n .dataType(io.milvus.v2.common.DataType.FloatVector)\n .dimension(DIM)\n .build());\n schema.addField(AddFieldReq.builder()\n .fieldName(\"binary_vector\")\n .dataType(io.milvus.v2.common.DataType.BinaryVector)\n .dimension(DIM)\n .build());\n schema.addField(AddFieldReq.builder()\n .fieldName(\"float16_vector\")\n .dataType(io.milvus.v2.common.DataType.Float16Vector)\n .dimension(DIM)\n .build());\n schema.addField(AddFieldReq.builder()\n .fieldName(\"sparse_vector\")\n .dataType(io.milvus.v2.common.DataType.SparseFloatVector)\n .build());\n \n return schema;\n}\n","from pymilvus.bulk_writer import LocalBulkWriter, BulkFileType\n# Use `from pymilvus import LocalBulkWriter, BulkFileType` \n# when you use pymilvus earlier than 2.4.2 \n\nwriter = LocalBulkWriter(\n schema=schema,\n local_path='.',\n segment_size=512 * 1024 * 1024, # Default value\n file_type=BulkFileType.PARQUET\n)\n","import io.milvus.bulkwriter.LocalBulkWriter;\nimport io.milvus.bulkwriter.LocalBulkWriterParam;\nimport io.milvus.bulkwriter.common.clientenum.BulkFileType;\n\nLocalBulkWriterParam localBulkWriterParam = LocalBulkWriterParam.newBuilder()\n .withCollectionSchema(schema)\n .withLocalPath(\".\")\n .withChunkSize(512 * 1024 * 1024)\n .withFileType(BulkFileType.PARQUET)\n .build();\n\nLocalBulkWriter localBulkWriter = new LocalBulkWriter(localBulkWriterParam);\n","from pymilvus.bulk_writer import RemoteBulkWriter\n# Use `from pymilvus import RemoteBulkWriter` \n# when you use pymilvus earlier than 2.4.2 \n\n# Third-party constants\nACCESS_KEY=\"minioadmin\"\nSECRET_KEY=\"minioadmin\"\nBUCKET_NAME=\"a-bucket\"\n\n# Connections parameters to access the remote bucket\nconn = RemoteBulkWriter.S3ConnectParam(\n endpoint=\"localhost:9000\", # the default MinIO service started along with Milvus\n access_key=ACCESS_KEY,\n secret_key=SECRET_KEY,\n bucket_name=BUCKET_NAME,\n secure=False\n)\n\nfrom pymilvus.bulk_writer import BulkFileType\n# Use `from pymilvus import BulkFileType` \n# when you use pymilvus earlier than 2.4.2 \n\nwriter = RemoteBulkWriter(\n schema=schema,\n remote_path=\"/\",\n connect_param=conn,\n file_type=BulkFileType.PARQUET\n)\n\nprint('bulk writer created.')\n","private static RemoteBulkWriter createRemoteBulkWriter(CreateCollectionReq.CollectionSchema collectionSchema) throws IOException {\n StorageConnectParam connectParam = S3ConnectParam.newBuilder()\n .withEndpoint(MINIO_ENDPOINT)\n .withBucketName(BUCKET_NAME)\n .withAccessKey(ACCESS_KEY)\n .withSecretKey(SECRET_KEY)\n .build();\n RemoteBulkWriterParam bulkWriterParam = RemoteBulkWriterParam.newBuilder()\n .withCollectionSchema(collectionSchema)\n .withRemotePath(\"/\")\n .withConnectParam(connectParam)\n .withFileType(BulkFileType.PARQUET)\n .build();\n return new RemoteBulkWriter(bulkWriterParam);\n}\n","from pymilvus.bulk_writer import BulkFileType\n# Use `from pymilvus import BulkFileType` \n# when you use pymilvus earlier than 2.4.2 \n\nwriter = RemoteBulkWriter(\n schema=schema,\n remote_path=\"/\",\n connect_param=conn,\n file_type=BulkFileType.PARQUET\n)\n","import io.milvus.bulkwriter.RemoteBulkWriter;\nimport io.milvus.bulkwriter.RemoteBulkWriterParam;\n\nRemoteBulkWriterParam remoteBulkWriterParam = RemoteBulkWriterParam.newBuilder()\n .withCollectionSchema(schema)\n .withConnectParam(storageConnectParam)\n .withChunkSize(512 * 1024 * 1024)\n .withRemotePath(\"/\")\n .withFileType(BulkFileType.PARQUET)\n .build();\n\nRemoteBulkWriter remoteBulkWriter = new RemoteBulkWriter(remoteBulkWriterParam);\n","import random, string, json\nimport numpy as np\nimport tensorflow as tf\n\ndef generate_random_str(length=5):\n letters = string.ascii_uppercase\n digits = string.digits\n \n return ''.join(random.choices(letters + digits, k=length))\n\n# optional input for binary vector:\n# 1. list of int such as [1, 0, 1, 1, 0, 0, 1, 0]\n# 2. numpy array of uint8\ndef gen_binary_vector(to_numpy_arr):\n raw_vector = [random.randint(0, 1) for i in range(DIM)]\n if to_numpy_arr:\n return np.packbits(raw_vector, axis=-1)\n return raw_vector\n\n# optional input for float vector:\n# 1. list of float such as [0.56, 1.859, 6.55, 9.45]\n# 2. numpy array of float32\ndef gen_float_vector(to_numpy_arr):\n raw_vector = [random.random() for _ in range(DIM)]\n if to_numpy_arr:\n return np.array(raw_vector, dtype=\"float32\")\n return raw_vector\n\n# # optional input for bfloat16 vector:\n# # 1. list of float such as [0.56, 1.859, 6.55, 9.45]\n# # 2. numpy array of bfloat16\n# def gen_bf16_vector(to_numpy_arr):\n# raw_vector = [random.random() for _ in range(DIM)]\n# if to_numpy_arr:\n# return tf.cast(raw_vector, dtype=tf.bfloat16).numpy()\n# return raw_vector\n\n# optional input for float16 vector:\n# 1. list of float such as [0.56, 1.859, 6.55, 9.45]\n# 2. numpy array of float16\ndef gen_fp16_vector(to_numpy_arr):\n raw_vector = [random.random() for _ in range(DIM)]\n if to_numpy_arr:\n return np.array(raw_vector, dtype=np.float16)\n return raw_vector\n\n# optional input for sparse vector:\n# only accepts dict like {2: 13.23, 45: 0.54} or {\"indices\": [1, 2], \"values\": [0.1, 0.2]}\n# note: no need to sort the keys\ndef gen_sparse_vector(pair_dict: bool):\n raw_vector = {}\n dim = random.randint(2, 20)\n if pair_dict:\n raw_vector[\"indices\"] = [i for i in range(dim)]\n raw_vector[\"values\"] = [random.random() for _ in range(dim)]\n else:\n for i in range(dim):\n raw_vector[i] = random.random()\n return raw_vector\n\nfor i in range(10000):\n writer.append_row({\n \"id\": np.int64(i),\n \"bool\": True if i % 3 == 0 else False,\n \"int8\": np.int8(i%128),\n \"int16\": np.int16(i%1000),\n \"int32\": np.int32(i%100000),\n \"int64\": np.int64(i),\n \"float\": np.float32(i/3),\n \"double\": np.float64(i/7),\n \"varchar\": f\"varchar_{i}\",\n \"json\": json.dumps({\"dummy\": i, \"ok\": f\"name_{i}\"}),\n \"array_str\": np.array([f\"str_{k}\" for k in range(5)], np.dtype(\"str\")),\n \"array_int\": np.array([k for k in range(10)], np.dtype(\"int64\")),\n \"float_vector\": gen_float_vector(True),\n \"binary_vector\": gen_binary_vector(True),\n \"float16_vector\": gen_fp16_vector(True),\n # \"bfloat16_vector\": gen_bf16_vector(True),\n \"sparse_vector\": gen_sparse_vector(True),\n f\"dynamic_{i}\": i,\n })\n if (i+1)%1000 == 0:\n writer.commit()\n print('committed')\n\nprint(writer.batch_files)\n","private static byte[] genBinaryVector() {\n Random ran = new Random();\n int byteCount = DIM / 8;\n ByteBuffer vector = ByteBuffer.allocate(byteCount);\n for (int i = 0; i < byteCount; ++i) {\n vector.put((byte) ran.nextInt(Byte.MAX_VALUE));\n }\n return vector.array();\n}\n\nprivate static List genFloatVector() {\n Random ran = new Random();\n List vector = new ArrayList<>();\n for (int i = 0; i < DIM; ++i) {\n vector.add(ran.nextFloat());\n }\n return vector;\n}\n\nprivate static byte[] genFloat16Vector() {\n List originalVector = genFloatVector();\n return Float16Utils.f32VectorToFp16Buffer(originalVector).array();\n}\n\nprivate static SortedMap genSparseVector() {\n Random ran = new Random();\n SortedMap sparse = new TreeMap<>();\n int dim = ran.nextInt(18) + 2; // [2, 20)\n for (int i = 0; i < dim; ++i) {\n sparse.put((long)ran.nextInt(1000000), ran.nextFloat());\n }\n return sparse;\n}\n\nprivate static List genStringArray(int length) {\n List arr = new ArrayList<>();\n for (int i = 0; i < length; i++) {\n arr.add(\"str_\" + i);\n }\n return arr;\n}\n\nprivate static List genIntArray(int length) {\n List arr = new ArrayList<>();\n for (long i = 0; i < length; i++) {\n arr.add(i);\n }\n return arr;\n}\n\nprivate static RemoteBulkWriter createRemoteBulkWriter(CreateCollectionReq.CollectionSchema collectionSchema) throws IOException {\n StorageConnectParam connectParam = S3ConnectParam.newBuilder()\n .withEndpoint(MINIO_ENDPOINT)\n .withBucketName(BUCKET_NAME)\n .withAccessKey(ACCESS_KEY)\n .withSecretKey(SECRET_KEY)\n .build();\n RemoteBulkWriterParam bulkWriterParam = RemoteBulkWriterParam.newBuilder()\n .withCollectionSchema(collectionSchema)\n .withRemotePath(\"/\")\n .withConnectParam(connectParam)\n .withFileType(BulkFileType.PARQUET)\n .build();\n return new RemoteBulkWriter(bulkWriterParam);\n}\n\nprivate static List> uploadData() throws Exception {\n CreateCollectionReq.CollectionSchema collectionSchema = createSchema();\n try (RemoteBulkWriter remoteBulkWriter = createRemoteBulkWriter(collectionSchema)) {\n for (int i = 0; i < 10000; ++i) {\n JsonObject rowObject = new JsonObject();\n\n rowObject.addProperty(\"id\", i);\n rowObject.addProperty(\"bool\", i % 3 == 0);\n rowObject.addProperty(\"int8\", i % 128);\n rowObject.addProperty(\"int16\", i % 1000);\n rowObject.addProperty(\"int32\", i % 100000);\n rowObject.addProperty(\"int64\", i);\n rowObject.addProperty(\"float\", i / 3);\n rowObject.addProperty(\"double\", i / 7);\n rowObject.addProperty(\"varchar\", \"varchar_\" + i);\n rowObject.addProperty(\"json\", String.format(\"{\\\"dummy\\\": %s, \\\"ok\\\": \\\"name_%s\\\"}\", i, i));\n rowObject.add(\"array_str\", GSON_INSTANCE.toJsonTree(genStringArray(5)));\n rowObject.add(\"array_int\", GSON_INSTANCE.toJsonTree(genIntArray(10)));\n rowObject.add(\"float_vector\", GSON_INSTANCE.toJsonTree(genFloatVector()));\n rowObject.add(\"binary_vector\", GSON_INSTANCE.toJsonTree(genBinaryVector()));\n rowObject.add(\"float16_vector\", GSON_INSTANCE.toJsonTree(genFloat16Vector()));\n rowObject.add(\"sparse_vector\", GSON_INSTANCE.toJsonTree(genSparseVector()));\n rowObject.addProperty(\"dynamic\", \"dynamic_\" + i);\n\n remoteBulkWriter.appendRow(rowObject);\n\n if ((i+1)%1000 == 0) {\n remoteBulkWriter.commit(false);\n }\n }\n\n List> batchFiles = remoteBulkWriter.getBatchFiles();\n System.out.println(batchFiles);\n return batchFiles;\n } catch (Exception e) {\n throw e;\n }\n}\n\npublic static void main(String[] args) throws Exception {\n List> batchFiles = uploadData();\n}\n","print(writer.batch_files)\n\n# [['d4220a9e-45be-4ccb-8cb5-bf09304b9f23/1.parquet'],\n# ['d4220a9e-45be-4ccb-8cb5-bf09304b9f23/2.parquet']]\n","// localBulkWriter.getBatchFiles();\nremoteBulkWriter.getBatchFiles();\n\n// \n\n// Close the BulkWriter\ntry {\n localBulkWriter.close();\n remoteBulkWriter.close(); \n} catch (Exception e) {\n // TODO: handle exception\n e.printStackTrace();\n}\n","# JSON\n├── folder\n│ └── 45ae1139-1d87-4aff-85f5-0039111f9e6b\n│ └── 1.json \n\n# Parquet\n├── folder\n│ └── 45ae1139-1d87-4aff-85f5-0039111f9e6b\n│ └── 1.parquet \n"],"headingContent":"Prepare Source Data","anchorList":[{"label":"Quelldaten vorbereiten","href":"Prepare-Source-Data","type":1,"isActive":false},{"label":"Bevor Sie beginnen","href":"Before-you-start","type":2,"isActive":false},{"label":"BulkWriter einrichten","href":"Set-up-BulkWriter","type":2,"isActive":false},{"label":"Schreiben starten","href":"Start-writing","type":2,"isActive":false},{"label":"Überprüfen der Ergebnisse","href":"Verify-the-results","type":2,"isActive":false}]} \ No newline at end of file diff --git a/localization/v2.4.x/site/de/userGuide/data-import/prepare-source-data.md b/localization/v2.4.x/site/de/userGuide/data-import/prepare-source-data.md index 2d16e269f..e98b70ab2 100644 --- a/localization/v2.4.x/site/de/userGuide/data-import/prepare-source-data.md +++ b/localization/v2.4.x/site/de/userGuide/data-import/prepare-source-data.md @@ -3,8 +3,8 @@ id: prepare-source-data.md order: 0 title: Quelldaten vorbereiten summary: >- - Auf dieser Seite geht es um etwas, das Sie bedenken sollten, bevor Sie mit der - Masseneintragung von Daten in Ihre Sammlung beginnen. + Auf dieser Seite geht es um etwas, das Sie bedenken sollten, bevor Sie Daten + in großen Mengen in Ihre Sammlung einfügen. ---

                                                                                                                    Quelldaten vorbereiten

                                                                                                                    Auf dieser Seite werden einige Punkte besprochen, die Sie beachten sollten, bevor Sie mit dem Einfügen von Massendaten in Ihre Sammlung beginnen.

                                                                                                                    +

                                                                                                                    Auf dieser Seite werden einige Punkte behandelt, die Sie beachten sollten, bevor Sie mit dem Einfügen von Daten in Ihre Sammlung beginnen.

                                                                                                                    Bevor Sie beginnen

                                                                                                                    -
                                                                                                                    import io.milvus.grpc.DataType;
                                                                                                                    -import io.milvus.param.collection.CollectionSchemaParam;
                                                                                                                    -import io.milvus.param.collection.FieldType;
                                                                                                                    -
                                                                                                                    -// Define schema for the target collection
                                                                                                                    -FieldType id = FieldType.newBuilder()
                                                                                                                    -        .withName("id")
                                                                                                                    -        .withDataType(DataType.Int64)
                                                                                                                    -        .withPrimaryKey(true)
                                                                                                                    -        .withAutoID(false)
                                                                                                                    -        .build();
                                                                                                                    +
                                                                                                                    import com.google.gson.Gson;
                                                                                                                    +import com.google.gson.JsonObject;
                                                                                                                    +import io.milvus.bulkwriter.BulkImport;
                                                                                                                    +import io.milvus.bulkwriter.RemoteBulkWriter;
                                                                                                                    +import io.milvus.bulkwriter.RemoteBulkWriterParam;
                                                                                                                    +import io.milvus.bulkwriter.common.clientenum.BulkFileType;
                                                                                                                    +import io.milvus.bulkwriter.common.clientenum.CloudStorage;
                                                                                                                    +import io.milvus.bulkwriter.connect.S3ConnectParam;
                                                                                                                    +import io.milvus.bulkwriter.connect.StorageConnectParam;
                                                                                                                    +import io.milvus.bulkwriter.request.describe.MilvusDescribeImportRequest;
                                                                                                                    +import io.milvus.bulkwriter.request.import_.MilvusImportRequest;
                                                                                                                    +import io.milvus.bulkwriter.request.list.MilvusListImportJobsRequest;
                                                                                                                    +import io.milvus.common.utils.Float16Utils;
                                                                                                                    +import io.milvus.v2.client.ConnectConfig;
                                                                                                                    +import io.milvus.v2.client.MilvusClientV2;
                                                                                                                    +import io.milvus.v2.common.DataType;
                                                                                                                    +import io.milvus.v2.service.collection.request.*;
                                                                                                                     
                                                                                                                    -FieldType vector = FieldType.newBuilder()
                                                                                                                    -        .withName("vector")
                                                                                                                    -        .withDataType(DataType.FloatVector)
                                                                                                                    -        .withDimension(768)
                                                                                                                    -        .build();
                                                                                                                    +import java.io.IOException;
                                                                                                                    +import java.nio.ByteBuffer;
                                                                                                                    +import java.util.*;
                                                                                                                    +import java.util.concurrent.TimeUnit;
                                                                                                                     
                                                                                                                    -FieldType scalar1 = FieldType.newBuilder()
                                                                                                                    -        .withName("scalar_1")
                                                                                                                    -        .withDataType(DataType.VarChar)
                                                                                                                    -        .withMaxLength(512)
                                                                                                                    -        .build();
                                                                                                                    +private static final String MINIO_ENDPOINT = CloudStorage.MINIO.getEndpoint("http://127.0.0.1:9000");
                                                                                                                    +private static final String BUCKET_NAME = "a-bucket";
                                                                                                                    +private static final String ACCESS_KEY = "minioadmin";
                                                                                                                    +private static final String SECRET_KEY = "minioadmin";
                                                                                                                     
                                                                                                                    -FieldType scalar2 = FieldType.newBuilder()
                                                                                                                    -        .withName("scalar_2")
                                                                                                                    -        .withDataType(DataType.Int64)
                                                                                                                    -        .build();
                                                                                                                    +private static final Integer DIM = 512;
                                                                                                                    +private static final Gson GSON_INSTANCE = new Gson();
                                                                                                                     
                                                                                                                    -CollectionSchemaParam schema = CollectionSchemaParam.newBuilder()
                                                                                                                    -        .withEnableDynamicField(true)
                                                                                                                    -        .addFieldType(id)
                                                                                                                    -        .addFieldType(vector)
                                                                                                                    -        .addFieldType(scalar1)
                                                                                                                    -        .addFieldType(scalar2)
                                                                                                                    +private static CreateCollectionReq.CollectionSchema createSchema() {
                                                                                                                    +    CreateCollectionReq.CollectionSchema schema = CreateCollectionReq.CollectionSchema.builder()
                                                                                                                    +        .enableDynamicField(true)
                                                                                                                             .build();
                                                                                                                    +    schema.addField(AddFieldReq.builder()
                                                                                                                    +            .fieldName("id")
                                                                                                                    +            .dataType(io.milvus.v2.common.DataType.Int64)
                                                                                                                    +            .isPrimaryKey(Boolean.TRUE)
                                                                                                                    +            .autoID(false)
                                                                                                                    +            .build());
                                                                                                                    +    schema.addField(AddFieldReq.builder()
                                                                                                                    +            .fieldName("bool")
                                                                                                                    +            .dataType(DataType.Bool)
                                                                                                                    +            .build());
                                                                                                                    +    schema.addField(AddFieldReq.builder()
                                                                                                                    +            .fieldName("int8")
                                                                                                                    +            .dataType(DataType.Int8)
                                                                                                                    +            .build());
                                                                                                                    +    schema.addField(AddFieldReq.builder()
                                                                                                                    +            .fieldName("int16")
                                                                                                                    +            .dataType(DataType.Int16)
                                                                                                                    +            .build());
                                                                                                                    +    schema.addField(AddFieldReq.builder()
                                                                                                                    +            .fieldName("int32")
                                                                                                                    +            .dataType(DataType.Int32)
                                                                                                                    +            .build());
                                                                                                                    +    schema.addField(AddFieldReq.builder()
                                                                                                                    +            .fieldName("int64")
                                                                                                                    +            .dataType(DataType.Int64)
                                                                                                                    +            .build());
                                                                                                                    +    schema.addField(AddFieldReq.builder()
                                                                                                                    +            .fieldName("float")
                                                                                                                    +            .dataType(DataType.Float)
                                                                                                                    +            .build());
                                                                                                                    +    schema.addField(AddFieldReq.builder()
                                                                                                                    +            .fieldName("double")
                                                                                                                    +            .dataType(DataType.Double)
                                                                                                                    +            .build());
                                                                                                                    +    schema.addField(AddFieldReq.builder()
                                                                                                                    +            .fieldName("varchar")
                                                                                                                    +            .dataType(DataType.VarChar)
                                                                                                                    +            .maxLength(512)
                                                                                                                    +            .build());
                                                                                                                    +    schema.addField(AddFieldReq.builder()
                                                                                                                    +            .fieldName("json")
                                                                                                                    +            .dataType(io.milvus.v2.common.DataType.JSON)
                                                                                                                    +            .build());
                                                                                                                    +    schema.addField(AddFieldReq.builder()
                                                                                                                    +            .fieldName("array_int")
                                                                                                                    +            .dataType(io.milvus.v2.common.DataType.Array)
                                                                                                                    +            .maxCapacity(100)
                                                                                                                    +            .elementType(io.milvus.v2.common.DataType.Int64)
                                                                                                                    +            .build());
                                                                                                                    +    schema.addField(AddFieldReq.builder()
                                                                                                                    +            .fieldName("array_str")
                                                                                                                    +            .dataType(io.milvus.v2.common.DataType.Array)
                                                                                                                    +            .maxCapacity(100)
                                                                                                                    +            .elementType(io.milvus.v2.common.DataType.VarChar)
                                                                                                                    +            .maxLength(128)
                                                                                                                    +            .build());
                                                                                                                    +    schema.addField(AddFieldReq.builder()
                                                                                                                    +            .fieldName("float_vector")
                                                                                                                    +            .dataType(io.milvus.v2.common.DataType.FloatVector)
                                                                                                                    +            .dimension(DIM)
                                                                                                                    +            .build());
                                                                                                                    +    schema.addField(AddFieldReq.builder()
                                                                                                                    +            .fieldName("binary_vector")
                                                                                                                    +            .dataType(io.milvus.v2.common.DataType.BinaryVector)
                                                                                                                    +            .dimension(DIM)
                                                                                                                    +            .build());
                                                                                                                    +    schema.addField(AddFieldReq.builder()
                                                                                                                    +            .fieldName("float16_vector")
                                                                                                                    +            .dataType(io.milvus.v2.common.DataType.Float16Vector)
                                                                                                                    +            .dimension(DIM)
                                                                                                                    +            .build());
                                                                                                                    +    schema.addField(AddFieldReq.builder()
                                                                                                                    +            .fieldName("sparse_vector")
                                                                                                                    +            .dataType(io.milvus.v2.common.DataType.SparseFloatVector)
                                                                                                                    +            .build());
                                                                                                                    +    
                                                                                                                    +    return schema;
                                                                                                                    +}
                                                                                                                     

                                                                                                                    BulkWriter einrichten

                                                                                                                    -
                                                                                                                    import io.milvus.bulkwriter.common.clientenum.BulkFileType;
                                                                                                                    -import io.milvus.bulkwriter.connect.S3ConnectParam;
                                                                                                                    -import io.milvus.bulkwriter.connect.StorageConnectParam;
                                                                                                                     
                                                                                                                    -String ACCESS_KEY = "minioadmin";
                                                                                                                    -String SECRET_KEY = "minioadmin";
                                                                                                                    -String BUCKET_NAME = "milvus-bucket";
                                                                                                                    +from pymilvus.bulk_writer import BulkFileType
                                                                                                                    +# Use `from pymilvus import BulkFileType` 
                                                                                                                    +# when you use pymilvus earlier than 2.4.2 
                                                                                                                     
                                                                                                                    -StorageConnectParam storageConnectParam = S3ConnectParam.newBuilder()
                                                                                                                    -    .withEndpoint(MINIO_URI)
                                                                                                                    -    .withAccessKey(ACCESS_KEY)
                                                                                                                    -    .withSecretKey(SECRET_KEY)
                                                                                                                    -    .withBucketName(BUCKET_NAME)
                                                                                                                    -    .build();
                                                                                                                    +writer = RemoteBulkWriter(
                                                                                                                    +    schema=schema,
                                                                                                                    +    remote_path="/",
                                                                                                                    +    connect_param=conn,
                                                                                                                    +    file_type=BulkFileType.PARQUET
                                                                                                                    +)
                                                                                                                    +
                                                                                                                    +print('bulk writer created.')
                                                                                                                    +
                                                                                                                    +
                                                                                                                    private static RemoteBulkWriter createRemoteBulkWriter(CreateCollectionReq.CollectionSchema collectionSchema) throws IOException {
                                                                                                                    +    StorageConnectParam connectParam = S3ConnectParam.newBuilder()
                                                                                                                    +            .withEndpoint(MINIO_ENDPOINT)
                                                                                                                    +            .withBucketName(BUCKET_NAME)
                                                                                                                    +            .withAccessKey(ACCESS_KEY)
                                                                                                                    +            .withSecretKey(SECRET_KEY)
                                                                                                                    +            .build();
                                                                                                                    +    RemoteBulkWriterParam bulkWriterParam = RemoteBulkWriterParam.newBuilder()
                                                                                                                    +            .withCollectionSchema(collectionSchema)
                                                                                                                    +            .withRemotePath("/")
                                                                                                                    +            .withConnectParam(connectParam)
                                                                                                                    +            .withFileType(BulkFileType.PARQUET)
                                                                                                                    +            .build();
                                                                                                                    +    return new RemoteBulkWriter(bulkWriterParam);
                                                                                                                    +}
                                                                                                                     

                                                                                                                    Sobald die Verbindungsparameter fertig sind, kann man sie im RemoteBulkWriter wie folgt referenzieren:

                                                                                                                    @@ -265,7 +373,7 @@ writer = RemoteBulkWriter( >
                                                                                                                    -

                                                                                                                    Ein BulkWriter hat zwei Methoden: append_row() fügt eine Zeile aus einem Quelldatensatz hinzu, und commit() überträgt hinzugefügte Zeilen in eine lokale Datei oder einen Remote-Bucket.

                                                                                                                    +

                                                                                                                    Ein BulkWriter hat zwei Methoden: append_row() fügt eine Zeile aus einem Quelldatensatz hinzu, und commit() überträgt hinzugefügte Zeilen in eine lokale Datei oder einen Remote Bucket.

                                                                                                                    Ein BulkWriter hat zwei Methoden: appendRow() fügt eine Zeile aus einem Quelldatensatz hinzu, und commit() überträgt hinzugefügte Zeilen in eine lokale Datei oder einen Remote-Bucket.

                                                                                                                    @@ -273,80 +381,201 @@ writer = RemoteBulkWriter(

                                                                                                                    Zu Demonstrationszwecken fügt der folgende Code zufällig generierte Daten hinzu.

                                                                                                                    -
                                                                                                                    import random
                                                                                                                    -import string
                                                                                                                    +
                                                                                                                    import random, string, json
                                                                                                                    +import numpy as np
                                                                                                                    +import tensorflow as tf
                                                                                                                     
                                                                                                                    -def generate_random_str(length=5):
                                                                                                                    -    letters = string.ascii_uppercase
                                                                                                                    -    digits = string.digits
                                                                                                                    +def generate_random_str(length=5):
                                                                                                                    +    letters = string.ascii_uppercase
                                                                                                                    +    digits = string.digits
                                                                                                                         
                                                                                                                         return ''.join(random.choices(letters + digits, k=length))
                                                                                                                     
                                                                                                                    -for i in range(10000):
                                                                                                                    -    writer.append_row({
                                                                                                                    -        "id": i, 
                                                                                                                    -        "vector": [random.uniform(-1, 1) for _ in range(768)],
                                                                                                                    -        "scalar_1": generate_random_str(random.randint(1, 20)),
                                                                                                                    -        "scalar_2": random.randint(0, 100)
                                                                                                                    -    })
                                                                                                                    -    
                                                                                                                    -writer.commit()
                                                                                                                    -
                                                                                                                    -
                                                                                                                    import com.alibaba.fastjson.JSONObject;
                                                                                                                    +# optional input for binary vector:
                                                                                                                    +# 1. list of int such as [1, 0, 1, 1, 0, 0, 1, 0]
                                                                                                                    +# 2. numpy array of uint8
                                                                                                                    +def gen_binary_vector(to_numpy_arr):
                                                                                                                    +    raw_vector = [random.randint(0, 1) for i in range(DIM)]
                                                                                                                    +    if to_numpy_arr:
                                                                                                                    +        return np.packbits(raw_vector, axis=-1)
                                                                                                                    +    return raw_vector
                                                                                                                     
                                                                                                                    -for (int i = 0; i < 10000; i++) {
                                                                                                                    -    JSONObject json = new JSONObject();
                                                                                                                    -    json.put("id", i);
                                                                                                                    -    json.put("vector", get_random_vector(768));
                                                                                                                    -    json.put("scalar_1", get_random_string(20));
                                                                                                                    -    json.put("scalar_2", (long) (Math.random() * 100));
                                                                                                                    +# optional input for float vector:
                                                                                                                    +# 1. list of float such as [0.56, 1.859, 6.55, 9.45]
                                                                                                                    +# 2. numpy array of float32
                                                                                                                    +def gen_float_vector(to_numpy_arr):
                                                                                                                    +    raw_vector = [random.random() for _ in range(DIM)]
                                                                                                                    +    if to_numpy_arr:
                                                                                                                    +        return np.array(raw_vector, dtype="float32")
                                                                                                                    +    return raw_vector
                                                                                                                     
                                                                                                                    -    // localBulkWriter.appendRow(json);
                                                                                                                    -    remoteBulkWriter.appendRow(json);
                                                                                                                    -}
                                                                                                                    +# # optional input for bfloat16 vector:
                                                                                                                    +# # 1. list of float such as [0.56, 1.859, 6.55, 9.45]
                                                                                                                    +# # 2. numpy array of bfloat16
                                                                                                                    +# def gen_bf16_vector(to_numpy_arr):
                                                                                                                    +#     raw_vector = [random.random() for _ in range(DIM)]
                                                                                                                    +#     if to_numpy_arr:
                                                                                                                    +#         return tf.cast(raw_vector, dtype=tf.bfloat16).numpy()
                                                                                                                    +#     return raw_vector
                                                                                                                     
                                                                                                                    -// localBulkWriter.commit(false);
                                                                                                                    -remoteBulkWriter.commit(false);
                                                                                                                    -
                                                                                                                    -

                                                                                                                    Da das definierte Schema dynamische Felder zulässt, können Sie auch nicht-schemadefinierte Felder in die einzufügenden Daten aufnehmen, wie im Folgenden beschrieben.

                                                                                                                    - -
                                                                                                                    import random
                                                                                                                    -import string
                                                                                                                    +# optional input for float16 vector:
                                                                                                                    +# 1. list of float such as [0.56, 1.859, 6.55, 9.45]
                                                                                                                    +# 2. numpy array of float16
                                                                                                                    +def gen_fp16_vector(to_numpy_arr):
                                                                                                                    +    raw_vector = [random.random() for _ in range(DIM)]
                                                                                                                    +    if to_numpy_arr:
                                                                                                                    +        return np.array(raw_vector, dtype=np.float16)
                                                                                                                    +    return raw_vector
                                                                                                                     
                                                                                                                    -def generate_random_string(length=5):
                                                                                                                    -    letters = string.ascii_uppercase
                                                                                                                    -    digits = string.digits
                                                                                                                    -    
                                                                                                                    -    return ''.join(random.choices(letters + digits, k=length))
                                                                                                                    +# optional input for sparse vector:
                                                                                                                    +# only accepts dict like {2: 13.23, 45: 0.54} or {"indices": [1, 2], "values": [0.1, 0.2]}
                                                                                                                    +# note: no need to sort the keys
                                                                                                                    +def gen_sparse_vector(pair_dict: bool):
                                                                                                                    +    raw_vector = {}
                                                                                                                    +    dim = random.randint(2, 20)
                                                                                                                    +    if pair_dict:
                                                                                                                    +        raw_vector["indices"] = [i for i in range(dim)]
                                                                                                                    +        raw_vector["values"] = [random.random() for _ in range(dim)]
                                                                                                                    +    else:
                                                                                                                    +        for i in range(dim):
                                                                                                                    +            raw_vector[i] = random.random()
                                                                                                                    +    return raw_vector
                                                                                                                     
                                                                                                                     for i in range(10000):
                                                                                                                         writer.append_row({
                                                                                                                    -        "id": i, 
                                                                                                                    -        "vector":[random.uniform(-1, 1) for _ in range(768)],
                                                                                                                    -        "scalar_1": generate_random_string(),
                                                                                                                    -        "scalar_2": random.randint(0, 100),
                                                                                                                    -        "dynamic_field_1": random.choice([True, False]),
                                                                                                                    -        "dynamic_field_2": random.randint(0, 100)
                                                                                                                    +        "id": np.int64(i),
                                                                                                                    +        "bool": True if i % 3 == 0 else False,
                                                                                                                    +        "int8": np.int8(i%128),
                                                                                                                    +        "int16": np.int16(i%1000),
                                                                                                                    +        "int32": np.int32(i%100000),
                                                                                                                    +        "int64": np.int64(i),
                                                                                                                    +        "float": np.float32(i/3),
                                                                                                                    +        "double": np.float64(i/7),
                                                                                                                    +        "varchar": f"varchar_{i}",
                                                                                                                    +        "json": json.dumps({"dummy": i, "ok": f"name_{i}"}),
                                                                                                                    +        "array_str": np.array([f"str_{k}" for k in range(5)], np.dtype("str")),
                                                                                                                    +        "array_int": np.array([k for k in range(10)], np.dtype("int64")),
                                                                                                                    +        "float_vector": gen_float_vector(True),
                                                                                                                    +        "binary_vector": gen_binary_vector(True),
                                                                                                                    +        "float16_vector": gen_fp16_vector(True),
                                                                                                                    +        # "bfloat16_vector": gen_bf16_vector(True),
                                                                                                                    +        "sparse_vector": gen_sparse_vector(True),
                                                                                                                    +        f"dynamic_{i}": i,
                                                                                                                         })
                                                                                                                    -    
                                                                                                                    -writer.commit()
                                                                                                                    +    if (i+1)%1000 == 0:
                                                                                                                    +        writer.commit()
                                                                                                                    +        print('committed')
                                                                                                                    +
                                                                                                                    +print(writer.batch_files)
                                                                                                                     
                                                                                                                    -
                                                                                                                    for (int i = 0; i < 10000; i++) {
                                                                                                                    -    JSONObject json = new JSONObject();
                                                                                                                    -    json.put("id", i);
                                                                                                                    -    json.put("vector", get_random_vector(768));
                                                                                                                    -    json.put("scalar_1", get_random_string(20));
                                                                                                                    -    json.put("scalar_2", (long) (Math.random() * 100));
                                                                                                                    -    json.put("dynamic_field_1", get_random_boolean());
                                                                                                                    -    json.put("dynamic_field_2", (long) (Math.random() * 100));
                                                                                                                    -
                                                                                                                    -    // localBulkWriter.appendRow(json);
                                                                                                                    -    remoteBulkWriter.appendRow(json);
                                                                                                                    +
                                                                                                                    private static byte[] genBinaryVector() {
                                                                                                                    +    Random ran = new Random();
                                                                                                                    +    int byteCount = DIM / 8;
                                                                                                                    +    ByteBuffer vector = ByteBuffer.allocate(byteCount);
                                                                                                                    +    for (int i = 0; i < byteCount; ++i) {
                                                                                                                    +        vector.put((byte) ran.nextInt(Byte.MAX_VALUE));
                                                                                                                    +    }
                                                                                                                    +    return vector.array();
                                                                                                                    +}
                                                                                                                    +
                                                                                                                    +private static List<Float> genFloatVector() {
                                                                                                                    +    Random ran = new Random();
                                                                                                                    +    List<Float> vector = new ArrayList<>();
                                                                                                                    +    for (int i = 0; i < DIM; ++i) {
                                                                                                                    +        vector.add(ran.nextFloat());
                                                                                                                    +    }
                                                                                                                    +    return vector;
                                                                                                                    +}
                                                                                                                    +
                                                                                                                    +private static byte[] genFloat16Vector() {
                                                                                                                    +    List<Float> originalVector = genFloatVector();
                                                                                                                    +    return Float16Utils.f32VectorToFp16Buffer(originalVector).array();
                                                                                                                     }
                                                                                                                     
                                                                                                                    -// localBulkWriter.commit(false);
                                                                                                                    -remoteBulkWriter.commit(false);
                                                                                                                    +private static SortedMap<Long, Float> genSparseVector() {
                                                                                                                    +    Random ran = new Random();
                                                                                                                    +    SortedMap<Long, Float> sparse = new TreeMap<>();
                                                                                                                    +    int dim = ran.nextInt(18) + 2; // [2, 20)
                                                                                                                    +    for (int i = 0; i < dim; ++i) {
                                                                                                                    +        sparse.put((long)ran.nextInt(1000000), ran.nextFloat());
                                                                                                                    +    }
                                                                                                                    +    return sparse;
                                                                                                                    +}
                                                                                                                    +
                                                                                                                    +private static List<String> genStringArray(int length) {
                                                                                                                    +    List<String> arr = new ArrayList<>();
                                                                                                                    +    for (int i = 0; i < length; i++) {
                                                                                                                    +        arr.add("str_" + i);
                                                                                                                    +    }
                                                                                                                    +    return arr;
                                                                                                                    +}
                                                                                                                    +
                                                                                                                    +private static List<Long> genIntArray(int length) {
                                                                                                                    +    List<Long> arr = new ArrayList<>();
                                                                                                                    +    for (long i = 0; i < length; i++) {
                                                                                                                    +        arr.add(i);
                                                                                                                    +    }
                                                                                                                    +    return arr;
                                                                                                                    +}
                                                                                                                    +
                                                                                                                    +private static RemoteBulkWriter createRemoteBulkWriter(CreateCollectionReq.CollectionSchema collectionSchema) throws IOException {
                                                                                                                    +    StorageConnectParam connectParam = S3ConnectParam.newBuilder()
                                                                                                                    +            .withEndpoint(MINIO_ENDPOINT)
                                                                                                                    +            .withBucketName(BUCKET_NAME)
                                                                                                                    +            .withAccessKey(ACCESS_KEY)
                                                                                                                    +            .withSecretKey(SECRET_KEY)
                                                                                                                    +            .build();
                                                                                                                    +    RemoteBulkWriterParam bulkWriterParam = RemoteBulkWriterParam.newBuilder()
                                                                                                                    +            .withCollectionSchema(collectionSchema)
                                                                                                                    +            .withRemotePath("/")
                                                                                                                    +            .withConnectParam(connectParam)
                                                                                                                    +            .withFileType(BulkFileType.PARQUET)
                                                                                                                    +            .build();
                                                                                                                    +    return new RemoteBulkWriter(bulkWriterParam);
                                                                                                                    +}
                                                                                                                    +
                                                                                                                    +private static List<List<String>> uploadData() throws Exception {
                                                                                                                    +    CreateCollectionReq.CollectionSchema collectionSchema = createSchema();
                                                                                                                    +    try (RemoteBulkWriter remoteBulkWriter = createRemoteBulkWriter(collectionSchema)) {
                                                                                                                    +        for (int i = 0; i < 10000; ++i) {
                                                                                                                    +            JsonObject rowObject = new JsonObject();
                                                                                                                    +
                                                                                                                    +            rowObject.addProperty("id", i);
                                                                                                                    +            rowObject.addProperty("bool", i % 3 == 0);
                                                                                                                    +            rowObject.addProperty("int8", i % 128);
                                                                                                                    +            rowObject.addProperty("int16", i % 1000);
                                                                                                                    +            rowObject.addProperty("int32", i % 100000);
                                                                                                                    +            rowObject.addProperty("int64", i);
                                                                                                                    +            rowObject.addProperty("float", i / 3);
                                                                                                                    +            rowObject.addProperty("double", i / 7);
                                                                                                                    +            rowObject.addProperty("varchar", "varchar_" + i);
                                                                                                                    +            rowObject.addProperty("json", String.format("{\"dummy\": %s, \"ok\": \"name_%s\"}", i, i));
                                                                                                                    +            rowObject.add("array_str", GSON_INSTANCE.toJsonTree(genStringArray(5)));
                                                                                                                    +            rowObject.add("array_int", GSON_INSTANCE.toJsonTree(genIntArray(10)));
                                                                                                                    +            rowObject.add("float_vector", GSON_INSTANCE.toJsonTree(genFloatVector()));
                                                                                                                    +            rowObject.add("binary_vector", GSON_INSTANCE.toJsonTree(genBinaryVector()));
                                                                                                                    +            rowObject.add("float16_vector", GSON_INSTANCE.toJsonTree(genFloat16Vector()));
                                                                                                                    +            rowObject.add("sparse_vector", GSON_INSTANCE.toJsonTree(genSparseVector()));
                                                                                                                    +            rowObject.addProperty("dynamic", "dynamic_" + i);
                                                                                                                    +
                                                                                                                    +            remoteBulkWriter.appendRow(rowObject);
                                                                                                                    +
                                                                                                                    +            if ((i+1)%1000 == 0) {
                                                                                                                    +                remoteBulkWriter.commit(false);
                                                                                                                    +            }
                                                                                                                    +        }
                                                                                                                    +
                                                                                                                    +        List<List<String>> batchFiles = remoteBulkWriter.getBatchFiles();
                                                                                                                    +        System.out.println(batchFiles);
                                                                                                                    +        return batchFiles;
                                                                                                                    +    } catch (Exception e) {
                                                                                                                    +        throw e;
                                                                                                                    +    }
                                                                                                                    +}
                                                                                                                    +
                                                                                                                    +public static void main(String[] args) throws Exception {
                                                                                                                    +    List<List<String>> batchFiles = uploadData();
                                                                                                                    +}
                                                                                                                     

                                                                                                                    Überprüfen der Ergebnisse

                                                                                                                    -

                                                                                                                    BulkWriter generiert eine UUID, erstellt einen Unterordner mit der UUID im angegebenen Ausgabeverzeichnis und legt alle generierten Dateien in diesem Unterordner ab. Klicken Sie hier, um die vorbereiteten Beispieldaten herunterzuladen.

                                                                                                                    +

                                                                                                                    BulkWriter generiert eine UUID, erstellt einen Unterordner unter Verwendung der UUID im angegebenen Ausgabeverzeichnis und legt alle generierten Dateien in diesem Unterordner ab. Klicken Sie hier, um die vorbereiteten Beispieldaten herunterzuladen.

                                                                                                                    Mögliche Ordnerstrukturen sind wie folgt:

                                                                                                                    # JSON
                                                                                                                     ├── folder
                                                                                                                    diff --git a/localization/v2.4.x/site/de/userGuide/manage-indexes/index-vector-fields.md b/localization/v2.4.x/site/de/userGuide/manage-indexes/index-vector-fields.md
                                                                                                                    index 1806e40ec..194c70d69 100644
                                                                                                                    --- a/localization/v2.4.x/site/de/userGuide/manage-indexes/index-vector-fields.md
                                                                                                                    +++ b/localization/v2.4.x/site/de/userGuide/manage-indexes/index-vector-fields.md
                                                                                                                    @@ -38,9 +38,9 @@ title: Vektorfelder indizieren
                                                                                                                             >
                                                                                                                           
                                                                                                                         

                                                                                                                    Durch die Nutzung der in einer Indexdatei gespeicherten Metadaten organisiert Milvus Ihre Daten in einer spezialisierten Struktur, die ein schnelles Auffinden der gewünschten Informationen bei Suchen oder Abfragen erleichtert.

                                                                                                                    -

                                                                                                                    Milvus bietet verschiedene Indextypen und Metriken zum Sortieren von Feldwerten für effiziente Ähnlichkeitssuchen. In der folgenden Tabelle sind die unterstützten Indextypen und Metriken für verschiedene Vektorfeldtypen aufgeführt. Details finden Sie unter In-memory Index und Ähnlichkeitsmetriken.

                                                                                                                    +

                                                                                                                    Milvus bietet verschiedene Indextypen und Metriken zum Sortieren von Feldwerten für effiziente Ähnlichkeitssuchen. In der folgenden Tabelle sind die unterstützten Indextypen und Metriken für verschiedene Vektorfeldtypen aufgeführt. Derzeit unterstützt Milvus verschiedene Arten von Vektordaten, einschließlich Fließkomma-Einbettungen (oft als Fließkomma-Vektoren oder dichte Vektoren bezeichnet), binäre Einbettungen (auch als binäre Vektoren bezeichnet) und Sparse-Einbettungen (auch als Sparse-Vektoren bezeichnet). Weitere Informationen finden Sie unter Index- und Ähnlichkeitsmetriken im Arbeitsspeicher.

                                                                                                                    + Fließkommaeinbettungen Binäre Einbettungen Sparse Einbettungen
                                                                                                                    @@ -421,7 +421,7 @@ res = await client. -

                                                                                                                    Nachdem Sie einen Index erstellt haben, können Sie seine Details überprüfen.

                                                                                                                    +

                                                                                                                    Sobald Sie einen Index erstellt haben, können Sie seine Details überprüfen.

                                                                                                                    Um die Indexdetails zu prüfen, verwenden Sie list_indexes() um die Indexnamen aufzulisten und describe_index() um die Indexdetails zu erhalten.

                                                                                                                    @@ -532,7 +532,7 @@ res = await client.// ] // -

                                                                                                                    Sie können die Indexdatei prüfen, die für ein bestimmtes Feld erstellt wurde, und die Statistik über die Anzahl der mit dieser Indexdatei indizierten Zeilen sammeln.

                                                                                                                    +

                                                                                                                    Sie können die Indexdatei überprüfen, die für ein bestimmtes Feld erstellt wurde, und die Statistik über die Anzahl der Zeilen, die mit dieser Indexdatei indiziert wurden, sammeln.

                                                                                                                    Einen Index löschen

                                                                                                                    Descargue milvus.yaml directamente o con el siguiente comando.

                                                                                                                    -
                                                                                                                    $ wget https://raw.githubusercontent.com/milvus-io/milvus/v2.4.15/configs/milvus.yaml
                                                                                                                    +    

                                                                                                                    Descargue milvus.yaml directamente o con el siguiente comando.

                                                                                                                    +
                                                                                                                    $ wget https://raw.githubusercontent.com/milvus-io/milvus/v2.4.17/configs/milvus.yaml
                                                                                                                     

                                                                                                                    Modifique el archivo de configuración

                                                                                                                    Descargue el archivo de instalación de Milvus standalone y guárdelo como docker-compose.yml.

                                                                                                                    +

                                                                                                                    Descargue el archivo de instalación de Milvus standalone y guárdelo como docker-compose.yml.

                                                                                                                    También puede ejecutar el siguiente comando.

                                                                                                                    # For Milvus standalone
                                                                                                                    -$ wget https://github.com/milvus-io/milvus/releases/download/v2.4.15/milvus-standalone-docker-compose.yml -O docker-compose.yml
                                                                                                                    +$ wget https://github.com/milvus-io/milvus/releases/download/v2.4.17/milvus-standalone-docker-compose.yml -O docker-compose.yml
                                                                                                                     

                                                                                                                    Modifique el archivo de instalación

                                                                                                                    Este tema describe cómo actualizar su Milvus utilizando Docker Compose.

                                                                                                                    -

                                                                                                                    En casos normales, puede actualizar Milvus cambiando su imagen. Sin embargo, necesita migrar los metadatos antes de cualquier actualización de v2.1.x a v2.4.15.

                                                                                                                    +

                                                                                                                    En casos normales, puede actualizar Milvus cambiando su imagen. Sin embargo, necesita migrar los metadatos antes de cualquier actualización de v2.1.x a v2.4.17.

                                                                                                                    Actualizar Milvus cambiando su imagen

                                                                                                                  • Ejecute los siguientes comandos para realizar la actualización.

                                                                                                                    docker compose down
                                                                                                                    @@ -105,7 +105,7 @@ cmd:
                                                                                                                       runWithBackup: true
                                                                                                                     config:
                                                                                                                       sourceVersion: 2.1.4   # Specify your milvus version
                                                                                                                    -  targetVersion: 2.4.15
                                                                                                                    +  targetVersion: 2.4.17
                                                                                                                       backupFilePath: /tmp/migration.bak
                                                                                                                     metastore:
                                                                                                                       type: etcd
                                                                                                                    diff --git a/localization/v2.4.x/site/es/adminGuide/upgrade_milvus_cluster-helm.json b/localization/v2.4.x/site/es/adminGuide/upgrade_milvus_cluster-helm.json
                                                                                                                    index a5e8b578a..82f2c642a 100644
                                                                                                                    --- a/localization/v2.4.x/site/es/adminGuide/upgrade_milvus_cluster-helm.json
                                                                                                                    +++ b/localization/v2.4.x/site/es/adminGuide/upgrade_milvus_cluster-helm.json
                                                                                                                    @@ -1 +1 @@
                                                                                                                    -{"codeList":["$ helm repo update\n$ helm search repo zilliztech/milvus --versions\n","helm repo add zilliztech https://zilliztech.github.io/milvus-helm\nhelm repo update\n# upgrade existing helm release\nhelm upgrade my-release zilliztech/milvus\n","NAME                    CHART VERSION   APP VERSION             DESCRIPTION                                       \nzilliztech/milvus       4.1.34          2.4.5                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.33          2.4.4                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.32          2.4.3                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.31          2.4.1                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.30          2.4.1                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.29          2.4.0                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.24          2.3.11                  Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.23          2.3.10                  Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.22          2.3.10                  Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.21          2.3.10                  Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.20          2.3.10                  Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.18          2.3.10                  Milvus is an open-source vector database built ... \nzilliztech/milvus       4.1.18          2.3.9                   Milvus is an open-source vector database built ...                                       \nzilliztech/milvus       4.1.17          2.3.8                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.16          2.3.7                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.15          2.3.5                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.14          2.3.6                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.13          2.3.5                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.12          2.3.5                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.11          2.3.4                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.10          2.3.3                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.9           2.3.3                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.8           2.3.2                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.7           2.3.2                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.6           2.3.1                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.5           2.3.1                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.4           2.3.1                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.3           2.3.1                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.2           2.3.1                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.1           2.3.0                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.0           2.3.0                   Milvus is an open-source vector database built ...\n","sh rollingUpdate.sh -n default -i my-release -o update -t 2.4.15 -w 'milvusdb/milvus:v2.4.15'\n","helm repo update\nhelm upgrade my-release zilliztech/milvus --reuse-values --version=4.1.24 # use the helm chart version here\n","NAME                NAMESPACE   REVISION    UPDATED                                 STATUS      CHART           APP VERSION    \nnew-release         default     1           2022-11-21 15:41:25.51539 +0800 CST     deployed    milvus-3.2.18   2.1.4 \n","NAME                                             READY   STATUS      RESTARTS   AGE\nmy-release-etcd-0                               1/1     Running     0          21m\nmy-release-etcd-1                               1/1     Running     0          21m\nmy-release-etcd-2                               1/1     Running     0          21m\nmy-release-milvus-datacoord-664c58798d-fl75s    1/1     Running     0          21m\nmy-release-milvus-datanode-5f75686c55-xfg2r     1/1     Running     0          21m\nmy-release-milvus-indexcoord-5f98b97589-2l48r   1/1     Running     0          21m\nmy-release-milvus-indexnode-857b4ddf98-vmd75    1/1     Running     0          21m\nmy-release-milvus-proxy-6c548f787f-scspp        1/1     Running     0          21m\nmy-release-milvus-querycoord-c454f44cd-dwmwq    1/1     Running     0          21m\nmy-release-milvus-querynode-76bb4946d-lbrz6     1/1     Running     0          21m\nmy-release-milvus-rootcoord-7764c5b686-62msm    1/1     Running     0          21m\nmy-release-minio-0                              1/1     Running     0          21m\nmy-release-minio-1                              1/1     Running     0          21m\nmy-release-minio-2                              1/1     Running     0          21m\nmy-release-minio-3                              1/1     Running     0          21m\nmy-release-pulsar-bookie-0                      1/1     Running     0          21m\nmy-release-pulsar-bookie-1                      1/1     Running     0          21m\nmy-release-pulsar-bookie-2                      1/1     Running     0          21m\nmy-release-pulsar-bookie-init-tjxpj             0/1     Completed   0          21m\nmy-release-pulsar-broker-0                      1/1     Running     0          21m\nmy-release-pulsar-proxy-0                       1/1     Running     0          21m\nmy-release-pulsar-pulsar-init-c8vvc             0/1     Completed   0          21m\nmy-release-pulsar-recovery-0                    1/1     Running     0          21m\nmy-release-pulsar-zookeeper-0                   1/1     Running     0          21m\nmy-release-pulsar-zookeeper-1                   1/1     Running     0          20m\nmy-release-pulsar-zookeeper-2                   1/1     Running     0          20m\n","$ kubectl get pods my-release-milvus-proxy-6c548f787f-scspp -o=jsonpath='{$.spec.containers[0].image}'\n# milvusdb/milvus:v2.1.4\n","./migrate.sh -i my-release -s 2.1.4 -t 2.2.0\n","./migrate.sh -i my-release -n milvus -s 2.1.4 -t 2.2.0\n","./migrate.sh -i my-release -n milvus -s 2.1.4 -t 2.2.0 -r by-dev\n","./migrate.sh -i my-release -n milvus -s 2.1.4 -t 2.2.0 -r by-dev -w milvusdb/milvus:v2.2.0\n","./migrate.sh -i my-release -n milvus -s 2.1.4 -t 2.2.0 -w milvusdb/milvus:v2.2.0 -d true\n","./migrate.sh -i my-release -n milvus -s 2.1.4 -t 2.2.0 -r by-dev -o rollback -w milvusdb/milvus:v2.1.4\n./migrate.sh -i my-release -n milvus -s 2.1.4 -t 2.2.0 -r by-dev -o migrate -w milvusdb/milvus:v2.2.0\n"],"headingContent":"Upgrade Milvus Cluster with Helm Chart","anchorList":[{"label":"Actualizar Milvus Cluster con Helm Chart","href":"Upgrade-Milvus-Cluster-with-Helm-Chart","type":1,"isActive":false},{"label":"Comprobar Milvus Helm Chart","href":"Check-Milvus-Helm-Chart","type":2,"isActive":false},{"label":"Realizar una actualización continua","href":"Conduct-a-rolling-upgrade","type":2,"isActive":false},{"label":"Actualizar Milvus utilizando Helm","href":"Upgrade-Milvus-using-Helm","type":2,"isActive":false},{"label":"Migrar los metadatos","href":"Migrate-the-metadata","type":2,"isActive":false}]}
                                                                                                                    \ No newline at end of file
                                                                                                                    +{"codeList":["$ helm repo update zilliztech\n$ helm search repo zilliztech/milvus --versions\n","helm repo add zilliztech https://zilliztech.github.io/milvus-helm\nhelm repo update\n# upgrade existing helm release\nhelm upgrade my-release zilliztech/milvus --reset-then-reuse-values\n","NAME                    CHART VERSION   APP VERSION             DESCRIPTION                                       \nzilliztech/milvus       4.1.34          2.4.5                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.33          2.4.4                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.32          2.4.3                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.31          2.4.1                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.30          2.4.1                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.29          2.4.0                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.24          2.3.11                  Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.23          2.3.10                  Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.22          2.3.10                  Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.21          2.3.10                  Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.20          2.3.10                  Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.18          2.3.10                  Milvus is an open-source vector database built ... \nzilliztech/milvus       4.1.18          2.3.9                   Milvus is an open-source vector database built ...                                       \nzilliztech/milvus       4.1.17          2.3.8                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.16          2.3.7                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.15          2.3.5                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.14          2.3.6                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.13          2.3.5                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.12          2.3.5                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.11          2.3.4                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.10          2.3.3                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.9           2.3.3                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.8           2.3.2                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.7           2.3.2                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.6           2.3.1                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.5           2.3.1                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.4           2.3.1                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.3           2.3.1                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.2           2.3.1                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.1           2.3.0                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.0           2.3.0                   Milvus is an open-source vector database built ...\n","sh rollingUpdate.sh -n default -i my-release -o update -t 2.4.17 -w 'milvusdb/milvus:v2.4.17'\n","helm repo update zilliztech\nhelm upgrade my-release zilliztech/milvus --reset-then-reuse-values --version=4.1.24 # use the helm chart version here\n","NAME                NAMESPACE   REVISION    UPDATED                                 STATUS      CHART           APP VERSION    \nnew-release         default     1           2022-11-21 15:41:25.51539 +0800 CST     deployed    milvus-3.2.18   2.1.4 \n","NAME                                             READY   STATUS      RESTARTS   AGE\nmy-release-etcd-0                               1/1     Running     0          21m\nmy-release-etcd-1                               1/1     Running     0          21m\nmy-release-etcd-2                               1/1     Running     0          21m\nmy-release-milvus-datacoord-664c58798d-fl75s    1/1     Running     0          21m\nmy-release-milvus-datanode-5f75686c55-xfg2r     1/1     Running     0          21m\nmy-release-milvus-indexcoord-5f98b97589-2l48r   1/1     Running     0          21m\nmy-release-milvus-indexnode-857b4ddf98-vmd75    1/1     Running     0          21m\nmy-release-milvus-proxy-6c548f787f-scspp        1/1     Running     0          21m\nmy-release-milvus-querycoord-c454f44cd-dwmwq    1/1     Running     0          21m\nmy-release-milvus-querynode-76bb4946d-lbrz6     1/1     Running     0          21m\nmy-release-milvus-rootcoord-7764c5b686-62msm    1/1     Running     0          21m\nmy-release-minio-0                              1/1     Running     0          21m\nmy-release-minio-1                              1/1     Running     0          21m\nmy-release-minio-2                              1/1     Running     0          21m\nmy-release-minio-3                              1/1     Running     0          21m\nmy-release-pulsar-bookie-0                      1/1     Running     0          21m\nmy-release-pulsar-bookie-1                      1/1     Running     0          21m\nmy-release-pulsar-bookie-2                      1/1     Running     0          21m\nmy-release-pulsar-bookie-init-tjxpj             0/1     Completed   0          21m\nmy-release-pulsar-broker-0                      1/1     Running     0          21m\nmy-release-pulsar-proxy-0                       1/1     Running     0          21m\nmy-release-pulsar-pulsar-init-c8vvc             0/1     Completed   0          21m\nmy-release-pulsar-recovery-0                    1/1     Running     0          21m\nmy-release-pulsar-zookeeper-0                   1/1     Running     0          21m\nmy-release-pulsar-zookeeper-1                   1/1     Running     0          20m\nmy-release-pulsar-zookeeper-2                   1/1     Running     0          20m\n","$ kubectl get pods my-release-milvus-proxy-6c548f787f-scspp -o=jsonpath='{$.spec.containers[0].image}'\n# milvusdb/milvus:v2.1.4\n","./migrate.sh -i my-release -s 2.1.4 -t 2.2.0\n","./migrate.sh -i my-release -n milvus -s 2.1.4 -t 2.2.0\n","./migrate.sh -i my-release -n milvus -s 2.1.4 -t 2.2.0 -r by-dev\n","./migrate.sh -i my-release -n milvus -s 2.1.4 -t 2.2.0 -r by-dev -w milvusdb/milvus:v2.2.0\n","./migrate.sh -i my-release -n milvus -s 2.1.4 -t 2.2.0 -w milvusdb/milvus:v2.2.0 -d true\n","./migrate.sh -i my-release -n milvus -s 2.1.4 -t 2.2.0 -r by-dev -o rollback -w milvusdb/milvus:v2.1.4\n./migrate.sh -i my-release -n milvus -s 2.1.4 -t 2.2.0 -r by-dev -o migrate -w milvusdb/milvus:v2.2.0\n"],"headingContent":"Upgrade Milvus Cluster with Helm Chart","anchorList":[{"label":"Actualizar Milvus Cluster con Helm Chart","href":"Upgrade-Milvus-Cluster-with-Helm-Chart","type":1,"isActive":false},{"label":"Requisitos previos","href":"Prerequisites","type":2,"isActive":false},{"label":"Comprobar la carta Milvus Helm","href":"Check-Milvus-Helm-Chart","type":2,"isActive":false},{"label":"Realizar una actualización continua","href":"Conduct-a-rolling-upgrade","type":2,"isActive":false},{"label":"Actualizar Milvus usando Helm","href":"Upgrade-Milvus-using-Helm","type":2,"isActive":false},{"label":"Migrar los metadatos","href":"Migrate-the-metadata","type":2,"isActive":false}]}
                                                                                                                    \ No newline at end of file
                                                                                                                    diff --git a/localization/v2.4.x/site/es/adminGuide/upgrade_milvus_cluster-helm.md b/localization/v2.4.x/site/es/adminGuide/upgrade_milvus_cluster-helm.md
                                                                                                                    index b5bd90e16..80be4012a 100644
                                                                                                                    --- a/localization/v2.4.x/site/es/adminGuide/upgrade_milvus_cluster-helm.md
                                                                                                                    +++ b/localization/v2.4.x/site/es/adminGuide/upgrade_milvus_cluster-helm.md
                                                                                                                    @@ -23,8 +23,30 @@ title: Actualizar Milvus Cluster con Helm Chart
                                                                                                                               d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
                                                                                                                             >
                                                                                                                           
                                                                                                                    -    

                                                                                                                    Esta guía describe cómo actualizar su cluster Milvus con Milvus Helm Chart.

                                                                                                                    -

                                                                                                                    Comprobar Milvus Helm Chart

                                                                                                                    Esta guía describe cómo actualizar su cluster Milvus con cartas Milvus Helm.

                                                                                                                    +

                                                                                                                    Requisitos previos

                                                                                                                      +
                                                                                                                    • Versión de Helm >= 3.14.0
                                                                                                                    • +
                                                                                                                    • Versión de Kubernetes >= 1.20.0
                                                                                                                    • +
                                                                                                                    +
                                                                                                                    +

                                                                                                                    Desde la versión 4.2.21 de Milvus-Helm chart, hemos introducido pulsar-v3.x chart como dependencia. Para compatibilidad con versiones anteriores, por favor actualice su helm a v3.14 o versión posterior, y asegúrese de añadir la opción --reset-then-reuse-values siempre que utilice helm upgrade.

                                                                                                                    +
                                                                                                                    +

                                                                                                                    Comprobar la carta Milvus Helm

                                                                                                                    Ejecute los siguientes comandos para comprobar las nuevas versiones de Milvus.

                                                                                                                    -
                                                                                                                    $ helm repo update
                                                                                                                    +
                                                                                                                    $ helm repo update zilliztech
                                                                                                                     $ helm search repo zilliztech/milvus --versions
                                                                                                                     
                                                                                                                    @@ -48,7 +70,7 @@ $ helm search repo zilliztech/milvus --versions
                                                                                                                    helm repo add zilliztech https://zilliztech.github.io/milvus-helm
                                                                                                                     helm repo update
                                                                                                                     # upgrade existing helm release
                                                                                                                    -helm upgrade my-release zilliztech/milvus
                                                                                                                    +helm upgrade my-release zilliztech/milvus --reset-then-reuse-values
                                                                                                                     

                                                                                                                    El repositorio archivado sigue disponible para las cartas hasta la versión 4.0.31. Para versiones posteriores, utilice el nuevo repositorio.

                                                                                                                    @@ -86,10 +108,10 @@ zilliztech/milvus 4.1.1 2.3.0 Milvus is an ope zilliztech/milvus 4.1.0 2.3.0 Milvus is an open-source vector database built ...

                                                                                                                    Puede elegir la ruta de actualización para su Milvus de la siguiente manera:

                                                                                                                    -
                                                                                                                    - Realice una actualización continua](#conduct-a-rolling-upgrade) de Milvus v2.2.3 y versiones posteriores a v2.4.15.
                                                                                                                    +
                                                                                                                    - Realice una actualización continua](#conduct-a-rolling-upgrade) de Milvus v2.2.3 y versiones posteriores a v2.4.17.

                                                                                                                    Realizar una actualización continua

                                                                                                                  • oOperaciónupdateFalso
                                                                                                                    -

                                                                                                                    Una vez que se haya asegurado de que todos los despliegues en su instancia de Milvus están en su estado normal. Puede ejecutar el siguiente comando para actualizar la instancia de Milvus a 2.4.15.

                                                                                                                    -
                                                                                                                    sh rollingUpdate.sh -n default -i my-release -o update -t 2.4.15 -w 'milvusdb/milvus:v2.4.15'
                                                                                                                    +

                                                                                                                    Una vez que se haya asegurado de que todos los despliegues en su instancia de Milvus están en su estado normal. Puede ejecutar el siguiente comando para actualizar la instancia de Milvus a 2.4.17.

                                                                                                                    +
                                                                                                                    sh rollingUpdate.sh -n default -i my-release -o update -t 2.4.17 -w 'milvusdb/milvus:v2.4.17'
                                                                                                                     
                                                                                                                      @@ -134,7 +156,7 @@ zilliztech/milvus 4.1.0 2.3.0 Milvus is an ope
                                                                                                                    -

                                                                                                                    Actualizar Milvus utilizando Helm

                                                                                                                    Para actualizar Milvus desde una versión menor anterior a v2.2.3 a la última, ejecute los siguientes comandos:

                                                                                                                    -
                                                                                                                    helm repo update
                                                                                                                    -helm upgrade my-release zilliztech/milvus --reuse-values --version=4.1.24 # use the helm chart version here
                                                                                                                    +
                                                                                                                    helm repo update zilliztech
                                                                                                                    +helm upgrade my-release zilliztech/milvus --reset-then-reuse-values --version=4.1.24 # use the helm chart version here
                                                                                                                     

                                                                                                                    Utilice la versión del gráfico Helm en el comando anterior. Para más detalles sobre cómo obtener la versión del gráfico Helm, consulte Comprobar la versión de Milvus.

                                                                                                                    Migrar los metadatos

                                                                                                                    Una vez que haya actualizado su operador Milvus a la última versión, tiene las siguientes opciones:

                                                                                                                    Realizar una actualización continua

                                                                                                                    Desde Milvus 2.2.3, puede configurar los coordinadores de Milvus para que funcionen en modo activo-espera y activar la función de actualización continua para ellos, de modo que Milvus pueda responder a las solicitudes entrantes durante las actualizaciones de los coordinadores. En versiones anteriores, los coordinadores debían eliminarse y luego crearse durante una actualización, lo que podía introducir cierto tiempo de inactividad del servicio.

                                                                                                                    +

                                                                                                                    Desde Milvus 2.2.3, puede configurar los coordinadores de Milvus para que funcionen en modo activo-espera y habilitar la función de actualización continua para ellos, de modo que Milvus pueda responder a las solicitudes entrantes durante las actualizaciones de los coordinadores. En versiones anteriores, los coordinadores debían eliminarse y luego crearse durante una actualización, lo que podía introducir cierto tiempo de inactividad del servicio.

                                                                                                                    Basándose en las capacidades de actualización continua proporcionadas por Kubernetes, el operador Milvus aplica una actualización ordenada de los despliegues según sus dependencias. Además, Milvus implementa un mecanismo para garantizar que sus componentes sigan siendo compatibles con aquellos que dependen de ellos durante la actualización, lo que reduce significativamente el posible tiempo de inactividad del servicio.

                                                                                                                    La función de actualización continua está desactivada por defecto. Es necesario habilitarla explícitamente a través de un archivo de configuración.

                                                                                                                    apiVersion: milvus.io/v1beta1
                                                                                                                    @@ -76,7 +76,7 @@ spec:
                                                                                                                       components:
                                                                                                                         enableRollingUpdate: true
                                                                                                                         imageUpdateMode: rollingUpgrade # Default value, can be omitted
                                                                                                                    -    image: milvusdb/milvus:v2.4.15
                                                                                                                    +    image: milvusdb/milvus:v2.4.17
                                                                                                                     

                                                                                                                    En el archivo de configuración anterior, establezca spec.components.enableRollingUpdate en true y spec.components.image en la versión de Milvus deseada.

                                                                                                                    Por defecto, Milvus realiza la actualización continua para los coordinadores de forma ordenada, en la que sustituye las imágenes del pod de coordinador una tras otra. Para reducir el tiempo de actualización, considere configurar spec.components.imageUpdateMode a all para que Milvus reemplace todas las imágenes de pod al mismo tiempo.

                                                                                                                    @@ -88,7 +88,7 @@ spec: components: enableRollingUpdate: true imageUpdateMode: all - image: milvusdb/milvus:v2.4.15 + image: milvusdb/milvus:v2.4.17

                                                                                                                    Puede configurar spec.components.imageUpdateMode a rollingDowngrade para que Milvus reemplace las imágenes de pod coordinador con una versión inferior.

                                                                                                                    apiVersion: milvus.io/v1beta1
                                                                                                                    @@ -101,8 +101,8 @@ spec:
                                                                                                                         imageUpdateMode: rollingDowngrade
                                                                                                                         image: milvusdb/milvus:<some-old-version>
                                                                                                                     
                                                                                                                    -

                                                                                                                    Después guarde su configuración como un fichero YAML (por ejemplo, milvusupgrade.yml) y aplique este fichero de configuración a su instancia de Milvus como sigue:

                                                                                                                    -
                                                                                                                    kubectl apply -f milvusupgrade.yml
                                                                                                                    +

                                                                                                                    Luego guarde su configuración como un archivo YAML (por ejemplo, milvusupgrade.yml) y parchee este archivo de configuración a su instancia Milvus como sigue:

                                                                                                                    +
                                                                                                                    kubectl patch -f milvusupgrade.yml
                                                                                                                     

                                                                                                                    Actualizar Milvus cambiando su imagen

                                                                                                                    A continuación, ejecute lo siguiente para realizar la actualización:

                                                                                                                    -
                                                                                                                    kubectl apply -f milvusupgrade.yaml
                                                                                                                    +
                                                                                                                    kubectl patch -f milvusupgrade.yaml
                                                                                                                     

                                                                                                                    Migrar los metadatos

                                                                                                                    Desde Milvus 2.2.0, los metadatos son incompatibles con los de versiones anteriores. Los siguientes ejemplos suponen una actualización de Milvus 2.1.4 a Milvus 2.4.15.

                                                                                                                    -

                                                                                                                    1. Crear un archivo .yaml para la migración de metadatos

                                                                                                                    Cree un archivo de migración de metadatos. El siguiente es un ejemplo. Debe especificar name, sourceVersion y targetVersion en el archivo de configuración. El siguiente ejemplo establece name en my-release-upgrade, sourceVersion en v2.1.4 y targetVersion en v2.4.15. Esto significa que su clúster Milvus se actualizará de v2.1.4 a v2.4.15.

                                                                                                                    +

                                                                                                                    Desde Milvus 2.2.0, los metadatos son incompatibles con los de versiones anteriores. Los siguientes ejemplos suponen una actualización de Milvus 2.1.4 a Milvus 2.4.17.

                                                                                                                    +

                                                                                                                    1. Crear un archivo .yaml para la migración de metadatos

                                                                                                                    Cree un archivo de migración de metadatos. El siguiente es un ejemplo. Debe especificar name, sourceVersion y targetVersion en el archivo de configuración. El siguiente ejemplo establece name en my-release-upgrade, sourceVersion en v2.1.4 y targetVersion en v2.4.17. Esto significa que su clúster Milvus se actualizará de v2.1.4 a v2.4.17.

                                                                                                                    apiVersion: milvus.io/v1beta1
                                                                                                                     kind: MilvusUpgrade
                                                                                                                     metadata:
                                                                                                                    @@ -159,17 +159,17 @@ spec:
                                                                                                                         namespace: default
                                                                                                                         name: my-release
                                                                                                                       sourceVersion: "v2.1.4"
                                                                                                                    -  targetVersion: "v2.4.15"
                                                                                                                    +  targetVersion: "v2.4.17"
                                                                                                                       # below are some omit default values:
                                                                                                                    -  # targetImage: "milvusdb/milvus:v2.4.15"
                                                                                                                    +  # targetImage: "milvusdb/milvus:v2.4.17"
                                                                                                                       # toolImage: "milvusdb/meta-migration:v2.2.0"
                                                                                                                       # operation: upgrade
                                                                                                                       # rollbackIfFailed: true
                                                                                                                       # backupPVC: ""
                                                                                                                       # maxRetry: 3
                                                                                                                     
                                                                                                                    -

                                                                                                                    2. Aplique la nueva configuración

                                                                                                                    Ejecute el siguiente comando para aplicar la nueva configuración.

                                                                                                                    -
                                                                                                                    $ kubectl apply -f https://github.com/zilliztech/milvus-operator/blob/main/config/samples/beta/milvusupgrade.yaml
                                                                                                                    +

                                                                                                                    2. Aplique la nueva configuración

                                                                                                                    Ejecute el siguiente comando para crear la nueva configuración.

                                                                                                                    +
                                                                                                                    $ kubectl create -f https://github.com/zilliztech/milvus-operator/blob/main/config/samples/beta/milvusupgrade.yaml
                                                                                                                     

                                                                                                                    3. 3. Compruebe el estado de la migración de metadatos

                                                                                                                    Ejecute el siguiente comando para comprobar el estado de la migración de metadatos.

                                                                                                                    kubectl describe milvus release-name
                                                                                                                    diff --git a/localization/v2.4.x/site/es/adminGuide/upgrade_milvus_standalone-docker.json b/localization/v2.4.x/site/es/adminGuide/upgrade_milvus_standalone-docker.json
                                                                                                                    index e57e4a2d3..ec74ea5b0 100644
                                                                                                                    --- a/localization/v2.4.x/site/es/adminGuide/upgrade_milvus_standalone-docker.json
                                                                                                                    +++ b/localization/v2.4.x/site/es/adminGuide/upgrade_milvus_standalone-docker.json
                                                                                                                    @@ -1 +1 @@
                                                                                                                    -{"codeList":["...\nstandalone:\n  container_name: milvus-standalone\n  image: milvusdb/milvus:v2.4.15\n","docker compose down\ndocker compose up -d\n","docker stop \n","# migration.yaml\ncmd:\n  # Option: run/backup/rollback\n  type: run\n  runWithBackup: true\nconfig:\n  sourceVersion: 2.1.4   # Specify your milvus version\n  targetVersion: 2.4.15\n  backupFilePath: /tmp/migration.bak\nmetastore:\n  type: etcd\netcd:\n  endpoints:\n    - milvus-etcd:2379  # Use the etcd container name\n  rootPath: by-dev # The root path where data is stored in etcd\n  metaSubPath: meta\n  kvSubPath: kv\n","# Suppose your docker-compose run with the default milvus network,\n# and you put migration.yaml in the same directory with docker-compose.yaml.\ndocker run --rm -it --network milvus -v $(pwd)/migration.yaml:/milvus/configs/migration.yaml milvusdb/meta-migration:v2.2.0 /milvus/bin/meta-migration -config=/milvus/configs/migration.yaml\n","// Run the following only after update the milvus image tag in the docker-compose.yaml\ndocker compose down\ndocker compose up -d\n"],"headingContent":"Upgrade Milvus Standalone with Docker Compose","anchorList":[{"label":"Actualizar Milvus Standalone con Docker Compose","href":"Upgrade-Milvus-Standalone-with-Docker-Compose","type":1,"isActive":false},{"label":"Actualizar Milvus cambiando su imagen","href":"Upgrade-Milvus-by-changing-its-image","type":2,"isActive":false},{"label":"Migrar los metadatos","href":"Migrate-the-metadata","type":2,"isActive":false},{"label":"Lo que sigue","href":"Whats-next","type":2,"isActive":false}]}
                                                                                                                    \ No newline at end of file
                                                                                                                    +{"codeList":["...\nstandalone:\n  container_name: milvus-standalone\n  image: milvusdb/milvus:v2.4.17\n","docker compose down\ndocker compose up -d\n","docker stop \n","# migration.yaml\ncmd:\n  # Option: run/backup/rollback\n  type: run\n  runWithBackup: true\nconfig:\n  sourceVersion: 2.1.4   # Specify your milvus version\n  targetVersion: 2.4.17\n  backupFilePath: /tmp/migration.bak\nmetastore:\n  type: etcd\netcd:\n  endpoints:\n    - milvus-etcd:2379  # Use the etcd container name\n  rootPath: by-dev # The root path where data is stored in etcd\n  metaSubPath: meta\n  kvSubPath: kv\n","# Suppose your docker-compose run with the default milvus network,\n# and you put migration.yaml in the same directory with docker-compose.yaml.\ndocker run --rm -it --network milvus -v $(pwd)/migration.yaml:/milvus/configs/migration.yaml milvusdb/meta-migration:v2.2.0 /milvus/bin/meta-migration -config=/milvus/configs/migration.yaml\n","// Run the following only after update the milvus image tag in the docker-compose.yaml\ndocker compose down\ndocker compose up -d\n"],"headingContent":"Upgrade Milvus Standalone with Docker Compose","anchorList":[{"label":"Actualizar Milvus Standalone con Docker Compose","href":"Upgrade-Milvus-Standalone-with-Docker-Compose","type":1,"isActive":false},{"label":"Actualizar Milvus cambiando su imagen","href":"Upgrade-Milvus-by-changing-its-image","type":2,"isActive":false},{"label":"Migrar los metadatos","href":"Migrate-the-metadata","type":2,"isActive":false},{"label":"Lo que sigue","href":"Whats-next","type":2,"isActive":false}]}
                                                                                                                    \ No newline at end of file
                                                                                                                    diff --git a/localization/v2.4.x/site/es/adminGuide/upgrade_milvus_standalone-docker.md b/localization/v2.4.x/site/es/adminGuide/upgrade_milvus_standalone-docker.md
                                                                                                                    index 9e45e3d2f..114b84fe4 100644
                                                                                                                    --- a/localization/v2.4.x/site/es/adminGuide/upgrade_milvus_standalone-docker.md
                                                                                                                    +++ b/localization/v2.4.x/site/es/adminGuide/upgrade_milvus_standalone-docker.md
                                                                                                                    @@ -24,7 +24,7 @@ title: Actualizar Milvus Standalone con Docker Compose
                                                                                                                             >
                                                                                                                           
                                                                                                                         

                                                                                                                    Este tema describe cómo actualizar su Milvus utilizando Docker Compose.

                                                                                                                    -

                                                                                                                    En casos normales, puede actualizar Milvus cambiando su imagen. Sin embargo, necesita migrar los metadatos antes de cualquier actualización de v2.1.x a v2.4.15.

                                                                                                                    +

                                                                                                                    En casos normales, puede actualizar Milvus cambiando su imagen. Sin embargo, necesita migrar los metadatos antes de cualquier actualización de v2.1.x a v2.4.17.

                                                                                                                    Por motivos de seguridad, Milvus actualiza su MinIO a RELEASE.2023-03-20T20-16-18Z con la versión v2.2.5. Antes de realizar cualquier actualización desde versiones anteriores de Milvus Standalone instaladas mediante Docker Compose, debe crear un despliegue de MinIO Single-Node Single-Drive y migrar la configuración y el contenido existentes de MinIO al nuevo despliegue. Para más detalles, consulte esta guía.

                                                                                                                    @@ -49,7 +49,7 @@ title: Actualizar Milvus Standalone con Docker Compose
                                                                                                                    ...
                                                                                                                     standalone:
                                                                                                                       container_name: milvus-standalone
                                                                                                                    -  image: milvusdb/milvus:v2.4.15
                                                                                                                    +  image: milvusdb/milvus:v2.4.17
                                                                                                                     
                                                                                                                  • Ejecute los siguientes comandos para realizar la actualización.

                                                                                                                    docker compose down
                                                                                                                    @@ -83,7 +83,7 @@ cmd:
                                                                                                                       runWithBackup: true
                                                                                                                     config:
                                                                                                                       sourceVersion: 2.1.4   # Specify your milvus version
                                                                                                                    -  targetVersion: 2.4.15
                                                                                                                    +  targetVersion: 2.4.17
                                                                                                                       backupFilePath: /tmp/migration.bak
                                                                                                                     metastore:
                                                                                                                       type: etcd
                                                                                                                    diff --git a/localization/v2.4.x/site/es/adminGuide/upgrade_milvus_standalone-helm.json b/localization/v2.4.x/site/es/adminGuide/upgrade_milvus_standalone-helm.json
                                                                                                                    index 44d7b8989..906e09850 100644
                                                                                                                    --- a/localization/v2.4.x/site/es/adminGuide/upgrade_milvus_standalone-helm.json
                                                                                                                    +++ b/localization/v2.4.x/site/es/adminGuide/upgrade_milvus_standalone-helm.json
                                                                                                                    @@ -1 +1 @@
                                                                                                                    -{"codeList":["$ helm repo update\n$ helm search repo zilliztech/milvus --versions\n","helm repo add zilliztech https://zilliztech.github.io/milvus-helm\nhelm repo update\n# upgrade existing helm release\nhelm upgrade my-release zilliztech/milvus\n","NAME                    CHART VERSION   APP VERSION             DESCRIPTION                                       \nzilliztech/milvus       4.1.34          2.4.5                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.33          2.4.4                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.32          2.4.3                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.31          2.4.1                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.30          2.4.1                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.29          2.4.0                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.24          2.3.11                  Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.23          2.3.10                  Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.22          2.3.10                  Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.21          2.3.10                  Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.20          2.3.10                  Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.18          2.3.10                  Milvus is an open-source vector database built ... \nzilliztech/milvus       4.1.18          2.3.9                   Milvus is an open-source vector database built ...                                       \nzilliztech/milvus       4.1.17          2.3.8                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.16          2.3.7                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.15          2.3.5                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.14          2.3.6                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.13          2.3.5                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.12          2.3.5                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.11          2.3.4                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.10          2.3.3                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.9           2.3.3                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.8           2.3.2                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.7           2.3.2                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.6           2.3.1                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.5           2.3.1                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.4           2.3.1                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.3           2.3.1                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.2           2.3.1                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.1           2.3.0                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.0           2.3.0                   Milvus is an open-source vector database built ...\n","sh rollingUpdate.sh -n default -i my-release -o update -t 2.4.15 -w 'milvusdb/milvus:v2.4.15'\n","helm repo update\nhelm upgrade my-release milvus/milvus --reuse-values --version=4.1.24 # use the helm chart version here\n","NAME                NAMESPACE   REVISION    UPDATED                                 STATUS      CHART           APP VERSION     \nmy-release          default     1           2022-11-21 15:41:25.51539 +0800 CST     deployed    milvus-3.2.18   2.1.4\n","NAME                                            READY   STATUS    RESTARTS   AGE\nmy-release-etcd-0                               1/1     Running   0          84s\nmy-release-milvus-standalone-75c599fffc-6rwlj   1/1     Running   0          84s\nmy-release-minio-744dd9586f-qngzv               1/1     Running   0          84s\n","$ kubectl get pods my-release-milvus-proxy-6c548f787f-scspp -o=jsonpath='{$.spec.containers[0].image}'\n# milvusdb/milvus:v2.1.4\n","./migrate.sh -i my-release -s 2.1.4 -t 2.4.15\n","./migrate.sh -i my-release -n milvus -s 2.1.4 -t 2.4.15\n","./migrate.sh -i my-release -n milvus -s 2.1.4 -t 2.4.15 -r by-dev\n","./migrate.sh -i my-release -n milvus -s 2.1.4 -t 2.4.15 -r by-dev -w milvusdb/milvus:v2.4.15\n","./migrate.sh -i my-release -n milvus -s 2.1.4 -t 2.4.15 -w milvusdb/milvus:v2.4.15 -d true\n","./migrate.sh -i my-release -n milvus -s 2.1.4 -t 2.4.15 -r by-dev -o rollback -w milvusdb/milvus:v2.1.1\n./migrate.sh -i my-release -n milvus -s 2.1.4 -t 2.4.15 -r by-dev -o migrate -w milvusdb/milvus:v2.4.15\n"],"headingContent":"Upgrade Milvus Standalone with Helm Chart","anchorList":[{"label":"Actualizar Milvus Standalone con cartas Helm","href":"Upgrade-Milvus-Standalone-with-Helm-Chart","type":1,"isActive":false},{"label":"Compruebe la versión de Milvus","href":"Check-the-Milvus-version","type":2,"isActive":false},{"label":"Realizar una actualización continua","href":"Conduct-a-rolling-upgrade","type":2,"isActive":false},{"label":"Actualizar Milvus usando Helm","href":"Upgrade-Milvus-using-Helm","type":2,"isActive":false},{"label":"Migrar los metadatos","href":"Migrate-the-metadata","type":2,"isActive":false}]}
                                                                                                                    \ No newline at end of file
                                                                                                                    +{"codeList":["$ helm repo update\n$ helm search repo zilliztech/milvus --versions\n","helm repo add zilliztech https://zilliztech.github.io/milvus-helm\nhelm repo update zilliztech\n# upgrade existing helm release\nhelm upgrade my-release zilliztech/milvus --reset-then-reuse-values\n","NAME                    CHART VERSION   APP VERSION             DESCRIPTION                                       \nzilliztech/milvus       4.1.34          2.4.5                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.33          2.4.4                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.32          2.4.3                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.31          2.4.1                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.30          2.4.1                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.29          2.4.0                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.24          2.3.11                  Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.23          2.3.10                  Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.22          2.3.10                  Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.21          2.3.10                  Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.20          2.3.10                  Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.18          2.3.10                  Milvus is an open-source vector database built ... \nzilliztech/milvus       4.1.18          2.3.9                   Milvus is an open-source vector database built ...                                       \nzilliztech/milvus       4.1.17          2.3.8                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.16          2.3.7                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.15          2.3.5                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.14          2.3.6                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.13          2.3.5                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.12          2.3.5                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.11          2.3.4                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.10          2.3.3                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.9           2.3.3                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.8           2.3.2                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.7           2.3.2                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.6           2.3.1                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.5           2.3.1                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.4           2.3.1                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.3           2.3.1                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.2           2.3.1                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.1           2.3.0                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.0           2.3.0                   Milvus is an open-source vector database built ...\n","sh rollingUpdate.sh -n default -i my-release -o update -t 2.4.17 -w 'milvusdb/milvus:v2.4.17'\n","helm repo update\nhelm upgrade my-release milvus/milvus --reset-then-reuse-values --version=4.1.24 # use the helm chart version here\n","NAME                NAMESPACE   REVISION    UPDATED                                 STATUS      CHART           APP VERSION     \nmy-release          default     1           2022-11-21 15:41:25.51539 +0800 CST     deployed    milvus-3.2.18   2.1.4\n","NAME                                            READY   STATUS    RESTARTS   AGE\nmy-release-etcd-0                               1/1     Running   0          84s\nmy-release-milvus-standalone-75c599fffc-6rwlj   1/1     Running   0          84s\nmy-release-minio-744dd9586f-qngzv               1/1     Running   0          84s\n","$ kubectl get pods my-release-milvus-proxy-6c548f787f-scspp -o=jsonpath='{$.spec.containers[0].image}'\n# milvusdb/milvus:v2.1.4\n","./migrate.sh -i my-release -s 2.1.4 -t 2.4.17\n","./migrate.sh -i my-release -n milvus -s 2.1.4 -t 2.4.17\n","./migrate.sh -i my-release -n milvus -s 2.1.4 -t 2.4.17 -r by-dev\n","./migrate.sh -i my-release -n milvus -s 2.1.4 -t 2.4.17 -r by-dev -w milvusdb/milvus:v2.4.17\n","./migrate.sh -i my-release -n milvus -s 2.1.4 -t 2.4.17 -w milvusdb/milvus:v2.4.17 -d true\n","./migrate.sh -i my-release -n milvus -s 2.1.4 -t 2.4.17 -r by-dev -o rollback -w milvusdb/milvus:v2.1.1\n./migrate.sh -i my-release -n milvus -s 2.1.4 -t 2.4.17 -r by-dev -o migrate -w milvusdb/milvus:v2.4.17\n"],"headingContent":"Upgrade Milvus Standalone with Helm Chart","anchorList":[{"label":"Actualizar Milvus Standalone con cartas Helm","href":"Upgrade-Milvus-Standalone-with-Helm-Chart","type":1,"isActive":false},{"label":"Requisitos previos","href":"Prerequisites","type":2,"isActive":false},{"label":"Comprobar la versión de Milvus","href":"Check-the-Milvus-version","type":2,"isActive":false},{"label":"Realizar una actualización continua","href":"Conduct-a-rolling-upgrade","type":2,"isActive":false},{"label":"Actualizar Milvus usando Helm","href":"Upgrade-Milvus-using-Helm","type":2,"isActive":false},{"label":"Migrar los metadatos","href":"Migrate-the-metadata","type":2,"isActive":false}]}
                                                                                                                    \ No newline at end of file
                                                                                                                    diff --git a/localization/v2.4.x/site/es/adminGuide/upgrade_milvus_standalone-helm.md b/localization/v2.4.x/site/es/adminGuide/upgrade_milvus_standalone-helm.md
                                                                                                                    index 5d09ce90d..7f6659919 100644
                                                                                                                    --- a/localization/v2.4.x/site/es/adminGuide/upgrade_milvus_standalone-helm.md
                                                                                                                    +++ b/localization/v2.4.x/site/es/adminGuide/upgrade_milvus_standalone-helm.md
                                                                                                                    @@ -23,8 +23,30 @@ title: Actualizar Milvus Standalone con cartas Helm
                                                                                                                               d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
                                                                                                                             >
                                                                                                                           
                                                                                                                    -    

                                                                                                                    Esta guía describe cómo actualizar su Milvus standalone con cartas Milvus Helm.

                                                                                                                    -

                                                                                                                    Compruebe la versión de Milvus

                                                                                                                    Esta guía describe cómo actualizar su Milvus standalone con Milvus Helm charts.

                                                                                                                    +

                                                                                                                    Requisitos previos

                                                                                                                      +
                                                                                                                    • Versión de Helm >= 3.14.0
                                                                                                                    • +
                                                                                                                    • Versión de Kubernetes >= 1.20.0
                                                                                                                    • +
                                                                                                                    +
                                                                                                                    +

                                                                                                                    Desde la versión 4.2.21 de Milvus-Helm chart, hemos introducido pulsar-v3.x chart como dependencia. Por compatibilidad con versiones anteriores, actualice su helm a la versión 3.14 o posterior, y asegúrese de añadir la opción --reset-then-reuse-values siempre que utilice helm upgrade.

                                                                                                                    +
                                                                                                                    +

                                                                                                                    Comprobar la versión de Milvus

                                                                                                                    El repositorio archivado sigue disponible para las cartas hasta la versión 4.0.31. Para versiones posteriores, utilice el nuevo repositorio.

      @@ -86,10 +108,10 @@ zilliztech/milvus 4.1.1 2.3.0 Milvus is an ope zilliztech/milvus 4.1.0 2.3.0 Milvus is an open-source vector database built ...

      Puede elegir la ruta de actualización para su Milvus de la siguiente manera:

      -
      - Realice una actualización continua](#conduct-a-rolling-upgrade) de Milvus v2.2.3 y versiones posteriores a v2.4.15.
      +
      - Realice una actualización continua](#conduct-a-rolling-upgrade) de Milvus v2.2.3 y versiones posteriores a v2.4.17.

      Realizar una actualización continua
        @@ -152,7 +174,7 @@ zilliztech/milvus 4.1.0 2.3.0 Milvus is an ope

      Para actualizar Milvus desde una versión menor anterior a v2.2.3 a la última, ejecute los siguientes comandos:

      helm repo update
      -helm upgrade my-release milvus/milvus --reuse-values --version=4.1.24 # use the helm chart version here
      +helm upgrade my-release milvus/milvus --reset-then-reuse-values --version=4.1.24 # use the helm chart version here
       

      Utilice la versión del gráfico Helm en el comando anterior. Para más detalles sobre cómo obtener la versión del gráfico Helm, consulte Comprobar la versión de Milvus.

      Migrar los metadatos

    -

    2. Actualizar Milvus de v2.1.x a 2.4.15

    Los siguientes comandos asumen que usted actualiza Milvus de v2.1.4 a 2.4.15. Cámbielos por las versiones que se ajusten a sus necesidades.

    +

    2. Actualizar Milvus de v2.1.x a 2.4.17

    Los siguientes comandos asumen que usted actualiza Milvus de v2.1.4 a 2.4.17. Cámbielos por las versiones que se ajusten a sus necesidades.

    1. Especifique el nombre de la instancia de Milvus, la versión de Milvus de origen y la versión de Milvus de destino.

      -
      ./migrate.sh -i my-release -s 2.1.4 -t 2.4.15
      +
      ./migrate.sh -i my-release -s 2.1.4 -t 2.4.17
       
    2. Especifique el espacio de nombres con -n si su Milvus no está instalado en el espacio de nombres predeterminado de K8s.

      -
      ./migrate.sh -i my-release -n milvus -s 2.1.4 -t 2.4.15
      +
      ./migrate.sh -i my-release -n milvus -s 2.1.4 -t 2.4.17
       
    3. Especifique la ruta raíz con -r si su Milvus está instalado con la costumbre rootpath.

      -
      ./migrate.sh -i my-release -n milvus -s 2.1.4 -t 2.4.15 -r by-dev
      +
      ./migrate.sh -i my-release -n milvus -s 2.1.4 -t 2.4.17 -r by-dev
       
    4. Especifique la etiqueta de imagen con -w si su Milvus está instalado con la personalizada image.

      -
      ./migrate.sh -i my-release -n milvus -s 2.1.4 -t 2.4.15 -r by-dev -w milvusdb/milvus:v2.4.15
      +
      ./migrate.sh -i my-release -n milvus -s 2.1.4 -t 2.4.17 -r by-dev -w milvusdb/milvus:v2.4.17
       
    5. Establezca -d true si desea eliminar automáticamente el pod de migración una vez finalizada la migración.

      -
      ./migrate.sh -i my-release -n milvus -s 2.1.4 -t 2.4.15 -w milvusdb/milvus:v2.4.15 -d true
      +
      ./migrate.sh -i my-release -n milvus -s 2.1.4 -t 2.4.17 -w milvusdb/milvus:v2.4.17 -d true
       
    6. Retroceda y migre de nuevo si la migración falla.

      -
      ./migrate.sh -i my-release -n milvus -s 2.1.4 -t 2.4.15 -r by-dev -o rollback -w milvusdb/milvus:v2.1.1
      -./migrate.sh -i my-release -n milvus -s 2.1.4 -t 2.4.15 -r by-dev -o migrate -w milvusdb/milvus:v2.4.15
      +
      ./migrate.sh -i my-release -n milvus -s 2.1.4 -t 2.4.17 -r by-dev -o rollback -w milvusdb/milvus:v2.1.1
      +./migrate.sh -i my-release -n milvus -s 2.1.4 -t 2.4.17 -r by-dev -o migrate -w milvusdb/milvus:v2.4.17
       
    diff --git a/localization/v2.4.x/site/es/adminGuide/upgrade_milvus_standalone-operator.json b/localization/v2.4.x/site/es/adminGuide/upgrade_milvus_standalone-operator.json index 00ec43860..1554931a3 100644 --- a/localization/v2.4.x/site/es/adminGuide/upgrade_milvus_standalone-operator.json +++ b/localization/v2.4.x/site/es/adminGuide/upgrade_milvus_standalone-operator.json @@ -1 +1 @@ -{"codeList":["helm repo add zilliztech-milvus-operator https://zilliztech.github.io/milvus-operator/\nhelm repo update zilliztech-milvus-operator\nhelm -n milvus-operator upgrade milvus-operator zilliztech-milvus-operator/milvus-operator\n","apiVersion: milvus.io/v1beta1\nkind: Milvus\nmetadata:\n name: my-release\nspec:\n components:\n enableRollingUpdate: true\n imageUpdateMode: rollingUpgrade # Default value, can be omitted\n image: milvusdb/milvus:v2.4.15\n","apiVersion: milvus.io/v1beta1\nkind: Milvus\nmetadata:\n name: my-release\nspec:\n components:\n enableRollingUpdate: true\n imageUpdateMode: all\n image: milvusdb/milvus:v2.4.15\n","apiVersion: milvus.io/v1beta1\nkind: Milvus\nmetadata:\n name: my-release\nspec:\n components:\n enableRollingUpdate: true\n imageUpdateMode: rollingDowngrade\n image: milvusdb/milvus:\n","kubectl apply -f milvusupgrade.yml\n","apiVersion: milvus.io/v1beta1\nkind: Milvus\nmetadata:\n name: my-release\nlabels:\n app: milvus\nspec:\n # Omit other fields ...\n components:\n image: milvusdb/milvus:v2.4.15\n","kubectl apply -f milvusupgrade.yaml\n","apiVersion: milvus.io/v1beta1\nkind: MilvusUpgrade\nmetadata:\n name: my-release-upgrade\nspec:\n milvus:\n namespace: default\n name: my-release\n sourceVersion: \"v2.1.4\"\n targetVersion: \"v2.4.15\"\n # below are some omit default values:\n # targetImage: \"milvusdb/milvus:v2.4.15\"\n # toolImage: \"milvusdb/meta-migration:v2.2.0\"\n # operation: upgrade\n # rollbackIfFailed: true\n # backupPVC: \"\"\n # maxRetry: 3\n","$ kubectl apply -f https://raw.githubusercontent.com/zilliztech/milvus-operator/main/config/samples/milvusupgrade.yaml\n","kubectl describe milvus release-name\n"],"headingContent":"Upgrade Milvus Standalone with Milvus Operator","anchorList":[{"label":"Actualizar Milvus Standalone con Milvus Operator","href":"Upgrade-Milvus-Standalone-with-Milvus-Operator","type":1,"isActive":false},{"label":"Actualice su operador Milvus","href":"Upgrade-your-Milvus-operator","type":2,"isActive":false},{"label":"Realizar una actualización continua","href":"Conduct-a-rolling-upgrade","type":2,"isActive":false},{"label":"Actualizar Milvus cambiando su imagen","href":"Upgrade-Milvus-by-changing-its-image","type":2,"isActive":false},{"label":"Migrar los metadatos","href":"Migrate-the-metadata","type":2,"isActive":false}]} \ No newline at end of file +{"codeList":["helm repo add zilliztech-milvus-operator https://zilliztech.github.io/milvus-operator/\nhelm repo update zilliztech-milvus-operator\nhelm -n milvus-operator upgrade milvus-operator zilliztech-milvus-operator/milvus-operator\n","apiVersion: milvus.io/v1beta1\nkind: Milvus\nmetadata:\n name: my-release\nspec:\n components:\n enableRollingUpdate: true\n imageUpdateMode: rollingUpgrade # Default value, can be omitted\n image: milvusdb/milvus:v2.4.17\n","apiVersion: milvus.io/v1beta1\nkind: Milvus\nmetadata:\n name: my-release\nspec:\n components:\n enableRollingUpdate: true\n imageUpdateMode: all\n image: milvusdb/milvus:v2.4.17\n","apiVersion: milvus.io/v1beta1\nkind: Milvus\nmetadata:\n name: my-release\nspec:\n components:\n enableRollingUpdate: true\n imageUpdateMode: rollingDowngrade\n image: milvusdb/milvus:\n","kubectl patch -f milvusupgrade.yml\n","apiVersion: milvus.io/v1beta1\nkind: Milvus\nmetadata:\n name: my-release\nlabels:\n app: milvus\nspec:\n # Omit other fields ...\n components:\n image: milvusdb/milvus:v2.4.17\n","kubectl patch -f milvusupgrade.yaml\n","apiVersion: milvus.io/v1beta1\nkind: MilvusUpgrade\nmetadata:\n name: my-release-upgrade\nspec:\n milvus:\n namespace: default\n name: my-release\n sourceVersion: \"v2.1.4\"\n targetVersion: \"v2.4.17\"\n # below are some omit default values:\n # targetImage: \"milvusdb/milvus:v2.4.17\"\n # toolImage: \"milvusdb/meta-migration:v2.2.0\"\n # operation: upgrade\n # rollbackIfFailed: true\n # backupPVC: \"\"\n # maxRetry: 3\n","$ kubectl create -f https://raw.githubusercontent.com/zilliztech/milvus-operator/main/config/samples/milvusupgrade.yaml\n","kubectl describe milvus release-name\n"],"headingContent":"Upgrade Milvus Standalone with Milvus Operator","anchorList":[{"label":"Actualizar Milvus Standalone con Milvus Operator","href":"Upgrade-Milvus-Standalone-with-Milvus-Operator","type":1,"isActive":false},{"label":"Actualice su operador Milvus","href":"Upgrade-your-Milvus-operator","type":2,"isActive":false},{"label":"Realizar una actualización continua","href":"Conduct-a-rolling-upgrade","type":2,"isActive":false},{"label":"Actualizar Milvus cambiando su imagen","href":"Upgrade-Milvus-by-changing-its-image","type":2,"isActive":false},{"label":"Migrar los metadatos","href":"Migrate-the-metadata","type":2,"isActive":false}]} \ No newline at end of file diff --git a/localization/v2.4.x/site/es/adminGuide/upgrade_milvus_standalone-operator.md b/localization/v2.4.x/site/es/adminGuide/upgrade_milvus_standalone-operator.md index a11c87b4c..feafd6b1b 100644 --- a/localization/v2.4.x/site/es/adminGuide/upgrade_milvus_standalone-operator.md +++ b/localization/v2.4.x/site/es/adminGuide/upgrade_milvus_standalone-operator.md @@ -46,9 +46,9 @@ helm -n milvus-operator upgrade milvus-

    Una vez que haya actualizado su operador Milvus a la última versión, tiene las siguientes opciones:

    Realizar una actualización continua

    En el archivo de configuración anterior, establezca spec.components.enableRollingUpdate en true y spec.components.image en la versión de Milvus deseada.

    Por defecto, Milvus realiza una actualización continua para los coordinadores de forma ordenada, en la que sustituye las imágenes del pod de coordinador una tras otra. Para reducir el tiempo de actualización, considere configurar spec.components.imageUpdateMode a all para que Milvus reemplace todas las imágenes de pod al mismo tiempo.

    @@ -88,7 +88,7 @@ spec: components: enableRollingUpdate: true imageUpdateMode: all - image: milvusdb/milvus:v2.4.15 + image: milvusdb/milvus:v2.4.17

    Puede configurar spec.components.imageUpdateMode a rollingDowngrade para que Milvus reemplace las imágenes de pod coordinador con una versión inferior.

    apiVersion: milvus.io/v1beta1
    @@ -101,8 +101,8 @@ spec:
         imageUpdateMode: rollingDowngrade
         image: milvusdb/milvus:<some-older-version>
     
    -

    Después guarde su configuración como un fichero YAML (por ejemplo, milvusupgrade.yml) y aplique este fichero de configuración a su instancia de Milvus como sigue:

    -
    kubectl apply -f milvusupgrade.yml
    +

    Luego guarde su configuración como un archivo YAML (por ejemplo, milvusupgrade.yml) y parchee este archivo de configuración a su instancia Milvus como sigue:

    +
    kubectl patch -f milvusupgrade.yml
     

    Actualizar Milvus cambiando su imagen

    A continuación, ejecute lo siguiente para realizar la actualización:

    -
    kubectl apply -f milvusupgrade.yaml
    +
    kubectl patch -f milvusupgrade.yaml
     

    Migrar los metadatos

    Desde Milvus 2.2.0, los metadatos son incompatibles con los de versiones anteriores. Los siguientes ejemplos suponen una actualización de Milvus 2.1.4 a Milvus v2.4.15.

    -

    1. Crear un archivo .yaml para la migración de metadatos

    Cree un archivo de migración de metadatos. El siguiente es un ejemplo. Debe especificar name, sourceVersion y targetVersion en el archivo de configuración. El siguiente ejemplo establece name en my-release-upgrade, sourceVersion en v2.1.4 y targetVersion en v2.4.15. Esto significa que su instancia de Milvus se actualizará de v2.1.4 a v2.4.15.

    +

    Desde Milvus 2.2.0, los metadatos son incompatibles con los de versiones anteriores. Los siguientes ejemplos suponen una actualización de Milvus 2.1.4 a Milvus v2.4.17.

    +

    1. Crear un archivo .yaml para la migración de metadatos

    Cree un archivo de migración de metadatos. El siguiente es un ejemplo. Debe especificar name, sourceVersion y targetVersion en el archivo de configuración. El siguiente ejemplo establece name en my-release-upgrade, sourceVersion en v2.1.4 y targetVersion en v2.4.17. Esto significa que su instancia de Milvus se actualizará de v2.1.4 a v2.4.17.

    apiVersion: milvus.io/v1beta1
     kind: MilvusUpgrade
     metadata:
    @@ -161,9 +161,9 @@ spec:
         namespace: default
         name: my-release
       sourceVersion: "v2.1.4"
    -  targetVersion: "v2.4.15"
    +  targetVersion: "v2.4.17"
       # below are some omit default values:
    -  # targetImage: "milvusdb/milvus:v2.4.15"
    +  # targetImage: "milvusdb/milvus:v2.4.17"
       # toolImage: "milvusdb/meta-migration:v2.2.0"
       # operation: upgrade
       # rollbackIfFailed: true
    @@ -171,7 +171,7 @@ spec:
       # maxRetry: 3
     

    2. Aplique la nueva configuración

    Ejecute el siguiente comando para aplicar la nueva configuración.

    -
    $ kubectl apply -f https://raw.githubusercontent.com/zilliztech/milvus-operator/main/config/samples/milvusupgrade.yaml
    +
    $ kubectl create -f https://raw.githubusercontent.com/zilliztech/milvus-operator/main/config/samples/milvusupgrade.yaml
     

    3. Compruebe el estado de la migración de metadatos

    Ejecute el siguiente comando para comprobar el estado de la migración de metadatos.

    kubectl describe milvus release-name
    diff --git a/localization/v2.4.x/site/es/getstarted/run-milvus-docker/install_standalone-docker-compose.json b/localization/v2.4.x/site/es/getstarted/run-milvus-docker/install_standalone-docker-compose.json
    index b041f756e..6f928e22c 100644
    --- a/localization/v2.4.x/site/es/getstarted/run-milvus-docker/install_standalone-docker-compose.json
    +++ b/localization/v2.4.x/site/es/getstarted/run-milvus-docker/install_standalone-docker-compose.json
    @@ -1 +1 @@
    -{"codeList":["# Download the configuration file\n$ wget https://github.com/milvus-io/milvus/releases/download/v2.4.15/milvus-standalone-docker-compose.yml -O docker-compose.yml\n\n# Start Milvus\n$ sudo docker-compose up -d\n\nCreating milvus-etcd  ... done\nCreating milvus-minio ... done\nCreating milvus-standalone ... done\n","$ sudo docker-compose ps\n\n      Name                     Command                  State                            Ports\n--------------------------------------------------------------------------------------------------------------------\nmilvus-etcd         etcd -advertise-client-url ...   Up             2379/tcp, 2380/tcp\nmilvus-minio        /usr/bin/docker-entrypoint ...   Up (healthy)   9000/tcp\nmilvus-standalone   /tini -- milvus run standalone   Up             0.0.0.0:19530->19530/tcp, 0.0.0.0:9091->9091/tcp\n","# Stop Milvus\n$ sudo docker-compose down\n\n# Delete service data\n$ sudo rm -rf volumes\n"],"headingContent":"Run Milvus with Docker Compose","anchorList":[{"label":"Ejecutar Milvus con Docker Compose","href":"Run-Milvus-with-Docker-Compose","type":1,"isActive":false},{"label":"Requisitos previos","href":"Prerequisites","type":2,"isActive":false},{"label":"Instale Milvus","href":"Install-Milvus","type":2,"isActive":false},{"label":"Lo que sigue","href":"Whats-next","type":2,"isActive":false}]}
    \ No newline at end of file
    +{"codeList":["# Download the configuration file\n$ wget https://github.com/milvus-io/milvus/releases/download/v2.4.17/milvus-standalone-docker-compose.yml -O docker-compose.yml\n\n# Start Milvus\n$ sudo docker-compose up -d\n\nCreating milvus-etcd  ... done\nCreating milvus-minio ... done\nCreating milvus-standalone ... done\n","$ sudo docker-compose ps\n\n      Name                     Command                  State                            Ports\n--------------------------------------------------------------------------------------------------------------------\nmilvus-etcd         etcd -advertise-client-url ...   Up             2379/tcp, 2380/tcp\nmilvus-minio        /usr/bin/docker-entrypoint ...   Up (healthy)   9000/tcp\nmilvus-standalone   /tini -- milvus run standalone   Up             0.0.0.0:19530->19530/tcp, 0.0.0.0:9091->9091/tcp\n","# Stop Milvus\n$ sudo docker-compose down\n\n# Delete service data\n$ sudo rm -rf volumes\n"],"headingContent":"Run Milvus with Docker Compose","anchorList":[{"label":"Ejecutar Milvus con Docker Compose","href":"Run-Milvus-with-Docker-Compose","type":1,"isActive":false},{"label":"Requisitos previos","href":"Prerequisites","type":2,"isActive":false},{"label":"Instale Milvus","href":"Install-Milvus","type":2,"isActive":false},{"label":"Lo que sigue","href":"Whats-next","type":2,"isActive":false}]}
    \ No newline at end of file
    diff --git a/localization/v2.4.x/site/es/getstarted/run-milvus-docker/install_standalone-docker-compose.md b/localization/v2.4.x/site/es/getstarted/run-milvus-docker/install_standalone-docker-compose.md
    index aae46e60a..6476a7b93 100644
    --- a/localization/v2.4.x/site/es/getstarted/run-milvus-docker/install_standalone-docker-compose.md
    +++ b/localization/v2.4.x/site/es/getstarted/run-milvus-docker/install_standalone-docker-compose.md
    @@ -57,7 +57,7 @@ title: Ejecutar Milvus con Docker Compose
           
         

    Milvus proporciona un archivo de configuración Docker Compose en el repositorio Milvus. Para instalar Milvus utilizando Docker Compose, simplemente ejecute

    # Download the configuration file
    -$ wget https://github.com/milvus-io/milvus/releases/download/v2.4.15/milvus-standalone-docker-compose.yml -O docker-compose.yml
    +$ wget https://github.com/milvus-io/milvus/releases/download/v2.4.17/milvus-standalone-docker-compose.yml -O docker-compose.yml
     
     # Start Milvus
     $ sudo docker-compose up -d
    diff --git a/localization/v2.4.x/site/es/getstarted/run-milvus-gpu/install_standalone-docker-compose-gpu.json b/localization/v2.4.x/site/es/getstarted/run-milvus-gpu/install_standalone-docker-compose-gpu.json
    index 961c1c2e9..1398cee99 100644
    --- a/localization/v2.4.x/site/es/getstarted/run-milvus-gpu/install_standalone-docker-compose-gpu.json
    +++ b/localization/v2.4.x/site/es/getstarted/run-milvus-gpu/install_standalone-docker-compose-gpu.json
    @@ -1 +1 @@
    -{"codeList":["$ wget https://github.com/milvus-io/milvus/releases/download/v2.4.15/milvus-standalone-docker-compose-gpu.yml -O docker-compose.yml\n","...\nstandalone:\n  ...\n  deploy:\n    resources:\n      reservations:\n        devices:\n          - driver: nvidia\n            capabilities: [\"gpu\"]\n            device_ids: [\"0\"]\n...\n","...\nstandalone:\n  ...\n  deploy:\n    resources:\n      reservations:\n        devices:\n          - driver: nvidia\n            capabilities: [\"gpu\"]\n            device_ids: ['0', '1']\n...\n","$ sudo docker compose up -d\n\nCreating milvus-etcd  ... done\nCreating milvus-minio ... done\nCreating milvus-standalone ... done\n","$ sudo docker compose ps\n\n      Name                     Command                  State                            Ports\n--------------------------------------------------------------------------------------------------------------------\nmilvus-etcd         etcd -advertise-client-url ...   Up             2379/tcp, 2380/tcp\nmilvus-minio        /usr/bin/docker-entrypoint ...   Up (healthy)   9000/tcp\nmilvus-standalone   /tini -- milvus run standalone   Up             0.0.0.0:19530->19530/tcp, 0.0.0.0:9091->9091/tcp\n","$ CUDA_VISIBLE_DEVICES=0 ./milvus run standalone\n","$ CUDA_VISIBLE_DEVICES=0,1 ./milvus run standalone\n","# Stop Milvus\n$ sudo docker compose down\n\n# Delete service data\n$ sudo rm -rf volumes\n","docker cp :/milvus/configs/milvus.yaml milvus.yaml\n","vim milvus.yaml\n","...\ngpu:\n  initMemSize: 0\n  maxMemSize: 0\n...\n","docker cp milvus.yaml :/milvus/configs/milvus.yaml\n","docker stop \ndocker start \n"],"headingContent":"Run Milvus with GPU Support Using Docker Compose","anchorList":[{"label":"Ejecutar Milvus con soporte GPU usando Docker Compose","href":"Run-Milvus-with-GPU-Support-Using-Docker-Compose","type":1,"isActive":false},{"label":"Requisitos previos","href":"Prerequisites","type":2,"isActive":false},{"label":"Instalar Milvus","href":"Install-Milvus","type":2,"isActive":false},{"label":"Configurar el pool de memoria","href":"Configure-memory-pool","type":2,"isActive":false},{"label":"Lo que sigue","href":"Whats-next","type":2,"isActive":false}]}
    \ No newline at end of file
    +{"codeList":["$ wget https://github.com/milvus-io/milvus/releases/download/v2.4.17/milvus-standalone-docker-compose-gpu.yml -O docker-compose.yml\n","...\nstandalone:\n  ...\n  deploy:\n    resources:\n      reservations:\n        devices:\n          - driver: nvidia\n            capabilities: [\"gpu\"]\n            device_ids: [\"0\"]\n...\n","...\nstandalone:\n  ...\n  deploy:\n    resources:\n      reservations:\n        devices:\n          - driver: nvidia\n            capabilities: [\"gpu\"]\n            device_ids: ['0', '1']\n...\n","$ sudo docker compose up -d\n\nCreating milvus-etcd  ... done\nCreating milvus-minio ... done\nCreating milvus-standalone ... done\n","$ sudo docker compose ps\n\n      Name                     Command                  State                            Ports\n--------------------------------------------------------------------------------------------------------------------\nmilvus-etcd         etcd -advertise-client-url ...   Up             2379/tcp, 2380/tcp\nmilvus-minio        /usr/bin/docker-entrypoint ...   Up (healthy)   9000/tcp\nmilvus-standalone   /tini -- milvus run standalone   Up             0.0.0.0:19530->19530/tcp, 0.0.0.0:9091->9091/tcp\n","$ CUDA_VISIBLE_DEVICES=0 ./milvus run standalone\n","$ CUDA_VISIBLE_DEVICES=0,1 ./milvus run standalone\n","# Stop Milvus\n$ sudo docker compose down\n\n# Delete service data\n$ sudo rm -rf volumes\n","docker cp :/milvus/configs/milvus.yaml milvus.yaml\n","vim milvus.yaml\n","...\ngpu:\n  initMemSize: 0\n  maxMemSize: 0\n...\n","docker cp milvus.yaml :/milvus/configs/milvus.yaml\n","docker stop \ndocker start \n"],"headingContent":"Run Milvus with GPU Support Using Docker Compose","anchorList":[{"label":"Ejecutar Milvus con soporte GPU usando Docker Compose","href":"Run-Milvus-with-GPU-Support-Using-Docker-Compose","type":1,"isActive":false},{"label":"Requisitos previos","href":"Prerequisites","type":2,"isActive":false},{"label":"Instalar Milvus","href":"Install-Milvus","type":2,"isActive":false},{"label":"Configurar el pool de memoria","href":"Configure-memory-pool","type":2,"isActive":false},{"label":"Lo que sigue","href":"Whats-next","type":2,"isActive":false}]}
    \ No newline at end of file
    diff --git a/localization/v2.4.x/site/es/getstarted/run-milvus-gpu/install_standalone-docker-compose-gpu.md b/localization/v2.4.x/site/es/getstarted/run-milvus-gpu/install_standalone-docker-compose-gpu.md
    index 27ef07794..674f11917 100644
    --- a/localization/v2.4.x/site/es/getstarted/run-milvus-gpu/install_standalone-docker-compose-gpu.md
    +++ b/localization/v2.4.x/site/es/getstarted/run-milvus-gpu/install_standalone-docker-compose-gpu.md
    @@ -59,8 +59,8 @@ title: Ejecutar Milvus con soporte GPU usando Docker Compose
             >
           
         

    Para instalar Milvus con soporte GPU utilizando Docker Compose, siga estos pasos.

    -

    1. Descargue y configure el archivo YAML

    Descarga milvus-standalone-docker-compose-gpu.yml y guárdelo como docker-compose.yml manualmente, o con el siguiente comando.

    -
    $ wget https://github.com/milvus-io/milvus/releases/download/v2.4.15/milvus-standalone-docker-compose-gpu.yml -O docker-compose.yml
    +

    1. Descargue y configure el archivo YAML

    Descarga milvus-standalone-docker-compose-gpu.yml y guárdelo como docker-compose.yml manualmente, o con el siguiente comando.

    +
    $ wget https://github.com/milvus-io/milvus/releases/download/v2.4.17/milvus-standalone-docker-compose-gpu.yml -O docker-compose.yml
     

    Es necesario realizar algunos cambios en las variables de entorno del servicio autónomo en el archivo YAML como se indica a continuación:

      diff --git a/localization/v2.4.x/site/es/menuStructure/es.json b/localization/v2.4.x/site/es/menuStructure/es.json index 6e216ce49..9f16e3848 100644 --- a/localization/v2.4.x/site/es/menuStructure/es.json +++ b/localization/v2.4.x/site/es/menuStructure/es.json @@ -833,7 +833,7 @@ "children": [] }, { - "label": "Configurar Chunk Cache", + "label": "Configurar la caché de trozos", "id": "chunk_cache.md", "order": 3, "children": [] @@ -1030,7 +1030,7 @@ "isMenu": true, "children": [ { - "label": "Seguimiento de Jaeger", + "label": "Rastreo de Jaeger", "id": "config_jaeger_tracing.md", "order": 0, "children": [] diff --git a/localization/v2.4.x/site/es/reference/index.md b/localization/v2.4.x/site/es/reference/index.md index 51e3ac111..3388b5826 100644 --- a/localization/v2.4.x/site/es/reference/index.md +++ b/localization/v2.4.x/site/es/reference/index.md @@ -56,11 +56,11 @@ Actualmente, un campo vectorial sólo admite un tipo de índice. Milvus elimina d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z" > -

      Milvus admite varios tipos de índices, que se clasifican por el tipo de incrustación que manejan: punto flotante, binario y disperso.

      +

      Milvus admite varios tipos de índices, que se clasifican por el tipo de incrustaciones vectoriales que manejan: incrustaciones de coma flotante (también conocidas como vectores de coma flotante o vectores densos), incrustaciones binarias (también conocidas como vectores binarios) e incrustaciones dispersas (también conocidas como vectores dispersos).

      + Incrustaciones en coma flotante Incrustaciones binarias Incrustaciones dispersas
    -

    Índices para incrustaciones de coma flotante

    Para las incrustaciones de coma flotante de 128 dimensiones, el espacio que ocupan es de 128 * el tamaño de la coma flotante = 512 bytes. Las métricas de distancia utilizadas para las incrustaciones en coma flotante son la distancia euclidiana (L2) y el producto interior (IP).

    +

    Índices para incrustaciones de coma flotante

    En el caso de las incrustaciones de coma flotante de 128 dimensiones (vectores), el almacenamiento que ocupan es de 128 * el tamaño de float = 512 bytes. Y las métricas de distancia utilizadas para las incrustaciones en coma flotante son la distancia euclidiana (L2) y el producto interior (IP).

    Estos tipos de índices incluyen FLAT, IVF_FLAT, IVF_PQ, IVF_SQ8, HNSW, y SCANN para búsquedas RNA basadas en CPU.

    @@ -140,7 +140,7 @@ Actualmente, un campo vectorial sólo admite un tipo de índice. Milvus elimina
    • Consulta de muy alta velocidad
    • -
    • Requiere una tasa de recuperación lo más alta posible
    • +
    • Requiere un índice de recuperación lo más alto posible
    • Grandes recursos de memoria
    @@ -249,13 +249,13 @@ Actualmente, un campo vectorial sólo admite un tipo de índice. Milvus elimina
  • -
  • Búsqueda por rangos

    +
  • Rango de búsqueda

    - +
    ParámetroDescripciónGamaValor por defecto
    max_empty_result_bucketsNúmero máximo de cubos que no devuelven ningún resultado de búsqueda.
    Este es un parámetro de búsqueda por rango y termina el proceso de búsqueda cuando el número de cubos vacíos consecutivos alcanza el valor especificado.
    Aumentar este valor puede mejorar la tasa de recuperación a costa de aumentar el tiempo de búsqueda.
    [1, 65535]2
    max_empty_result_bucketsNúmero máximo de buckets que no devuelven ningún resultado de búsqueda.
    Este es un parámetro de búsqueda por rango y termina el proceso de búsqueda cuando el número de buckets vacíos consecutivos alcanza el valor especificado.
    Aumentar este valor puede mejorar la tasa de recuperación a costa de aumentar el tiempo de búsqueda.
    [1, 65535]2
  • @@ -286,7 +286,7 @@ Actualmente, un campo vectorial sólo admite un tipo de índice. Milvus elimina -
  • Búsqueda por rangos

    +
  • Rango de búsqueda

    @@ -298,7 +298,7 @@ Actualmente, un campo vectorial sólo admite un tipo de índice. Milvus elimina -

    IVF_PQ

    PQ (Cuantización de productos) descompone uniformemente el espacio vectorial original de alta dimensión en productos cartesianos de m espacios vectoriales de baja dimensión y, a continuación, cuantiza los espacios vectoriales de baja dimensión descompuestos. En lugar de calcular las distancias entre el vector objetivo y el centro de todas las unidades, la cuantización de productos permite calcular las distancias entre el vector objetivo y el centro de agrupación de cada espacio de baja dimensión y reduce en gran medida la complejidad temporal y espacial del algoritmo.

    +

    IVF_PQ

    PQ (Product Quantization) descompone uniformemente el espacio vectorial original de alta dimensión en productos cartesianos de m espacios vectoriales de baja dimensión y, a continuación, cuantiza los espacios vectoriales de baja dimensión descompuestos. En lugar de calcular las distancias entre el vector objetivo y el centro de todas las unidades, la cuantización de productos permite calcular las distancias entre el vector objetivo y el centro de agrupación de cada espacio de baja dimensión y reduce en gran medida la complejidad temporal y espacial del algoritmo.

    IVF_PQ realiza la agrupación de índices IVF antes de cuantificar el producto de vectores. Su archivo de índices es incluso más pequeño que IVF_SQ8, pero también provoca una pérdida de precisión durante la búsqueda de vectores.

    Los parámetros de construcción del índice y los parámetros de búsqueda varían según la distribución Milvus. Seleccione primero su distribución de Milvus.

    @@ -328,7 +328,7 @@ Actualmente, un campo vectorial sólo admite un tipo de índice. Milvus elimina
    ParámetroDescripciónGamaValor por defecto
  • -
  • Búsqueda por rangos

    +
  • Rango de búsqueda

    @@ -410,7 +410,7 @@ Actualmente, un campo vectorial sólo admite un tipo de índice. Milvus elimina

    BIN_FLAT

    Este índice es exactamente igual que FLAT, salvo que sólo puede utilizarse para incrustaciones binarias.

    Para aplicaciones de búsqueda de similitud vectorial que requieran una precisión perfecta y dependan de conjuntos de datos relativamente pequeños (a escala de millones), el índice BIN_FLAT es una buena elección. BIN_FLAT no comprime los vectores y es el único índice que puede garantizar resultados de búsqueda exactos. Los resultados de BIN_FLAT también pueden utilizarse como punto de comparación para los resultados producidos por otros índices que tienen menos del 100% de recuperación.

    -

    BIN_FLAT es preciso porque adopta un enfoque exhaustivo de la búsqueda, lo que significa que para cada consulta la entrada objetivo se compara con vectores de un conjunto de datos. Esto hace que BIN_FLAT sea el índice más lento de nuestra lista y poco adecuado para consultar datos vectoriales masivos. No hay parámetros para el índice BIN_FLAT en Milvus, y su uso no requiere entrenamiento de datos ni almacenamiento adicional.

    +

    BIN_FLAT es preciso porque adopta un enfoque exhaustivo de la búsqueda, lo que significa que para cada consulta la entrada objetivo se compara con vectores de un conjunto de datos. Esto hace que BIN_FLAT sea el índice más lento de nuestra lista y poco adecuado para consultar datos vectoriales masivos. No hay parámetros para el índice BIN_FLAT en Milvus y su uso no requiere entrenamiento de datos ni almacenamiento adicional.

    • Parámetros de búsqueda

    ParámetroDescripciónGamaValor por defecto
    @@ -425,7 +425,7 @@ Actualmente, un campo vectorial sólo admite un tipo de índice. Milvus elimina

    BIN_IVF_FLAT

    Este índice es exactamente igual que IVF_FLAT, salvo que sólo puede utilizarse para incrustaciones binarias.

    BIN_IVF_FLAT divide los datos vectoriales en unidades de clúster nlist y, a continuación, compara las distancias entre el vector de entrada objetivo y el centro de cada clúster. Dependiendo del número de clústeres que el sistema consulte (nprobe), los resultados de la búsqueda de similitud se basan en comparaciones entre la entrada de destino y los vectores del clúster o clústeres más similares, lo que reduce drásticamente el tiempo de consulta.

    -

    Ajustando nprobe, se puede encontrar un equilibrio ideal entre precisión y velocidad para un escenario determinado. El tiempo de consulta aumenta considerablemente a medida que aumentan tanto el número de vectores de entrada objetivo (nq), como el número de clusters a buscar (nprobe).

    +

    Ajustando nprobe, se puede encontrar un equilibrio ideal entre precisión y velocidad para un escenario determinado. El tiempo de consulta aumenta bruscamente a medida que aumentan tanto el número de vectores de entrada objetivo (nq), como el número de clusters a buscar (nprobe).

    BIN_IVF_FLAT es el índice BIN_IVF más básico, y los datos codificados almacenados en cada unidad son coherentes con los datos originales.

    • Parámetros de construcción del índice

      @@ -450,13 +450,13 @@ Actualmente, un campo vectorial sólo admite un tipo de índice. Milvus elimina
  • -
  • Búsqueda por rangos

    +
  • Rango de búsqueda

    - +
    ParámetroDescripciónGamaValor por defecto
    max_empty_result_bucketsNúmero máximo de cubos que no devuelven ningún resultado de búsqueda.
    Este es un parámetro de búsqueda por rango y termina el proceso de búsqueda cuando el número de cubos vacíos consecutivos alcanza el valor especificado.
    Aumentar este valor puede mejorar la tasa de recuperación a costa de aumentar el tiempo de búsqueda.
    [1, 65535]2
    max_empty_result_bucketsNúmero máximo de buckets que no devuelven ningún resultado de búsqueda.
    Este es un parámetro de búsqueda por rango y termina el proceso de búsqueda cuando el número de buckets vacíos consecutivos alcanza el valor especificado.
    Aumentar este valor puede mejorar la tasa de recuperación a costa de aumentar el tiempo de búsqueda.
    [1, 65535]2
  • @@ -482,13 +482,13 @@ Actualmente, un campo vectorial sólo admite un tipo de índice. Milvus elimina ParámetroDescripciónRango -drop_ratio_searchProporción de valores pequeños del vector que se excluyen durante el proceso de búsqueda. Esta opción permite ajustar con precisión el proceso de búsqueda especificando la proporción de los valores más pequeños del vector de consulta que deben ignorarse. Ayuda a equilibrar la precisión y el rendimiento de la búsqueda. Cuanto menor sea el valor establecido para drop_ratio_search, menos contribuirán estos valores pequeños a la puntuación final. Al ignorar algunos valores pequeños, se puede mejorar el rendimiento de la búsqueda con un impacto mínimo en la precisión.[0, 1] +drop_ratio_searchProporción de valores pequeños del vector que se excluyen durante el proceso de búsqueda. Esta opción permite afinar el proceso de búsqueda especificando la proporción de los valores más pequeños del vector de consulta que deben ignorarse. Ayuda a equilibrar la precisión y el rendimiento de la búsqueda. Cuanto menor sea el valor establecido para drop_ratio_search, menos contribuirán estos valores pequeños a la puntuación final. Al ignorar algunos valores pequeños, se puede mejorar el rendimiento de la búsqueda con un impacto mínimo en la precisión.[0, 1]

    VARA_ESPOSA

    Este índice comparte similitudes con SPARSE_INVERTED_INDEX, aunque utiliza el algoritmo Weak-AND para reducir aún más el número de evaluaciones de distancia IP completa durante el proceso de búsqueda.

    -

    Según nuestras pruebas, SPARSE_WAND suele superar a otros métodos en términos de velocidad. Sin embargo, su rendimiento puede deteriorarse rápidamente a medida que aumenta la densidad de los vectores. Para solucionar este problema, la introducción de un valor distinto de cero en drop_ratio_search puede mejorar significativamente el rendimiento, con una pérdida de precisión mínima. Para más información, consulte Vector disperso.

    +

    Según nuestras pruebas, SPARSE_WAND suele superar a otros métodos en términos de velocidad. Sin embargo, su rendimiento puede deteriorarse rápidamente a medida que aumenta la densidad de los vectores. Para solucionar este problema, la introducción de un valor distinto de cero en drop_ratio_search puede mejorar significativamente el rendimiento con una pérdida mínima de precisión. Para más información, consulte Vector disperso.

    • Parámetros de creación de índices

      diff --git a/localization/v2.4.x/site/es/reference/metric.json b/localization/v2.4.x/site/es/reference/metric.json index b9e284c5f..637c2f655 100644 --- a/localization/v2.4.x/site/es/reference/metric.json +++ b/localization/v2.4.x/site/es/reference/metric.json @@ -1 +1 @@ -{"codeList":[],"headingContent":"","anchorList":[{"label":"Métricas de similitud","href":"Similarity-Metrics","type":1,"isActive":false},{"label":"PREGUNTAS MÁS FRECUENTES","href":"FAQ","type":2,"isActive":false},{"label":"Más información","href":"Whats-next","type":2,"isActive":false}]} \ No newline at end of file +{"codeList":[],"headingContent":"Similarity Metrics","anchorList":[{"label":"Métricas de similitud","href":"Similarity-Metrics","type":1,"isActive":false},{"label":"FAQ","href":"FAQ","type":2,"isActive":false},{"label":"Más información","href":"Whats-next","type":2,"isActive":false}]} \ No newline at end of file diff --git a/localization/v2.4.x/site/es/reference/metric.md b/localization/v2.4.x/site/es/reference/metric.md index 5a5b00ac0..c31ae2d01 100644 --- a/localization/v2.4.x/site/es/reference/metric.md +++ b/localization/v2.4.x/site/es/reference/metric.md @@ -21,14 +21,14 @@ title: Métricas de similitud >

      En Milvus, las métricas de similitud se utilizan para medir las similitudes entre vectores. La elección de una buena métrica de distancia ayuda a mejorar significativamente el rendimiento de la clasificación y la agrupación.

      -

      La siguiente tabla muestra cómo estas métricas de similitud ampliamente utilizadas se ajustan a varias formas de datos de entrada e índices Milvus.

      +

      La siguiente tabla muestra cómo estas métricas de similitud ampliamente utilizadas se ajustan a varias formas de datos de entrada e índices de Milvus. Actualmente, Milvus admite varios tipos de datos, incluyendo incrustaciones de punto flotante (a menudo conocidas como vectores de punto flotante o vectores densos), incrustaciones binarias (también conocidas como vectores binarios) e incrustaciones dispersas (también conocidas como vectores dispersos).

      + Incrustacionesencoma flotanteIncrustaciones binariasIncrustaciones dispersas
      - + @@ -82,14 +82,14 @@ title: Métricas de similitud

      Es la métrica de distancia más utilizada y resulta muy útil cuando los datos son continuos.

      Milvus sólo cacula el valor antes de aplicar la raíz cuadrada cuando se elige la distancia euclídea como métrica de distancia.
      -

      Producto interior (PI)

      La distancia IP entre dos incrustaciones se define de la siguiente manera:

      +

      Producto interior (PI)

      La distancia IP entre dos incrustaciones vectoriales se definen de la siguiente manera:

      ip ip

      -

      IP es más útil si necesita comparar datos no normalizados o cuando se preocupa por la magnitud y el ángulo.

      +

      El PI es más útil si necesita comparar datos no normalizados o cuando le importan la magnitud y el ángulo.

      -

      Si aplica la métrica de distancia IP a incrustaciones normalizadas, el resultado será equivalente al cálculo de la similitud coseno entre las incrustaciones.

      +

      Si se aplica la métrica de distancia IP a incrustaciones normalizadas, el resultado será equivalente al cálculo de la similitud coseno entre las incrustaciones.

      Supongamos que X' se normaliza a partir de la incrustación X:

      @@ -131,7 +131,7 @@ Milvus sólo cacula el valor antes de aplicar la raíz cuadrada cuando se elige superestructura

      Donde:

        -
      • A es la representación binaria de una fórmula química a recuperar
      • +
      • A es la representación binaria de una fórmula química que se desea recuperar
      • B es la representación binaria de una fórmula química en la base de datos

      Si devuelve 0, A no es una superestructura de B. En caso contrario, el resultado es el contrario.

      @@ -146,7 +146,7 @@ Milvus sólo cacula el valor antes de aplicar la raíz cuadrada cuando se elige
    • B es la representación binaria de una fórmula química en la base de datos
    • Si devuelve 0, A no es una subestructura de B. En caso contrario, el resultado es el contrario.

      -

      PREGUNTAS MÁS FRECUENTES

      -¿Por qué el resultado top1 de una búsqueda vectorial no es el propio vector buscado, si el tipo demétricaesproducto interior?Esto ocurre si no se han normalizado los vectores al utilizar producto interior como métrica de distancia.
      +¿Por qué el resultado top1 de una búsqueda vectorial no es el propio vector buscado, si el tipo demétrica es producto interior? Esto ocurre si no se han normalizado los vectores al utilizar producto interior como métrica de distancia.
      ¿Qué es la normalización? ¿Por qué es necesaria la normalización?

      -

      La normalización se refiere al proceso de convertir una incrustación (vector) para que su norma sea igual a 1. Si utiliza el producto interno para calcular las similitudes de las incrustaciones, debe normalizar sus incrustaciones. Después de la normalización, el producto interior es igual a la similitud coseno.

      +

      La normalización se refiere al proceso de convertir una incrustación (vector) para que su norma sea igual a 1. Si utiliza el producto interno para calcular las similitudes entre incrustaciones, debe normalizar sus incrustaciones. Después de la normalización, el producto interior es igual a la similitud coseno.

      Para más información, consulte Wikipedia.

      @@ -187,5 +187,5 @@ Para más información, consulte tipos de índices soportados en Milvus. +
    • Aprenda más sobre los tipos de índice soportados en Milvus.
    • diff --git a/localization/v2.4.x/site/es/release_notes.json b/localization/v2.4.x/site/es/release_notes.json index c70795013..e63f897bc 100644 --- a/localization/v2.4.x/site/es/release_notes.json +++ b/localization/v2.4.x/site/es/release_notes.json @@ -1 +1 @@ -{"codeList":[],"headingContent":"Release Notes","anchorList":[{"label":"Notas de la versión","href":"Release-Notes","type":1,"isActive":false},{"label":"v2.4.15","href":"v2415","type":2,"isActive":false},{"label":"v2.4.14","href":"v2414","type":2,"isActive":false},{"label":"v2.4.13-hotfix","href":"v2413-hotfix","type":2,"isActive":false},{"label":"[Obsoleto] v2.4.13","href":"Deprecated-v2413","type":2,"isActive":false},{"label":"v2.4.12","href":"v2412","type":2,"isActive":false},{"label":"v2.4.11","href":"v2411","type":2,"isActive":false},{"label":"v2.4.10","href":"v2410","type":2,"isActive":false},{"label":"v2.4.9","href":"v249","type":2,"isActive":false},{"label":"v2.4.8","href":"v248","type":2,"isActive":false},{"label":"v2.4.6","href":"v246","type":2,"isActive":false},{"label":"v2.4.5","href":"v245","type":2,"isActive":false},{"label":"v2.4.4","href":"v244","type":2,"isActive":false},{"label":"v2.4.3","href":"v243","type":2,"isActive":false},{"label":"v2.4.1","href":"v241","type":2,"isActive":false},{"label":"v2.4.0","href":"v240","type":2,"isActive":false},{"label":"v2.4.0-rc.1","href":"v240-rc1","type":2,"isActive":false}]} \ No newline at end of file +{"codeList":[],"headingContent":"Release Notes","anchorList":[{"label":"Release Notes","href":"Release-Notes","type":1,"isActive":false},{"label":"v2.4.17","href":"v2417","type":2,"isActive":false},{"label":"v2.4.15","href":"v2415","type":2,"isActive":false},{"label":"v2.4.14","href":"v2414","type":2,"isActive":false},{"label":"v2.4.13-hotfix","href":"v2413-hotfix","type":2,"isActive":false},{"label":"[Deprecated] v2.4.13","href":"Deprecated-v2413","type":2,"isActive":false},{"label":"v2.4.12","href":"v2412","type":2,"isActive":false},{"label":"v2.4.11","href":"v2411","type":2,"isActive":false},{"label":"v2.4.10","href":"v2410","type":2,"isActive":false},{"label":"v2.4.9","href":"v249","type":2,"isActive":false},{"label":"v2.4.8","href":"v248","type":2,"isActive":false},{"label":"v2.4.6","href":"v246","type":2,"isActive":false},{"label":"v2.4.5","href":"v245","type":2,"isActive":false},{"label":"v2.4.4","href":"v244","type":2,"isActive":false},{"label":"v2.4.3","href":"v243","type":2,"isActive":false},{"label":"v2.4.1","href":"v241","type":2,"isActive":false},{"label":"v2.4.0","href":"v240","type":2,"isActive":false},{"label":"v2.4.0-rc.1","href":"v240-rc1","type":2,"isActive":false}]} \ No newline at end of file diff --git a/localization/v2.4.x/site/es/release_notes.md b/localization/v2.4.x/site/es/release_notes.md index 9722ce644..9258760cd 100644 --- a/localization/v2.4.x/site/es/release_notes.md +++ b/localization/v2.4.x/site/es/release_notes.md @@ -1,9 +1,9 @@ --- id: release_notes.md summary: Notas de la versión de Milvus -title: Notas de la versión +title: Release Notes --- -

      Notas de la versión

      Descubra las novedades de Milvus. Esta página resume las nuevas características, mejoras, problemas conocidos y correcciones de errores de cada versión. Puede encontrar las notas de la versión para cada versión publicada después de la v2.4.0 en esta sección. Le sugerimos que visite regularmente esta página para conocer las actualizaciones.

      +

      Find out what’s new in Milvus! This page summarizes new features, improvements, known issues, and bug fixes in each release. You can find the release notes for each released version after v2.4.0 in this section. We suggest that you regularly visit this page to learn about updates.

      +

      v2.4.17

      Release Date: November 22, 2024

      +
      Tipos de métricasTipos métricos Tipos de índices
      + + + + + + +
      Milvus versionPython SDK versionJava SDK versionNode.js SDK version
      2.4.172.4.92.4.82.4.9
      +

      Milvus 2.4.17 was a minor release aimed at critical stability enhancements. This version addressed various bugs and implemented performance optimizations to bolster system reliability.

      +

      Improvements

        +
      • Enhanced: [2.4] Prevented the generation of “null” search parameters (#37811).
      • +
      • Enhanced: [2.4] Removed unnecessary segment clone updates in distribution (#37797) (#37833).
      • +
      • Enhanced: [2.4] Provided secondary index criteria for filtering leaderview (#37777) (#37802).
      • +
      • Used batch processing to speed up listing collections from meta kv (#37752).
      • +
      • Removed collection queryable checks from health checks (#37731).
      • +
      • [2.4] Removed segment-level tags from monitoring metrics (#37737).
      • +
      • [2.4] Removed unnecessary cloning in setstate (#37736).
      • +
      • Added search parameters to search requests in RESTful API (#37673).
      • +
      • Made Milvus images with AddressSanitizer (ASAN) available (#37682).
      • +
      • [cp24] Tidied compaction logs (#37647).
      • +
      • [2.4] Invalidated the collection cache when releasing collections (#37628).
      • +
      • [2.4] Added CGO call metrics for load/write APIs (#37627).
      • +
      • Enabled node assignment policies in resource groups (#37588).
      • +
      • Optimized describe collection and index operations (#37605).
      • +
      • [2.4] Handled legacy proxy load fields requests (#37569).
      • +
      • [2.4] Added context tracing for query coordination queryable checks (#37534).
      • +
      • [2.4] Improved root coordination task scheduling policies (#37523).
      • +
      • Refactored createindex in the RESTful API (#37237).
      • +
      • [2.4] Used cancel labels for context-canceled storage operations (#37491).
      • +
      • [2.4] Updated the template expression proto to improve transmission efficiency (#37485).
      • +
      +

      Bug fixes

        +
      • Supported upsert with autoid=true in the RESTful API and fixed associated bugs (#37766).
      • +
      • Ensured L0 segments were loaded to workers during channel balancing (#37758).
      • +
      • Fixed delegator stuck in unserviceable status (#37702).
      • +
      • [2.4] Stored default values when errkeynotfound was returned (#37705).
      • +
      • [cp24] Changed memory check from write lock to read lock (#37526).
      • +
      • Ensured getshardleaders retried only on retriable errors (#37687).
      • +
      • [cp24] Corrected varchar primary key size calculations (#37619).
      • +
      • Fixed channel balancing that could get stuck when increasing replica numbers (#37642).
      • +
      • Addressed issues where searches returned fewer results after query node recovery (#37610).
      • +
      • [2.4] Fixed bugs retrieving data from the wrong field for L0 segments (#37599).
      • +
      • Recovered loading collection’s updateTS after query coordination restarts (#37580).
      • +
      • [2.4] Added IP address validation to paramtable (#37500).
      • +
      • Fixed search/query failures caused by segments not being loaded (#37544).
      • +
      • Resolved watch channel issues due to timer reset misuse (#37542).
      • +
      • Fixed subscription leaks (#37541).
      • +
      • Resolved issues with excessively growing segments (#37540).
      • +
      • [cp24] Corrected dropped segment metrics (#37471).
      • +
      • Fixed repeated error codes in Milvus and Segcore (#37449).
      • +
      • [cp24] Separated L0 and mixed trigger intervals (#37319).
      • +

      v2.4.15

      Fecha de lanzamiento: 5 de noviembre de 2024

      +

      Release Date: November 5, 2024

      - +
      Versión de MilvusVersión del SDK de PythonVersión del SDK de JavaVersión del SDK de Node.js
      Milvus versionPython SDK versionJava SDK versionNode.js SDK version
      2.4.152.4.92.4.82.4.9
      -

      Milvus 2.4.15 fue una versión crítica de corrección de errores centrada en mejorar la estabilidad, el rendimiento y la compatibilidad del sistema. Esta versión solucionó un importante problema de bloqueo que podía producirse durante las caídas de QueryNode e introdujo actualizaciones de compatibilidad para la herramienta de copia de seguridad con la función de base de datos. Además, Milvus 2.4.15 mejoró el rendimiento y la estabilidad del borrado mediante importantes optimizaciones en la gestión de L0. Se recomienda encarecidamente actualizar a la versión 2.4.15 para beneficiarse de estas mejoras críticas.

      -

      Corrección de errores críticos

        -
      • Se ha resuelto un problema de bloqueo si el QueryNode se bloqueaba durante la inicialización del cliente de fragmentos(#37354).
      • -
      • Se ha revertido la mejora de soporte de bases de datos para la inserción masiva(#37421).
      • +

        Milvus 2.4.15 was a critical bug-fix release focused on enhancing system stability, performance, and compatibility. This version addressed a major deadlock issue that could occur during QueryNode crashes and introduced compatibility updates for the backup tool with the database feature. Additionally, Milvus 2.4.15 improved delete performance and stability through significant optimizations in L0 handling. Upgrading to v2.4.15 was strongly recommended to benefit from these critical enhancements.

        +

        Critical bug fixes

          +
        • Resolved a deadlock issue if the QueryNode crashed during shard client initialization (#37354).
        • +
        • Reverted the enhancement to support databases for bulk insert (#37421).
        -

        Corrección de errores

          -
        • Se ha corregido un error por el que algunas expresiones no analizaban correctamente los valores(#37342).
        • -
        • Se ha mejorado el proxy para que vuelva a intentar obtener el líder de fragmentos en colecciones descargadas(nº 37326).
        • -
        • Se ha corregido un problema por el que el valor métrico del recuento de filas L0 estaba siempre vacío(nº 37307).
        • -
        • Se ha omitido marcar el tiempo de espera de compactación para escenarios de compactación mixtos y L0(#37194).
        • -
        • Rectificada la lógica de contención de OffsetOrderedArray(#37309).
        • -
        • Añadida una comprobación de recursos al cargar registros delta(#37263).
        • +

          Bug fixes

            +
          • Fixed a bug where certain expressions did not correctly parse values (#37342).
          • +
          • Enhanced the Proxy to retry getting the shard leader on unloaded collections (#37326).
          • +
          • Corrected an issue where the L0 row count metrics value was always empty (#37307).
          • +
          • Skipped marking compaction timeout for mixed and L0 compaction scenarios (#37194).
          • +
          • Rectified the containment logic of OffsetOrderedArray (#37309).
          • +
          • Added a check for resources when loading delta logs (#37263).
          -

          Mejoras

            -
          • Movida la lógica L0 fuera del bloqueo delta para un mejor rendimiento(#37340).
          • -
          • Liberación de segmentos crecientes compactados si están presentes en la lista de abandonos(#37266).
          • -
          • Introducido middleware para monitorizar las estadísticas RPC de entrada/salida RESTful V2(#37224, #37440).
          • +

            Improvements

              +
            • Moved L0 logic outside of the delta lock for better performance (#37340).
            • +
            • Released compacted growing segments if present in the dropped list (#37266).
            • +
            • Introduced middleware to monitor RESTful V2 input/output RPC stats (#37224, #37440).

            v2.4.14

            Fecha de publicación: 31 de octubre de 2024

            +

            Release Date: October 31, 2024

            - +
            Versión MilvusVersión del SDK de PythonVersión del SDK de JavaVersión del SDK de Node.js
            Milvus versionPython SDK versionJava SDK versionNode.js SDK version
            2.4.142.4.92.4.72.4.9
            -

            Milvus 2.4.14 soluciona un problema crítico de la versión 2.4.13 que podía causar la pérdida de información de recolección después de la recolección de basura snapshotKV. También corrige un par de fugas de recursos. Además, esta versión incluye numerosas mejoras centradas en aumentar la estabilidad de las operaciones de borrado a gran escala y el rendimiento de la compactación.

            -

            Características

              -
            • Caché de trozos en modo memoria compatible(#35836)
            • -
            • Soporte de db para bulkinsert(#37017)
            • +

              Milvus 2.4.14 addresses a critical issue from version 2.4.13 that could cause collection information to be lost after snapshotKV garbage collection. It also fixed a couple of resource leaks. Additionally, this release includes numerous enhancements focused on improving stability in large-scale delete operations and compaction performance.

              +

              Features

                +
              • Supported memory mode chunk cache (#35836)
              • +
              • Supported db for bulkinsert (#37017)
              -

              Mejoras

                -
              • Optimización de la eliminación/compactación
                  -
                • Ejecución paralela de compactaciones l0(#36985)
                • -
                • Batched forward delete cuando se utiliza direct forward(#37107)
                • -
                • Omisión de la carga de datos delta en delegater al utilizar remoteload(#37112)
                • -
                • Reenvío directo delta excluyendo segmentos l0(#36914)
                • -
                • Añadida priorización de tareas de compactación en DataCoord(#36979)
                • -
                • Seguimiento de tasas de borrado complejas(#36958)
                • +

                  Improvements

                    +
                  • Delete/Compaction Optimization +
                      +
                    • Enabled parallel execution of l0 compactions (#36985)
                    • +
                    • Batched forward delete when using direct forward (#37107)
                    • +
                    • Skipped loading delta data in delegater when using remoteload (#37112)
                    • +
                    • Directly forwarded delta excluding l0 segments (#36914)
                    • +
                    • Added prioritization of compaction tasks in DataCoord (#36979)
                    • +
                    • Tracked complex delete rates (#36958)
                  • -
                  • Refactorizado CreateCollection en RESTFul API(#36885)
                  • -
                  • Fusión de múltiples operaciones "and" y "or" en una única operación(#36973)
                  • -
                  • Funcionamiento de la carga de salto para todas las ramas(#37161)
                  • -
                  • Actualizada la dependencia de Minio para soportar EKS Pod Identities(#37089)
                  • -
                  • Opciones de importación ordenadas(#37078)
                  • -
                  • Limitado el número máximo de trabajos de importación(#36892)
                  • -
                  • Preasignación de datos para evitar la reasignación de memoria(#37044)
                  • -
                  • Evitado que DataNode cargue el bf(#37027)
                  • -
                  • Evitado limitar las operaciones ddl repetidamente(#37011)
                  • -
                  • Hizo el elemento de configuración datanode.import.maxconcurrenttasknum dinámicamente ajustable(#37103)
                  • -
                  • Utilizado queryNode.mmap.growingMmapEnabled para controlar el comportamiento del índice intermedio(#36391)
                  • -
                  • Rellenados los campos Level y StartPosition en segmentLoadInfo de segmento creciente(#36911)
                  • -
                  • Forzado a detener los mensajes de buffer cuando se recibe el mensaje de drop collection(#36917)
                  • -
                  • Añadidas métricas para la información del búfer de eliminación de querynode(#37097)
                  • -
                  • Añadida etiqueta de nombre de colección para alguna métrica(#37159)
                  • -
                  • Utilizado middleware para observar RESTful v2 in/out rpc stats(#37224)
                  • -
                  • Cambiado el tamaño del pool de memoria por defecto de la GPU(#36969)
                  • -
                  • Actualizada la versión de Knowhere a 2.3.12(#37132)
                  • -
                  • Permitido borrar datos cuando se agota la cuota de disco(#37139)
                  • +
                  • Refactored CreateCollection in RESTFul API (#36885)
                  • +
                  • Fused multiple ‘and’ and ‘or’ operations into a single op (#36973)
                  • +
                  • Made skip load work for all branches (#37161)
                  • +
                  • Upgraded Minio dependency to support EKS Pod Identities (#37089)
                  • +
                  • Tidied import options (#37078)
                  • +
                  • Limited maximum number of import jobs (#36892)
                  • +
                  • Preallocated data slice to avoid re-allocating memory (#37044)
                  • +
                  • Prevented DataNode from loading the bf (#37027)
                  • +
                  • Avoided limiting ddl operations repeatedly (#37011)
                  • +
                  • Made the configuration item datanode.import.maxconcurrenttasknum dynamically adjustable (#37103)
                  • +
                  • Used queryNode.mmap.growingMmapEnabled to control the behavior of interim index (#36391)
                  • +
                  • Populated the Level and StartPosition fields in segmentLoadInfo of growing segment (#36911)
                  • +
                  • Forced to stop buffer messages when receiving the drop collection message (#36917)
                  • +
                  • Added metrics for querynode delete buffer info (#37097)
                  • +
                  • Added collection name label for some metric (#37159)
                  • +
                  • Used middleware to observe RESTful v2 in/out rpc stats (#37224)
                  • +
                  • Changed GPU default memory pool size (#36969)
                  • +
                  • Updated Knowhere version to 2.3.12 (#37132)
                  • +
                  • Allowed deleting data when disk quota exhausted (#37139)
                  -

                  Corrección de errores

                    -
                  • Corregida la información de recolección que no podía ser recuperada desde metakv luego de reiniciar si todas las instantáneas eran recolectadas de la basura(#36950)
                  • -
                  • Corregido el código de error rpc para evitar reintentos inválidos en el cliente(#37025)
                  • -
                  • Ignorado error db no encontrado en el centro de cuotas(#36850)
                  • -
                  • Corregida fuga de goroutine en QueryNode al usar pool de borrado singleton(#37225)
                  • -
                  • Corregida fuga de colección en querynode(#37079)
                  • -
                  • Corregida la fuga de la tarea de compactación de clustering(#36803)
                  • -
                  • Prohibido renombrar una colección que tenía un alias(#37208)
                  • -
                  • Asegurarse de que el alias se almacena en caché(#36808)
                  • -
                  • La búsqueda/consulta podría haber fallado durante la actualización de la caché del delegador(#37174)
                  • -
                  • Excluida la compactación l0 cuando se ejecutaba la agrupación(#37142)
                  • -
                  • Meta de colección referenciada al cargar sólo meta de segmento l0(#37179)
                  • -
                  • Delegador podría haber quedado inservible después de reiniciar querycoord(#37100)
                  • -
                  • La partición de liberación dinámica podría haber fallado en la búsqueda/consulta(#37099)
                  • -
                  • Rectificado el valor de la cuota de recuento de filas del búfer de borrado(nº 37068)
                  • -
                  • Se pasaba la lista de campos completa cuando estaba activada la carga parcial(nº 37063)
                  • -
                  • Pánico en el nodo de consulta durante el envío de rpc al trabajador(#36988)
                  • -
                  • Datacoord se atascaba al detener el progreso(#36961)
                  • -
                  • Se ha corregido el acceso fuera de límites en el segmento creciente cuando los datos brutos se sustituían por un índice provisional(#36938)
                  • -
                  • Rootcoord se atascaba en el progreso de parada graceful(#36881)
                  • +

                    Bug fixes

                      +
                    • Fixed collection info that could not be recovered from metakv after restart if all snapshots were garbage collected (#36950)
                    • +
                    • Corrected the rpc error code to avoid invalid retry in client (#37025)
                    • +
                    • Ignored db not found error in quota center (#36850)
                    • +
                    • Fixed goroutine leakage in QueryNode by using singleton delete pool (#37225)
                    • +
                    • Fixed collection leak in querynode (#37079)
                    • +
                    • Fixed leakage of clustering compaction task (#36803)
                    • +
                    • Prohibited renaming a collection that had an alias (#37208)
                    • +
                    • Made sure alias was cached (#36808)
                    • +
                    • Search/query could have failed during updating delegator cache (#37174)
                    • +
                    • Excluded l0 compaction when clustering was executing (#37142)
                    • +
                    • Referenced collection meta when loading l0 segment meta only (#37179)
                    • +
                    • Delegator might have become unserviceable after querycoord restart (#37100)
                    • +
                    • Dynamic release partition might have failed search/query (#37099)
                    • +
                    • Rectified delete buffer row count quota value (#37068)
                    • +
                    • Passed full field list when partial load enabled (#37063)
                    • +
                    • Query node panic occurred during sending rpc to worker (#36988)
                    • +
                    • Datacoord got stuck at stopping progress (#36961)
                    • +
                    • Fixed the out-of-bounds access in the growing segment when raw data was replaced by interim index (#36938)
                    • +
                    • Rootcoord got stuck at graceful stop progress (#36881)

                    v2.4.13-hotfix

                    Fecha de publicación: 17 de octubre de 2024

                    +

                    Release Date: October 17, 2024

                    - +
                    Versión de MilvusVersión del SDK de PythonVersión del SDK de JavaVersión del SDK de Node.js
                    Milvus versionPython SDK versionJava SDK versionNode.js SDK version
                    2.4.13-hotfix2.4.82.4.52.4.9
                    -

                    Milvus v2.4.13-hotfix soluciona un problema crítico específico de v2.4.13, donde Milvus puede fallar al recuperar la información de recolección después de un reinicio si todas las instantáneas de MetaKV fueron recolectadas como basura(#36933). Se recomienda a los usuarios que actualmente ejecutan la versión 2.4.13 que actualicen a la versión 2.4.13-hotfix lo antes posible para evitar posibles interrupciones.

                    -

                    Correcciones críticas

                      -
                    • Cargar la clave original si la marca de tiempo es MaxTimestamp(#36935)
                    • +

                      Milvus v2.4.13-hotfix addresses a critical issue specific to v2.4.13, where Milvus may fail to retrieve collection information after a restart if all MetaKV snapshots were garbage-collected (#36933). Users currently running v2.4.13 are advised to upgrade to v2.4.13-hotfix at the earliest opportunity to avoid potential disruptions.

                      +

                      Critical fixes

                        +
                      • Load original key if timestamp is MaxTimestamp (#36935)
                      -

                      [Obsoleto] v2.4.13

                      Fecha de publicación: 12 de octubre de 2024

                      +

                      Release Date: October 12, 2024

                      - +
                      Versión de MilvusVersión del SDK de PythonVersión del SDK de JavaVersión del SDK de Node.js
                      Milvus versionPython SDK versionJava SDK versionNode.js SDK version
                      2.4.132.4.82.4.52.4.9
                      -

                      Milvus 2.4.13 introduce la carga dinámica de réplicas, permitiendo a los usuarios ajustar el número de réplicas de la colección sin necesidad de liberar y recargar la colección. Esta versión también soluciona varios errores críticos relacionados con la importación masiva, el análisis sintáctico de expresiones, el equilibrio de carga y la recuperación de fallos. Además, se han introducido mejoras significativas en el uso de los recursos MMAP y en el rendimiento de las importaciones, mejorando la eficiencia general del sistema. Recomendamos encarecidamente la actualización a esta versión para mejorar el rendimiento y la estabilidad.

                      -

                      Características

                        -
                      • Ajuste dinámico de réplicas para colecciones cargadas(#36417)
                      • -
                      • MMAP de vectores dispersos en tipos de segmento crecientes(#36565)
                      • +

                        Milvus 2.4.13 introduces dynamic replica load, allowing users to adjust the number of collection replicas without needing to release and reload the collection. This version also addresses several critical bugs related to bulk importing, expression parsing, load balancing, and failure recovery. Additionally, significant improvements have been made to MMAP resource usage and import performance, enhancing overall system efficiency. We highly recommend upgrading to this release for better performance and stability.

                        +

                        Features

                          +
                        • Dynamic replica adjustment for loaded collections (#36417)
                        • +
                        • Sparse vector MMAP in growing segment types (#36565)
                        -

                        Corrección de errores

                          -
                        • Corrección de un problema de rendimiento de descarga(#36741)
                        • -
                        • Corrección de un error con expresiones JSON en "[]"(#36722)
                        • -
                        • Eliminación de vecinos si el destino compacto no está indexado(#36694)
                        • -
                        • Mejora del rendimiento de Rocksmq cuando el canal está lleno(#36618)
                        • -
                        • Se ha solucionado un problema por el que no se diferían los errores durante el desempaquetado(#36665)
                        • -
                        • Resuelto un escape de memoria para segmentos importados en el gestor de segmentos(#36631)
                        • -
                        • Se han omitido comprobaciones de estado innecesarias para nodos de consulta en el proxy(nº 36553).
                        • -
                        • Solucionado un problema de desbordamiento con expresiones de términos(#36534)
                        • -
                        • Registro del ID de nodo antes de asignar tareas para evitar la asignación incorrecta de tareas(#36493)
                        • -
                        • Resueltos los problemas de carrera de datos en la compactación de clustering(#36499)
                        • -
                        • Se ha añadido una comprobación de la longitud máxima de la matriz de cadenas tras la coincidencia de tipos(nº 36497).
                        • -
                        • Resueltas las condiciones de carrera en modo mixto o autónomo(#36459)
                        • -
                        • Corrección del desequilibrio de segmentos tras operaciones repetidas de carga y liberación(#36543)
                        • -
                        • Corregido un caso donde los segmentos no podían ser movidos desde un nodo de parada(#36475)
                        • -
                        • Actualizada la información de segmento correctamente incluso si faltaban algunos segmentos(#36729)
                        • -
                        • Se ha evitado que las transacciones etcd excedan el límite máximo en la instantánea KV(#36773)
                        • +

                          Bug fixes

                            +
                          • Fixed a flush performance issue (#36741)
                          • +
                          • Fixed a bug with JSON expressions in "[]" (#36722)
                          • +
                          • Removed neighbors if compact target is unindexed (#36694)
                          • +
                          • Improved performance for Rocksmq when channel is full (#36618)
                          • +
                          • Fixed an issue where errors during unpinning were not deferred (#36665)
                          • +
                          • Resolved a memory leak for imported segments in the segment manager (#36631)
                          • +
                          • Skipped unnecessary health checks for query nodes in the proxy (#36553)
                          • +
                          • Fixed an overflow issue with term expressions (#36534)
                          • +
                          • Recorded node ID before assigning tasks to prevent task misallocation (#36493)
                          • +
                          • Resolved data race issues in clustering compaction (#36499)
                          • +
                          • Added a check for string array max length after type matching (#36497)
                          • +
                          • Addressed race conditions in mix or standalone mode (#36459)
                          • +
                          • Fixed segment imbalance after repeated load and release operations (#36543)
                          • +
                          • Corrected a corner case where segments couldn’t be moved from a stopping node (#36475)
                          • +
                          • Updated segment info properly even if some segments were missing (#36729)
                          • +
                          • Prevented etcd transactions from exceeding the max limit in snapshot KV (#36773)
                          -

                          Mejoras

                            -
                          • Mejorada la estimación de recursos MMAP:
                              -
                            • Mejorado el código relacionado con MMAP en column.h(#36521)
                            • -
                            • Mejora de la estimación de recursos al cargar colecciones(#36728)
                            • +

                              Improvements

                                +
                              • Enhanced MMAP resource estimation: +
                                  +
                                • Improved MMAP-related code in column.h (#36521)
                                • +
                                • Refined resource estimation when loading collections (#36728)
                              • -
                              • Mejoras de rendimiento:
                                  -
                                • Mejora de la eficiencia de análisis de expresiones mediante la conversión de Unicode a ASCII(#36676)
                                • -
                                • Habilitada la producción paralela de mensajes para múltiples temas(#36462)
                                • -
                                • Reducción de la sobrecarga de la CPU al calcular el tamaño del archivo de índice(#36580)
                                • -
                                • Obtención del tipo de mensaje de la cabecera para minimizar el desmarcado(#36454)
                                • -
                                • Optimizada la política de selección de réplicas basada en la carga de trabajo(#36384)
                                • +
                                • Performance Enhancements: +
                                    +
                                  • Improved expression parsing efficiency by converting Unicode to ASCII (#36676)
                                  • +
                                  • Enabled parallel production of messages for multiple topics (#36462)
                                  • +
                                  • Reduced CPU overhead when calculating index file size (#36580)
                                  • +
                                  • Retrieved message type from header to minimize unmarshalling (#36454)
                                  • +
                                  • Optimized workload-based replica selection policy (#36384)
                                • -
                                • Dividir los mensajes de la tarea de eliminación para ajustarlos a los límites de tamaño máximo de los mensajes(#36574)
                                • -
                                • Añadida nueva URL RESTful para describir las tareas de importación(#36754)
                                • -
                                • Optimización de la programación de importaciones y adición de una métrica de coste temporal(#36684)
                                • -
                                • Añadido registro de informe de balance para el balanceador del coordinador de consultas(#36749)
                                • -
                                • Cambio al uso de la configuración común de GC(#36670)
                                • -
                                • Añadido interruptor de política de reenvío de flujo para el delegador(#36712)
                                • -
                                • Habilitada la compactación manual para colecciones sin índices(#36581)
                                • -
                                • Habilitado el equilibrio de carga en nodos de consulta con capacidades de memoria variables(#36625)
                                • -
                                • Caso unificado para etiquetas de entrada utilizando metrics.label(#36616)
                                • -
                                • Se han hecho idempotentes las operaciones de canal/segmento de transferencia(#36552)
                                • -
                                • Añadidas métricas para supervisar el rendimiento de importación y el recuento de filas importadas(#36588)
                                • -
                                • Prevención de la creación de múltiples objetos de temporizador en los objetivos(#36573)
                                • -
                                • Actualizada la versión de expresiones y el formato de respuesta HTTP para expresiones(#36467)
                                • -
                                • Mejorada la recogida de basura en la instantánea KV(#36793)
                                • -
                                • Añadido soporte para ejecutar métodos con parámetros de contexto(#36798)
                                • +
                                • Split delete task messages to fit within max message size limits (#36574)
                                • +
                                • Added new RESTful URL to describe import jobs (#36754)
                                • +
                                • Optimized import scheduling and added a time cost metric (#36684)
                                • +
                                • Added balance report log for query coordinator balancer (#36749)
                                • +
                                • Switched to using common GC configuration (#36670)
                                • +
                                • Added streaming forward policy switch for delegator (#36712)
                                • +
                                • Enabled manual compaction for collections without indexes (#36581)
                                • +
                                • Enabled load balancing on query nodes with varying memory capacities (#36625)
                                • +
                                • Unified case for inbound labels using metrics.label (#36616)
                                • +
                                • Made transfer channel/segment operations idempotent (#36552)
                                • +
                                • Added metrics to monitor import throughput and imported row count (#36588)
                                • +
                                • Prevented creation of multiple timer objects in targets (#36573)
                                • +
                                • Updated expression version and formatted HTTP response for expressions (#36467)
                                • +
                                • Enhanced garbage collection in snapshot KV (#36793)
                                • +
                                • Added support to execute methods with context parameters (#36798)

                                v2.4.12

                                Fecha de publicación: 26 de septiembre de 2024

                                +

                                Release Date: September 26, 2024

                                - +
                                Versión MilvusVersión del SDK de PythonVersión del SDK de JavaVersión del SDK de Node.js
                                Milvus versionPython SDK versionJava SDK versionNode.js SDK version
                                2.4.122.4.72.4.42.4.9
                                -

                                Milvus 2.4.12 introduce mejoras significativas y correcciones de errores críticos. Esta versión soluciona los problemas de duplicación de datos y mejora la velocidad de recuperación de fallos, especialmente cuando se manejan grandes cantidades de borrados. Sin embargo, persiste un problema conocido por el que la recuperación de fallos puede ser lenta cuando se borran grandes cantidades de datos. Estamos trabajando activamente para resolver este problema.

                                -

                                Mejoras

                                  -
                                • Se ha implementado una parada graceful para el gestor de flowgraph(#36358)
                                • -
                                • Desactivada la comprobación de índices para campos vectoriales no cargados(#36280)
                                • -
                                • Se han filtrado los registros borrados no exitosos durante la carga delta(#36272)
                                • -
                                • Mejorada la gestión de errores para excepciones std::stoi(#36296)
                                • -
                                • No se permiten palabras clave como nombres de campo o nombres de campo dinámicos(#36108)
                                • -
                                • Añadidas métricas para borrar entradas en segmentos L0(#36227)
                                • -
                                • Implementada la política de reenvío de L0 para soportar la carga remota(#36208)
                                • -
                                • Añadida comprobación de carga de campo RNA en proxy(#36194)
                                • -
                                • Habilitado el soporte de filas dispersas vacías(#36061)
                                • -
                                • Corregida una vulnerabilidad de seguridad(#36156)
                                • -
                                • Implementado un gestor de estadísticas para las métricas de tamaño de solicitud/respuesta(#36118)
                                • -
                                • Se ha corregido la estimación del tamaño de las matrices de datos codificadas(#36379)
                                • +

                                  Milvus 2.4.12 introduces significant enhancements and critical bug fixes. This release addresses data duplication issues and improves failure recovery speed, particularly when handling large numbers of deletions. However, a known issue persists where failure recovery can be slow when deleting massive amounts of data. We are actively working on resolving this issue.

                                  +

                                  Improvements

                                    +
                                  • Implemented graceful stop for flowgraph manager (#36358)
                                  • +
                                  • Disabled index checks for non-loaded vector fields (#36280)
                                  • +
                                  • Filtered out non-hit delete records during delta loading (#36272)
                                  • +
                                  • Improved error handling for std::stoi exceptions (#36296)
                                  • +
                                  • Disallowed keywords as field names or dynamic field names (#36108)
                                  • +
                                  • Added metrics for delete entries in L0 segments (#36227)
                                  • +
                                  • Implemented L0 forward policy to support remote loading (#36208)
                                  • +
                                  • Added ANN field loading check in proxy (#36194)
                                  • +
                                  • Enabled empty sparse row support (#36061)
                                  • +
                                  • Fixed a security vulnerability (#36156)
                                  • +
                                  • Implemented stats handler for request/response size metrics (#36118)
                                  • +
                                  • Corrected size estimation for encoded array data (#36379)
                                  -

                                  Corrección de errores

                                    -
                                  • Resueltos errores de tipo de métrica para colecciones con dos campos vectoriales(#36473)
                                  • -
                                  • Corregidos los problemas de almacenamiento en búferes largos que provocaban fallos en la recepción de colas de mensajes(#36425)
                                  • -
                                  • Se ha implementado la devolución adecuada de compactación a segmentos tras la división(nº 36429).
                                  • -
                                  • Resueltos los problemas de carrera de datos con la goroutina de comprobación de ID de nodo(#36377)
                                  • -
                                  • Eliminada la comprobación del tipo de elemento(#36324)
                                  • -
                                  • Solucionados los problemas de acceso concurrente para segmentos crecientes y sellados(#36288)
                                  • -
                                  • Implementación de bloqueo de estado futuro(#36333)
                                  • -
                                  • Corregido el uso de offset en HybridSearch(#36287, #36253)
                                  • -
                                  • Resuelto el segmento sucio/canal de fugas en QueryNode(#36259)
                                  • -
                                  • Corregida la duplicación de claves primarias(#36274)
                                  • -
                                  • Ajuste del tipo de métrica en las solicitudes de búsqueda(#36279)
                                  • -
                                  • Corregido el problema de eliminación de la métrica stored_index_files_size(#36161)
                                  • -
                                  • Se ha corregido el comportamiento del grupo de privilegios de lectura y escritura para el acceso global a la API(#36145)
                                  • +

                                    Bug fixes

                                      +
                                    • Resolved metric type errors for collections with two vector fields (#36473)
                                    • +
                                    • Fixed long buffering issues causing message queue reception failures (#36425)
                                    • +
                                    • Implemented proper compact-to-segments return after split support (#36429)
                                    • +
                                    • Resolved data race issues with node ID check goroutine (#36377)
                                    • +
                                    • Removed element type check (#36324)
                                    • +
                                    • Fixed concurrent access issues for growing and sealed segments (#36288)
                                    • +
                                    • Implemented future stateful lock (#36333)
                                    • +
                                    • Corrected offset usage in HybridSearch (#36287, #36253)
                                    • +
                                    • Resolved dirty segment/channel leaks on QueryNode (#36259)
                                    • +
                                    • Fixed primary key duplication handling (#36274)
                                    • +
                                    • Enforced metric type setting in search requests (#36279)
                                    • +
                                    • Fixed stored_index_files_size metric clearing issue (#36161)
                                    • +
                                    • Corrected readwrite privilege group behavior for global API access (#36145)

                                    v2.4.11

                                    Fecha de publicación: 11 de septiembre de 2024

                                    +

                                    Release Date: September 11, 2024

                                    - +
                                    Versión de MilvusVersión del SDK de PythonVersión del SDK de JavaVersión del SDK de Node.js
                                    Milvus versionPython SDK versionJava SDK versionNode.js SDK version
                                    2.4.112.4.62.4.32.4.8
                                    -

                                    Milvus 2.4.11 es una versión de corrección de errores que aborda múltiples problemas críticos relacionados con el índice trie MARISA, la compactación y las operaciones de carga. Esta versión introduce nuevas funciones para visualizar expresiones y mejorar la estabilidad de borrado. Recomendamos a todos los usuarios de la serie 2.4.x que actualicen a esta versión para beneficiarse de estas mejoras y correcciones.

                                    -

                                    Características

                                      -
                                    • Añadida vista estática para expresiones en 2.4(#35954)
                                    • -
                                    • Implementación de la lógica de cuotas relacionadas con el búfer de borrado(#35997)
                                    • +

                                      Milvus 2.4.11 is a bug-fix release that addresses multiple critical issues related to the MARISA trie index, compaction, and loading operations. This release introduces new features to view expressions and improve delete stability. We recommend all users of the 2.4.x series to upgrade to this version to benefit from these improvements and fixes.

                                      +

                                      Features

                                        +
                                      • Added static view for expressions in 2.4 (#35954)
                                      • +
                                      • Implemented delete buffer related quota logic (#35997)
                                      -

                                      Corrección de errores

                                        -
                                      • Resuelto el problema de operación de rango de índice Trie para comparaciones GreaterThan y GreaterThanEqual(#36126)
                                      • -
                                      • Corrección del uso de marisa_label_order en la construcción de índices Trie(#36060)
                                      • -
                                      • Mejora de la comprobación de valores para trie.predictive_search (#35999)
                                      • -
                                      • Habilitado el soporte de expresiones aritméticas binarias en índices invertidos(#36097)
                                      • -
                                      • Corregido fallo de segmento causado por Skipindex(#35908)
                                      • -
                                      • Resuelta la fuga de memoria en la meta caché del proxy(#36076)
                                      • -
                                      • Cambio de nombre de la ruta del archivo mmap para evitar conflictos de directorio(#35975)
                                      • -
                                      • Se ha mejorado el registro y la limpieza de las tareas fallidas o que agotan el tiempo de espera en la compactación mixta(#35967).
                                      • -
                                      • Se ha solucionado el bloqueo lógico durante un uso elevado de memoria por parte del delegador(#36066)
                                      • -
                                      • Implementación de la creación de segmentos vacíos cuando la compactación elimina todas las inserciones(nº 36045)
                                      • -
                                      • Corregida la población de la lista de campos de carga de la información de carga de la versión antigua en 2.4(#36018)
                                      • -
                                      • Corregida la lógica de actualización de la configuración de rastreo en 2.4(#35998)
                                      • -
                                      • Resueltos los fallos de solicitud de búsqueda/consulta durante la liberación de particiones dinámicas(#36019)
                                      • -
                                      • Se ha evitado la anulación de los parámetros de reserva(#36006)
                                      • -
                                      • Asegurado el registro correcto de los grupos de privilegios para la validación(#35938)
                                      • -
                                      • Se ha evitado la limpieza errónea de nodos limitadores de base de datos(#35992)
                                      • -
                                      • Solucionado el problema de las réplicas que no participan en las consultas tras la recuperación de fallos(#35925)
                                      • -
                                      • Resuelta carrera de datos en escritor de compactación de clustering(#35958)
                                      • -
                                      • Corregida la referencia a variables tras una operación de movimiento(#35904)
                                      • -
                                      • Implementación de la comprobación del comportamiento de carga de omisión de clave de agrupación(#35899)
                                      • -
                                      • Asegurado el inicio único de los observadores querycoord en 2.4(#35817)
                                      • +

                                        Bug fixes

                                          +
                                        • Resolved Trie index range operation issue for GreaterThan and GreaterThanEqual comparisons (#36126)
                                        • +
                                        • Corrected marisa_label_order usage in Trie index construction (#36060)
                                        • +
                                        • Enhanced value checking for trie.predictive_search (#35999)
                                        • +
                                        • Enabled Binary arithmetic expression support on inverted index (#36097)
                                        • +
                                        • Fixed segment fault caused by Skipindex (#35908)
                                        • +
                                        • Resolved memory leak in proxy meta cache (#36076)
                                        • +
                                        • Renamed mmap file path to prevent directory conflicts (#35975)
                                        • +
                                        • Improved logging and cleanup for failed/timeout tasks in mix compaction (#35967)
                                        • +
                                        • Addressed logic deadlock during high memory usage by delegator (#36066)
                                        • +
                                        • Implemented empty segment creation when compaction deletes all inserts (#36045)
                                        • +
                                        • Corrected load field list population from old version load info in 2.4 (#36018)
                                        • +
                                        • Fixed tracing config update logic in 2.4 (#35998)
                                        • +
                                        • Resolved search/query request failures during dynamic partition release (#36019)
                                        • +
                                        • Prevented override of fallback parameters (#36006)
                                        • +
                                        • Ensured proper registration of privilege groups for validation (#35938)
                                        • +
                                        • Prevented mistaken cleanup of db limiter nodes (#35992)
                                        • +
                                        • Addressed issue with replicas not participating in queries after failure recovery (#35925)
                                        • +
                                        • Resolved data race in clustering compaction writer (#35958)
                                        • +
                                        • Fixed variable reference after move operation (#35904)
                                        • +
                                        • Implemented clustering key skip load behavior check (#35899)
                                        • +
                                        • Ensured single startup of querycoord observers in 2.4 (#35817)
                                        -

                                        Mejoras

                                          -
                                        • Actualizada la versión de Milvus & proto a 2.4.11(#36069)
                                        • -
                                        • Se ha corregido la pérdida de memoria en las pruebas unitarias y se ha habilitado la opción use_asan para las compilaciones unittest(#35857)
                                        • -
                                        • Ajustados los límites de l0segmentsrowcount a valores más apropiados(#36015)
                                        • -
                                        • Modificado el factor de estimación de memoria deltalog a uno(#36035)
                                        • -
                                        • Implementación de slicesetequal para las comparaciones de listas de campos de carga(#36062)
                                        • -
                                        • Reducida la frecuencia de registro para operaciones de borrado(#35981)
                                        • -
                                        • Actualizada la versión de etcd a 3.5.14(#35977)
                                        • -
                                        • Optimizada la reducción mmap-rss después del calentamiento(#35965)
                                        • -
                                        • Eliminado el periodo de enfriamiento en el limitador de velocidad para peticiones de lectura(#35936)
                                        • -
                                        • Mejorada la comprobación de campos de carga para colecciones previamente cargadas(#35910)
                                        • -
                                        • Añadido soporte para eliminar roles relacionados con listas de privilegios en 2.4(#35863)
                                        • -
                                        • Implementación de reglas depguard para prohibir el uso de bibliotecas proto obsoletas(#35818)
                                        • +

                                          Improvements

                                            +
                                          • Upgraded Milvus & proto version to 2.4.11 (#36069)
                                          • +
                                          • Addressed memory leak in unit tests and enable use_asan option for unittest builds (#35857)
                                          • +
                                          • Adjusted l0segmentsrowcount limits to more appropriate values (#36015)
                                          • +
                                          • Modified deltalog memory estimation factor to one (#36035)
                                          • +
                                          • Implemented slicesetequal for load field list comparisons (#36062)
                                          • +
                                          • Reduced log frequency for delete operations (#35981)
                                          • +
                                          • Upgraded etcd version to 3.5.14 (#35977)
                                          • +
                                          • Optimized mmap-rss reduction after warmup (#35965)
                                          • +
                                          • Removed cooling off period in rate limiter for read requests (#35936)
                                          • +
                                          • Enhanced load field checking for previously loaded collections (#35910)
                                          • +
                                          • Added support for dropping roles related to privilege lists in 2.4 (#35863)
                                          • +
                                          • Implemented depguard rules to prohibit deprecated proto library usage (#35818)
                                          -

                                          Otros

                                            -
                                          • Actualizada la versión de Knowhere(#36067)
                                          • +

                                            Others

                                              +
                                            • Updated Knowhere version (#36067)

                                            v2.4.10

                                            Fecha de lanzamiento: 30 de agosto de 2024

                                            +

                                            Release Date: August 30, 2024

                                            - +
                                            Versión MilvusVersión Python SDKVersión del SDK de JavaVersión del SDK de Node.js
                                            Milvus versionPython SDK versionJava SDK versionNode.js SDK version
                                            2.4.102.4.62.4.32.4.6
                                            -

                                            Milvus 2.4.10 introduce mejoras significativas en funcionalidad y estabilidad. Las características clave incluyen soporte para operaciones upsert en colecciones habilitadas para AutoID, capacidades de carga parcial de colecciones y varias configuraciones de mapa de memoria (MMAP) para optimizar el uso de memoria. Esta versión también soluciona varios errores que provocaban pánicos, volcados de memoria y fugas de recursos. Recomendamos la actualización para aprovechar al máximo estas mejoras.

                                            -

                                            Características

                                              -
                                            • Upsert con identificación automática: Soporte para operaciones upsert con generación automática de ID(#34633)
                                            • -
                                            • Carga parcial de campos de una colección [Beta Preview]: Permite cargar campos específicos de una colección(#35696)
                                            • -
                                            • Mejoras RBAC:
                                                -
                                              • Añadido soporte de mensajes RBAC para la Captura de Datos de Cambios (CDC)(#35562)
                                              • -
                                              • Introducción de grupos de privilegios de sólo lectura/escritura/admin para simplificar el proceso de concesión de RBAC(#35543)
                                              • -
                                              • Nueva API para realizar copias de seguridad y restaurar configuraciones RBAC(#35513)
                                              • -
                                              • Actualizar caché de proxy después de restaurar metadatos RBAC(#35636)
                                              • +

                                                Milvus 2.4.10 introduces significant improvements in functionality and stability. Key features include support for upsert operations on AutoID-enabled collections, partial collection loading capabilities, and various memory-mapped (MMAP) configurations to optimize memory usage. This release also addresses several bugs causing panics, core dumps, and resource leaks. We recommend upgrading to take full advantage of these improvements.

                                                +

                                                Features

                                                  +
                                                • Upsert with Auto ID: Support for upsert operations with automatic ID generation (#34633)
                                                • +
                                                • Field Partial Load Collection [Beta Preview]: Allows loading specific fields of a collection (#35696)
                                                • +
                                                • RBAC Enhancements: +
                                                    +
                                                  • Added RBAC message support for Change Data Capture (CDC) (#35562)
                                                  • +
                                                  • Introduced readonly/readwrite/admin privilege groups to simplify RBAC grant process (#35543)
                                                  • +
                                                  • New API for backing up and restoring RBAC configurations (#35513)
                                                  • +
                                                  • Refresh proxy cache after restoring RBAC metadata (#35636)
                                                • -
                                                • Configuración MMAP mejorada: Más opciones de configuración general para controlar el comportamiento de MMAP(#35609)
                                                • -
                                                • Restricciones de acceso a bases de datos: Nuevas propiedades para restringir el acceso de lectura a bases de datos(#35754)
                                                • +
                                                • Improved MMAP Configuration: More general configuration options to control MMAP behavior (#35609)
                                                • +
                                                • Database Access Restrictions: New properties to restrict read access to databases (#35754)
                                                -

                                                Corrección de errores

                                                  -
                                                • Corregido el problema de que el cliente Arrow Go no devuelve error(#35820)
                                                • -
                                                • Corregida la limitación de velocidad imprecisa(#35700)
                                                • -
                                                • Resuelto el pánico del proxy tras fallos de la API relacionados con la importación(#35559)
                                                • -
                                                • Corregidos posibles borrados erróneos durante los puntos de comprobación del canal GC(#35708)
                                                • -
                                                • Solucionado el pánico debido a segmentos de importación candidatos vacíos(#35674)
                                                • -
                                                • Corrección de la asignación de memoria mmap(#35726)
                                                • -
                                                • Asegurado canal adecuado viendo para las actualizaciones de 2.2 a 2.4(#35695)
                                                • -
                                                • Corregida la función de liberación de canal de DataNode unwatching(#35657)
                                                • -
                                                • Corregido el recuento de particiones en los metadatos RootCoord(#35601)
                                                • -
                                                • Resueltos los problemas con las actualizaciones de configuración dinámica para ciertos parámetros(#35637)
                                                • +

                                                  Bug fixes

                                                    +
                                                  • Fixed Arrow Go client don’t return error issue (#35820)
                                                  • +
                                                  • Corrected inaccurate rate limiting (#35700)
                                                  • +
                                                  • Resolved proxy panic after import-related API failures (#35559)
                                                  • +
                                                  • Fixed potential mistaken deletions during GC channel checkpoints (#35708)
                                                  • +
                                                  • Addressed panic due to empty candidate import segments (#35674)
                                                  • +
                                                  • Corrected mmap memory deallocation (#35726)
                                                  • +
                                                  • Ensured proper channel watching for upgrades from 2.2 to 2.4 (#35695)
                                                  • +
                                                  • Fixed DataNode unwatching channel release function (#35657)
                                                  • +
                                                  • Corrected partition count in RootCoord metadata (#35601)
                                                  • +
                                                  • Resolved issues with dynamic config updates for certain parameters (#35637)
                                                  -

                                                  Mejoras

                                                  Rendimiento

                                                    -
                                                  • Optimización de la recuperación en campos dinámicos(#35602)
                                                  • -
                                                  • Mejora del rendimiento del conjunto de bits para AVX512(#35480)
                                                  • -
                                                  • Nueva lectura del valor tras la inicialización de once para mejorar la eficiencia(#35643)
                                                  • +

                                                    Improvements

                                                    Performance

                                                      +
                                                    • Optimized retrieval on dynamic fields (#35602)
                                                    • +
                                                    • Improved bitset performance for AVX512 (#35480)
                                                    • +
                                                    • Re-read value after once initialization for better efficiency (#35643)
                                                    -

                                                    Mejoras en la actualización continua

                                                      -
                                                    • Marcado de nodo de consulta como sólo lectura después de suspenderlo(#35586)
                                                    • -
                                                    • Evitar la coexistencia del coordinador antiguo con el nuevo nodo/proxy(#35760)
                                                    • +

                                                      Rolling upgrade improvements

                                                        +
                                                      • Marked query node as read-only after suspended (#35586)
                                                      • +
                                                      • Prevented coexistence of old coordinator with new node/proxy (#35760)
                                                      -

                                                      Otros

                                                        -
                                                      • Optimizado el proceso de construcción del núcleo de Milvus(#35660)
                                                      • -
                                                      • Actualización a protobuf-go v2(#35555)
                                                      • -
                                                      • Rastreo mejorado con codificación de cadena hexadecimal para traceid y spanid(#35568)
                                                      • -
                                                      • Añadidas métricas de número de segmento para el gancho de consulta(#35619)
                                                      • -
                                                      • Mejora de la compatibilidad con el SDK antiguo para la función de configuración de parámetros de carga(#35573)
                                                      • -
                                                      • Añadido soporte para HTTP v1/v2 throttling(#35504)
                                                      • -
                                                      • Corregida la estimación de memoria de índice(#35670)
                                                      • -
                                                      • Posibilidad de escribir varios segmentos en el compactador de mezcla para evitar la generación de segmentos grandes(#35648)
                                                      • +

                                                        Others

                                                          +
                                                        • Optimized Milvus core building process (#35660)
                                                        • +
                                                        • Updated to protobuf-go v2 (#35555)
                                                        • +
                                                        • Enhanced tracing with hex string encoding for traceid and spanid (#35568)
                                                        • +
                                                        • Added hit segment number metrics for query hook (#35619)
                                                        • +
                                                        • Improved compatibility with old SDK for configure load param feature (#35573)
                                                        • +
                                                        • Added support for HTTP v1/v2 throttling (#35504)
                                                        • +
                                                        • Fixed index memory estimation (#35670)
                                                        • +
                                                        • Ability to write multiple segments in mix compactor to avoid large segment generation (#35648)

                                                        v2.4.9

                                                        Fecha de lanzamiento: 20 de agosto de 2024

                                                        +

                                                        Release Date: August 20, 2024

                                                        - +
                                                        Versión de MilvusVersión del SDK de PythonVersión del SDK de JavaVersión del SDK de Node.js
                                                        Milvus versionPython SDK versionJava SDK versionNode.js SDK version
                                                        2.4.92.4.52.4.32.4.4
                                                        -

                                                        Milvus v2.4.9 soluciona un problema crítico que podía devolver resultados inferiores al límite (topk) en algunos casos e incluye varias mejoras clave para aumentar el rendimiento y la usabilidad de la plataforma.

                                                        -

                                                        Correcciones críticas

                                                          -
                                                        • Excluido el segmento l0 de la instantánea legible(#35510).
                                                        • +

                                                          Milvus v2.4.9 addresses a critical issue which could return results less than limit (topk) in some corner cases and includes several key improvements to enhance the performance and usability of the platform.

                                                          +

                                                          Critical fixes

                                                            +
                                                          • Excluded l0 segment from readable snapshot (#35510).
                                                          -

                                                          Mejoras

                                                            -
                                                          • Eliminada la creación duplicada de ayudantes de esquema en el proxy(#35502).
                                                          • -
                                                          • Añadido soporte para compilar Milvus en Ubuntu 20.04(#35457).
                                                          • -
                                                          • Optimizado el uso de bloqueos y evitado la doble descarga del escritor de búferes de clustering(#35490).
                                                          • -
                                                          • Eliminado el registro inválido(#35473).
                                                          • -
                                                          • Añadida una guía de usuario de compactación de clustering(#35428).
                                                          • -
                                                          • Añadido soporte para campos dinámicos en el schema helper(#35469).
                                                          • -
                                                          • Añadida la sección msgchannel en el YAML generado(#35466).
                                                          • +

                                                            Improvements

                                                              +
                                                            • Removed duplicated schema helper creation in the proxy (#35502).
                                                            • +
                                                            • Added support for compiling Milvus on Ubuntu 20.04 (#35457).
                                                            • +
                                                            • Optimized the use of locks and avoided double flush clustering buffer writer (#35490).
                                                            • +
                                                            • Removed the invalid log (#35473).
                                                            • +
                                                            • Added a clustering compaction user guide doc (#35428).
                                                            • +
                                                            • Added support for dynamic fields in the schema helper (#35469).
                                                            • +
                                                            • Added the msgchannel section in the generated YAML (#35466).

                                                            v2.4.8

                                                            Fecha de publicación: 14 de agosto de 2024

                                                            +

                                                            Release Date: August 14, 2024

                                                            - +
                                                            Versión MilvusVersión del SDK de PythonVersión del SDK de JavaVersión del SDK de Node.js
                                                            Milvus versionPython SDK versionJava SDK versionNode.js SDK version
                                                            2.4.82.4.52.4.32.4.4
                                                            -

                                                            Milvus 2.4.8 introdujo varias mejoras significativas en el rendimiento y la estabilidad del sistema. La característica más notable fue la implementación de la compactación de agrupaciones, un mecanismo que mejora la eficiencia de las búsquedas y consultas mediante la redistribución de los datos en grandes colecciones basándose en una clave de agrupación designada, lo que reduce la cantidad de datos escaneados. La compactación también se desacopló del DataNode shard, permitiendo que cualquier DataNode realizara la compactación de forma independiente, lo que mejoró la tolerancia a fallos, la estabilidad, el rendimiento y la escalabilidad. Además, se ha refactorizado la interfaz entre los componentes Go y C++ para utilizar llamadas CGO asíncronas, lo que ha permitido resolver problemas como los tiempos de espera de sesión, y se han realizado otras optimizaciones de rendimiento basadas en la creación de perfiles. También se han actualizado las dependencias de la aplicación para solucionar vulnerabilidades de seguridad conocidas. Además, esta versión incluye numerosas optimizaciones de rendimiento y correcciones de errores críticos.

                                                            -

                                                            Características

                                                              -
                                                            • Se ha implementado la compactación de agrupaciones, que permite redistribuir los datos en función de una clave de agrupación designada para mejorar la eficacia de las consultas(#34326),(#34363).
                                                            • +

                                                              Milvus 2.4.8 introduced several significant improvements to the system’s performance and stability. The most notable feature was the implementation of clustering compaction, a mechanism that enhances search and query efficiency by redistributing data in large collections based on a designated clustering key, reducing the amount of data scanned. Compaction was also decoupled from the shard DataNode, allowing any DataNode to perform compaction independently, which improved fault tolerance, stability, performance, and scalability. Additionally, the interface between the Go and C++ components was refactored to use asynchronous CGO calls, addressing issues like session timeouts, while several other performance optimizations were made based on profiling. The application dependencies were also updated to address known security vulnerabilities. Moreover, this release also includes numerous performance optimizations and critical bug fixes.

                                                              +

                                                              Features

                                                                +
                                                              • Implemented clustering compaction, allowing data to be redistributed based on a designated clustering key to enhance query efficiency (#34326), (#34363).
                                                              -

                                                              Mejoras

                                                                -
                                                              • Implementación de capacidades de búsqueda y recuperación asíncronas en CGO.(#34200)
                                                              • -
                                                              • Separación del proceso de compactación del Shard DataNode para mejorar la modularidad del sistema.(#34157)
                                                              • -
                                                              • Añadido soporte para la agrupación de clientes en QueryNode dentro del proxy/delegador para mejorar el rendimiento.(#35195)
                                                              • -
                                                              • Sonic integrado para minimizar la sobrecarga de la CPU durante JSON marshaling y unmarshaling en Gin y RestfulV1 manejadores.(#35018)
                                                              • -
                                                              • Se ha introducido una caché en memoria para optimizar la recuperación de resultados de autenticación.(#35272)
                                                              • -
                                                              • Modificado el tipo de métrica por defecto para autoindex.[#34277, #34479]
                                                              • -
                                                              • Se ha refactorizado el formato de memoria en tiempo de ejecución para las columnas variables, lo que ha permitido reducir el uso de memoria.[#34367, #35012, #35041]
                                                              • -
                                                              • Refactorizados los procesos de compactación para permitir el almacenamiento persistente de datos.(#34268)
                                                              • -
                                                              • Habilitado el soporte de archivos mapeados en memoria para segmentos crecientes, mejorando la gestión de memoria.(#34110)
                                                              • -
                                                              • Mejorados los registros de acceso añadiendo soporte RESTful API, registrando niveles de consistencia y distinguiendo entre errores de sistema y de usuario.[#34295, #34352, #34396]
                                                              • -
                                                              • Utilizado el nuevo parámetro range_search_k en Knowhere para acelerar las búsquedas de rango.(#34709)
                                                              • -
                                                              • Aplicados filtros Bloom bloqueados para mejorar la velocidad de construcción de filtros y consultas.[#34377, #34922]
                                                              • -
                                                              • Mejoras en el Uso de Memoria:
                                                                  -
                                                                • Espacio preasignado para los buffers de inserción de DataNode.(#34205)
                                                                • -
                                                                • Espacio preasignado FieldData para operaciones de reducción.(#34254)
                                                                • -
                                                                • Registros liberados en el códec de borrado para evitar fugas de memoria.(#34506)
                                                                • -
                                                                • Controlado el nivel de concurrencia del gestor de archivos de disco durante la carga de archivos.(#35282)
                                                                • -
                                                                • Optimizada la lógica de recolección de basura en tiempo de ejecución de Go para la liberación oportuna de memoria.(#34950)
                                                                • -
                                                                • Implementada una nueva política de sellado para segmentos crecientes.(#34779)
                                                                • +

                                                                  Improvements

                                                                    +
                                                                  • Implemented asynchronous search and retrieval capabilities in CGO. (#34200)
                                                                  • +
                                                                  • Separated the compaction process from the Shard DataNode to improve system modularity. (#34157)
                                                                  • +
                                                                  • Added support for client pooling in QueryNode within the proxy/delegator to enhance performance. (#35195)
                                                                  • +
                                                                  • Integrated Sonic to minimize CPU overhead during JSON marshaling and unmarshaling in Gin and RestfulV1 handlers. (#35018)
                                                                  • +
                                                                  • Introduced an in-memory cache to optimize authentication result retrieval. (#35272)
                                                                  • +
                                                                  • Modified the default metric type for autoindex. [#34277, #34479]
                                                                  • +
                                                                  • Refactored the runtime memory format for variable columns, leading to reduced memory usage. [#34367, #35012, #35041]
                                                                  • +
                                                                  • Refactored compaction processes to enable persistent data storage. (#34268)
                                                                  • +
                                                                  • Enabled memory-mapped file support for growing segments, improving memory management. (#34110)
                                                                  • +
                                                                  • Improved access logs by adding RESTful API support, logging consistency levels, and distinguishing between system and user errors. [#34295, #34352, #34396]
                                                                  • +
                                                                  • Utilized the new range_search_k parameter in Knowhere to speed up range searches. (#34709)
                                                                  • +
                                                                  • Applied blocked Bloom filters to enhance the speed of filter construction and querying. [#34377, #34922]
                                                                  • +
                                                                  • Memory Usage Improvements: +
                                                                      +
                                                                    • Pre-allocated space for DataNode insert buffers. (#34205)
                                                                    • +
                                                                    • Pre-allocated FieldData for Reduce operations. (#34254)
                                                                    • +
                                                                    • Released records in delete codec to prevent memory leaks. (#34506)
                                                                    • +
                                                                    • Controlled concurrency level of the disk file manager during file loading. (#35282)
                                                                    • +
                                                                    • Optimized Go runtime garbage collection logic for timely memory release. (#34950)
                                                                    • +
                                                                    • Implemented a new seal policy for growing segments. (#34779)
                                                                  • -
                                                                  • Mejoras en DataCoord:
                                                                      -
                                                                    • Reducción del uso de CPU.[#34231, #34309]
                                                                    • -
                                                                    • Implementada una lógica de salida de la recolección de basura más rápida.(#35051)
                                                                    • -
                                                                    • Mejorados los algoritmos de programación de nodos trabajadores.(#34382)
                                                                    • -
                                                                    • Mejorado el algoritmo de control de tamaño de segmento específicamente para operaciones de importación.(#35149)
                                                                    • +
                                                                    • DataCoord Enhancements: +
                                                                        +
                                                                      • Reduced CPU usage. [#34231, #34309]
                                                                      • +
                                                                      • Implemented faster garbage collection exit logic. (#35051)
                                                                      • +
                                                                      • Improved worker node scheduling algorithms. (#34382)
                                                                      • +
                                                                      • Enhanced segment size control algorithm specifically for import operations. (#35149)
                                                                    • -
                                                                    • Mejoras en el algoritmo de equilibrio de carga:
                                                                        -
                                                                      • Reducido el factor de sobrecarga de memoria en el delegador.(#35164)
                                                                      • -
                                                                      • Asignado un tamaño de memoria fijo para el delegador.(#34600)
                                                                      • -
                                                                      • Evitada la asignación excesiva de segmentos y canales para nuevos nodos de consulta.(#34245)
                                                                      • -
                                                                      • Reducido el número de tareas por ciclo de programación por parte del Coordinador de Consultas mientras se incrementa la frecuencia de programación.(#34987)
                                                                      • -
                                                                      • Mejorado el algoritmo de equilibrio de canales en el DataNode.(#35033)
                                                                      • +
                                                                      • Load Balancing Algorithm Improvements: +
                                                                          +
                                                                        • Reduced the memory overload factor on the delegator. (#35164)
                                                                        • +
                                                                        • Allocated fixed memory size for the delegator. (#34600)
                                                                        • +
                                                                        • Avoided excessive allocation of segments and channels for new query nodes. (#34245)
                                                                        • +
                                                                        • Reduced the number of tasks per scheduling cycle by Query Coordinator while increasing scheduling frequency. (#34987)
                                                                        • +
                                                                        • Enhanced channel balancing algorithm on the DataNode. (#35033)
                                                                      • -
                                                                      • Métricas del sistema ampliadas: Se han añadido nuevas métricas en varios componentes para supervisar aspectos específicos, como:
                                                                          -
                                                                        • Estado de escritura forzada.(#34989)
                                                                        • -
                                                                        • Latencia de la cola.(#34788)
                                                                        • -
                                                                        • Cuota de disco.(#35306)
                                                                        • -
                                                                        • Tiempo de ejecución de tareas.(#35141)
                                                                        • -
                                                                        • Tamaño del binlog.(#35235)
                                                                        • -
                                                                        • Tasa de inserción.(#35188)
                                                                        • -
                                                                        • Nivel alto de memoria.(#35188)
                                                                        • -
                                                                        • Métricas de la API RESTful.(#35083)
                                                                        • -
                                                                        • Latencia de búsqueda.(#34783)
                                                                        • +
                                                                        • Expanded System Metrics: Added new metrics across various components to monitor specific aspects including: +
                                                                        -

                                                                        Cambios en

                                                                          -
                                                                        • Para los usuarios de código abierto, esta versión cambia los tipos de métrica en AutoIndex para FloatVector y BinaryVector a Cosine y Hamming, respectivamente.

                                                                        • -
                                                                        • Versionescorregidas de dependencias de terceros:

                                                                          +

                                                                          Changes

                                                                            +
                                                                          • For open-source users, this version changes the metric types in AutoIndex for FloatVector and BinaryVector to Cosine and Hamming, respectively.

                                                                          • +
                                                                          • Fixed Third-Party Dependency Versions:

                                                                              -
                                                                            • Esta versión introduce versiones fijas para ciertas bibliotecas de dependencias de terceros, mejorando significativamente la gestión de la cadena de suministro de software de Milvus.
                                                                            • -
                                                                            • Al aislar el proyecto de los cambios aguas arriba, protege las compilaciones diarias de posibles interrupciones.
                                                                            • -
                                                                            • La actualización garantiza la estabilidad alojando exclusivamente paquetes validados de C++ de terceros en JFrog Cloud y utilizando Conan Recipe Revisions (RREV).
                                                                            • -
                                                                            • Este enfoque mitiga el riesgo de romper los cambios de las actualizaciones en ConanCenter.
                                                                            • -
                                                                            • Los desarrolladores que utilicen Ubuntu 22.04 se beneficiarán inmediatamente de estos cambios. Sin embargo, es posible que los desarrolladores de otros sistemas operativos deban actualizar su versión de glibc para evitar problemas de compatibilidad.
                                                                            • +
                                                                            • This release introduces fixed versions for certain third-party dependency libraries, significantly enhancing Milvus’s software supply chain management.
                                                                            • +
                                                                            • By isolating the project from upstream changes, it safeguards daily builds from potential disruptions.
                                                                            • +
                                                                            • The update ensures stability by exclusively hosting validated C++ third-party packages on JFrog Cloud and utilizing Conan Recipe Revisions (RREV).
                                                                            • +
                                                                            • This approach mitigates the risk of breaking changes from updates in ConanCenter.
                                                                            • +
                                                                            • Developers using Ubuntu 22.04 will benefit immediately from these changes. However, developers on other operating systems may need to upgrade their glibc version to avoid compatibility issues.
                                                                          -

                                                                          Corrección de errores críticos

                                                                            -
                                                                          • Se ha corregido un problema por el que se perdían datos de borrado debido a que se omitían segmentos durante la compactación L0.[#33980, #34363]
                                                                          • -
                                                                          • Rectificado un problema por el que los mensajes de borrado no se reenviaban debido a un manejo incorrecto del ámbito de los datos.(#35313)
                                                                          • -
                                                                          • Resuelta una excepción SIGBUS que se producía debido al uso incorrecto de mmap.[#34455, #34530]
                                                                          • -
                                                                          • Corregidos fallos causados por expresiones de búsqueda ilegales.(#35307)
                                                                          • -
                                                                          • Corregido un problema en el que la vigilancia de DataNode fallaba debido a un ajuste incorrecto del tiempo de espera en el contexto de vigilancia.(#35017)
                                                                          • +

                                                                            Critical bug fixes

                                                                              +
                                                                            • Fixed an issue where deletion data was lost due to segments being omitted during L0 compaction. [#33980, #34363]
                                                                            • +
                                                                            • Rectified a problem where delete messages failed to be forwarded due to incorrect data scope handling. (#35313)
                                                                            • +
                                                                            • Resolved a SIGBUS exception that occurred due to incorrect usage of mmap. [#34455, #34530]
                                                                            • +
                                                                            • Fixed crashes caused by illegal search expressions. (#35307)
                                                                            • +
                                                                            • Corrected an issue where DataNode watch failed due to an incorrect timeout setting in the watch context. (#35017)
                                                                            -

                                                                            Corrección de errores

                                                                              -
                                                                            • Se han corregido vulnerabilidades de seguridad mediante la actualización de ciertas dependencias.[#33927, #34693]
                                                                            • -
                                                                            • Corregido un error de análisis provocado por expresiones excesivamente largas.(#34957)
                                                                            • -
                                                                            • Resuelta una fuga de memoria que se producía durante el análisis del plan de consultas.(#34932)
                                                                            • -
                                                                            • Solucionado un problema por el que las modificaciones dinámicas del nivel de registro no surtían efecto.(#34777)
                                                                            • -
                                                                            • Se ha resuelto un problema por el que las consultas de agrupar por sobre datos crecientes fallaban debido a desplazamientos de segmento no inicializados.(#34750)
                                                                            • -
                                                                            • Se ha corregido la configuración de los parámetros de búsqueda al utilizar el iterador Knowhere.(#34732)
                                                                            • -
                                                                            • Revisada la lógica para comprobar el estado de la carga de particiones.(#34305)
                                                                            • -
                                                                            • Se corrigió un problema donde las actualizaciones de caché de privilegios fallaban debido a errores de solicitud no manejados.(#34697)
                                                                            • -
                                                                            • Resuelto un fallo en la recuperación de colecciones cargadas tras el reinicio de QueryCoord.(#35211)
                                                                            • -
                                                                            • Solucionado un problema de idempotencia de carga eliminando la validación innecesaria de parámetros de índice.(#35179)
                                                                            • -
                                                                            • Asegurado compressBinlog se ejecuta para permitir reloadFromKV para llenar correctamente logID de binlog después de DataCoord reinicia.(#34062)
                                                                            • -
                                                                            • Se ha corregido un problema por el que los metadatos de recogida no se eliminaban después de la recogida de basura en DataCoord.(#34884)
                                                                            • -
                                                                            • Se ha resuelto una fuga de memoria en SegmentManager dentro de DataCoord mediante la eliminación de segmentos lavados generados a través de importaciones.(#34651)
                                                                            • -
                                                                            • Se ha solucionado un problema de pánico cuando se desactivaba la compactación y se eliminaba una colección.(#34206)
                                                                            • -
                                                                            • Se ha corregido un problema de falta de memoria en DataNode mejorando el algoritmo de estimación del uso de memoria.(#34203)
                                                                            • -
                                                                            • Se ha evitado el uso de memoria en ráfagas cuando varias solicitudes de recuperación de vectores fallan en la caché mediante la implementación de singleflight para la caché de trozos.(#34283)
                                                                            • -
                                                                            • Capturado ErrKeyNotFound durante las operaciones CAS (Compare and Swap) en la configuración.(#34489)
                                                                            • -
                                                                            • Se ha solucionado un problema por el que fallaban las actualizaciones de la configuración debido al uso erróneo del valor formateado en una operación CAS.(#34373)
                                                                            • +

                                                                              Bug fixes

                                                                                +
                                                                              • Addressed security vulnerabilities by upgrading certain dependencies. [#33927, #34693]
                                                                              • +
                                                                              • Fixed a parsing error triggered by excessively long expressions. (#34957)
                                                                              • +
                                                                              • Resolved a memory leak that occurred during query plan parsing. (#34932)
                                                                              • +
                                                                              • Fixed an issue where dynamic log level modifications were not taking effect. (#34777)
                                                                              • +
                                                                              • Resolved an issue where group by queries on growing data failed due to uninitialized segment offsets. (#34750)
                                                                              • +
                                                                              • Corrected the setting of search parameters when using the Knowhere iterator. (#34732)
                                                                              • +
                                                                              • Revised the logic for checking the status of the partition load. (#34305)
                                                                              • +
                                                                              • Fixed an issue where privilege cache updates failed due to unhandled request errors. (#34697)
                                                                              • +
                                                                              • Resolved a failure in loaded collection recovery after QueryCoord restarted. (#35211)
                                                                              • +
                                                                              • Fixed an issue of load idempotence by removing unnecessary index parameter validation. (#35179)
                                                                              • +
                                                                              • Ensured compressBinlog is executed to allow reloadFromKV to properly fill binlog’s logID after DataCoord restarts. (#34062)
                                                                              • +
                                                                              • Fixed an issue where collection metadata was not removed after garbage collection in DataCoord. (#34884)
                                                                              • +
                                                                              • Resolved a memory leak in SegmentManager within DataCoord by removing flushed segments generated through imports. (#34651)
                                                                              • +
                                                                              • Fixed a panic issue when compaction was disabled and a collection was dropped. (#34206)
                                                                              • +
                                                                              • Fixed an out-of-memory issue in DataNode by enhancing the memory usage estimation algorithm. (#34203)
                                                                              • +
                                                                              • Prevented burst memory usage when multiple vector retrieval requests hit a cache miss by implementing singleflight for chunk cache. (#34283)
                                                                              • +
                                                                              • Captured ErrKeyNotFound during CAS (Compare and Swap) operations in the configuration. (#34489)
                                                                              • +
                                                                              • Fixed an issue where configuration updates failed due to mistakenly using the formatted value in a CAS operation. (#34373)
                                                                              -

                                                                              Varios

                                                                                -
                                                                              • Añadido soporte para el exportador OTLP HTTP, mejorando las capacidades de observación y monitorización.[#35073, #35299]
                                                                              • -
                                                                              • Mejorada la funcionalidad de la base de datos introduciendo propiedades como "max collections" y "disk quota", que ahora pueden ser modificadas dinámicamente.[#34511, #34386]
                                                                              • -
                                                                              • Añadidas capacidades de rastreo para procesos de compactación L0 dentro de DataNode para mejorar el diagnóstico y la monitorización.(#33898)
                                                                              • -
                                                                              • Introducida configuración de cuota para el número de entradas de segmento L0 por colección, permitiendo un mejor control sobre las tasas de borrado mediante la aplicación de backpressure.(#34837)
                                                                              • -
                                                                              • Se ha ampliado el mecanismo de limitación de velocidad de las operaciones de inserción para cubrir también las operaciones de inserción ascendente, lo que garantiza un rendimiento constante con cargas elevadas.(#34616)
                                                                              • -
                                                                              • Implementado un pool dinámico de CGO para llamadas proxy CGO, optimizando el uso de recursos y el rendimiento.(#34842)
                                                                              • -
                                                                              • Habilitada la opción de compilación DiskAnn para los sistemas operativos Ubuntu, Rocky y Amazon, mejorando la compatibilidad y el rendimiento en estas plataformas.(#34244)
                                                                              • -
                                                                              • Actualizado Conan a la versión 1.64.1, asegurando la compatibilidad con las últimas características y mejoras.(#35216)
                                                                              • -
                                                                              • Actualización de Knowhere a la versión 2.3.7, con mejoras de rendimiento y nuevas funciones.(#34709)
                                                                              • -
                                                                              • Corregida la revisión de paquetes específicos de terceros para asegurar construcciones consistentes y reducir el riesgo de cambios inesperados.(#35316)
                                                                              • +

                                                                                Miscellaneous

                                                                                  +
                                                                                • Added support for the OTLP HTTP exporter, enhancing observability and monitoring capabilities. [#35073, #35299]
                                                                                • +
                                                                                • Enhanced database functionality by introducing properties such as “max collections” and “disk quota,” which can now be dynamically modified. [#34511, #34386]
                                                                                • +
                                                                                • Added tracing capabilities for L0 compaction processes within DataNode to improve diagnostics and monitoring. (#33898)
                                                                                • +
                                                                                • Introduced quota configuration for the number of L0 segment entries per collection, enabling better control over deletion rates by applying backpressure. (#34837)
                                                                                • +
                                                                                • Extended the rate-limiting mechanism for insert operations to also cover upsert operations, ensuring consistent performance under high load. (#34616)
                                                                                • +
                                                                                • Implemented a dynamic CGO pool for proxy CGO calls, optimizing resource usage and performance. (#34842)
                                                                                • +
                                                                                • Enabled the DiskAnn compile option for Ubuntu, Rocky, and Amazon operating systems, improving compatibility and performance on these platforms. (#34244)
                                                                                • +
                                                                                • Upgraded Conan to version 1.64.1, ensuring compatibility with the latest features and improvements. (#35216)
                                                                                • +
                                                                                • Updated Knowhere to version 2.3.7, bringing in performance enhancements and new features. (#34709)
                                                                                • +
                                                                                • Fixed the revision of specific third-party packages to ensure consistent builds and reduce the risk of unexpected changes. (#35316)

                                                                                v2.4.6

                                                                                Fecha de lanzamiento: 16 de julio de 2024

                                                                                +

                                                                                Release date: July 16, 2024

                                                                                - +
                                                                                Versión de MilvusVersión del SDK de PythonVersión del SDK de JavaVersión del SDK de Node.js
                                                                                Milvus versionPython SDK versionJava SDK versionNode.js SDK version
                                                                                2.4.62.4.42.4.22.4.4
                                                                                -

                                                                                Milvus v2.4.6 es una versión de corrección de errores que soluciona problemas críticos como pánicos, fugas de memoria y pérdida de datos durante los borrados. También introduce varias optimizaciones, incluidas mejoras en las métricas de supervisión, la actualización de la versión Go a 1.21 y la mejora de la experiencia de usuario para las consultas RESTful count(*).

                                                                                -

                                                                                Mejoras

                                                                                  -
                                                                                • Mejora de la facilidad de uso de las consultas RESTful API(#34444).
                                                                                • -
                                                                                • Actualizada la versión Go de 1.20 a 1.21(#33940).
                                                                                • -
                                                                                • Optimizado el cubo métrico histograma para granularidad más fina en bucketing(#34592).
                                                                                • -
                                                                                • Actualizada la versión de dependencia de Pulsar de 2.8.2 a 2.9.5. Se recomienda actualizar Pulsar a 2.9.5 desde Milvus 2.4.6.
                                                                                • +

                                                                                  Milvus v2.4.6 is a bug-fix release that addresses critical issues such as panics, memory leaks, and data loss during deletions. It also introduces several optimizations, including enhancements to monitoring metrics, upgrading the Go version to 1.21, and improving the user experience for RESTful count(*) queries.

                                                                                  +

                                                                                  Improvements

                                                                                    +
                                                                                  • Enhanced the user-friendliness of RESTful API queries (#34444).
                                                                                  • +
                                                                                  • Upgraded the Go version from 1.20 to 1.21 (#33940).
                                                                                  • +
                                                                                  • Optimized the histogram metric bucket for finer granularity in bucketing (#34592).
                                                                                  • +
                                                                                  • Upgraded Pulsar dependency version from 2.8.2 to 2.9.5. It’s recommended to upgrade Pulsar to 2.9.5 since Milvus 2.4.6.
                                                                                  -

                                                                                  Corrección de errores

                                                                                    -
                                                                                  • Se ha corregido un problema por el que la API GetReplicas devolvía un estado nulo(#34019).
                                                                                  • -
                                                                                  • Se ha corregido un problema por el que las consultas podían devolver registros eliminados(#34502).
                                                                                  • -
                                                                                  • Se ha resuelto un problema por el que IndexNode se bloqueaba durante la detención debido a un control incorrecto del tiempo de vida(#34559).
                                                                                  • -
                                                                                  • Corregida una fuga de memoria de objetos oráculo de clave primaria cuando un trabajador está desconectado(#34020).
                                                                                  • -
                                                                                  • Corregido ChannelManagerImplV2 para notificar al Nodo correcto, solucionando problemas de captura de parámetros en el cierre de bucle(#34004).
                                                                                  • -
                                                                                  • Se ha corregido una carrera de lectura-escritura de datos en ImportTask segmentsInfo implementando una copia profunda(#34126).
                                                                                  • -
                                                                                  • Corregida la información de versión para la opción de configuración "legacyVersionWithoutRPCWatch" para evitar errores durante las actualizaciones continuas(#34185).
                                                                                  • -
                                                                                  • Corregida la métrica para el número de particiones cargadas(#34195).
                                                                                  • -
                                                                                  • Se ha pasado la configuración de otlpSecure al configurar el seguimiento de segcore(#34210).
                                                                                  • -
                                                                                  • Solucionado un problema por el que las propiedades de DataCoord se sobrescribían por error(#34240).
                                                                                  • -
                                                                                  • Resuelto un problema de pérdida de datos causado por la fusión errónea de dos flujos de mensajes recién creados(#34563).
                                                                                  • -
                                                                                  • Corregido un pánico causado por msgstream intentando consumir un pchannel inválido(#34230).
                                                                                  • -
                                                                                  • Se ha solucionado un problema por el que las importaciones podían generar archivos huérfanos(nº 34071).
                                                                                  • -
                                                                                  • Se han corregido los resultados de consulta incompletos debidos a claves primarias duplicadas en un segmento(nº 34302).
                                                                                  • -
                                                                                  • Resuelto un problema de segmentos sellados faltantes en la compactación L0(#34566).
                                                                                  • -
                                                                                  • Corregido el problema de datos sucios en el canal-cp meta generado después de la recolección de basura(#34609).
                                                                                  • -
                                                                                  • Corregida la métrica donde database_num era 0 después de reiniciar RootCoord(#34010).
                                                                                  • -
                                                                                  • Corregida una fuga de memoria en SegmentManager en DataCoord al eliminar los segmentos flushed generados a través de la importación(#34652).
                                                                                  • -
                                                                                  • Asegurado compressBinlog para llenar binlogs' logID después de DataCoord reinicia, asegurando la correcta recarga de KV(#34064).
                                                                                  • +

                                                                                    Bug fixes

                                                                                      +
                                                                                    • Fixed an issue where the GetReplicas API returned a nil status (#34019).
                                                                                    • +
                                                                                    • Corrected a problem where queries could return deleted records (#34502).
                                                                                    • +
                                                                                    • Resolved an issue where IndexNode would get stuck during stopping due to incorrect lifetime control (#34559).
                                                                                    • +
                                                                                    • Fixed a memory leak of primary key oracle objects when a worker is offline (#34020).
                                                                                    • +
                                                                                    • Corrected ChannelManagerImplV2 to notify the correct Node, addressing parameter capture issues in loop closure (#34004).
                                                                                    • +
                                                                                    • Fixed a read-write data race in ImportTask segmentsInfo by implementing a deep copy (#34126).
                                                                                    • +
                                                                                    • Corrected version information for the “legacyVersionWithoutRPCWatch” configuration option to prevent errors during rolling upgrades (#34185).
                                                                                    • +
                                                                                    • Fixed the metric for the number of partitions loaded (#34195).
                                                                                    • +
                                                                                    • Passed the otlpSecure config when setting up segcore tracing (#34210).
                                                                                    • +
                                                                                    • Fixed an issue where DataCoord’s properties were overwritten by mistake (#34240).
                                                                                    • +
                                                                                    • Resolved a data loss issue caused by erroneously merging two newly created message streams (#34563).
                                                                                    • +
                                                                                    • Fixed a panic caused by msgstream trying to consume an invalid pchannel (#34230).
                                                                                    • +
                                                                                    • Addressed an issue where imports could generate orphaned files (#34071).
                                                                                    • +
                                                                                    • Fixed incomplete query results due to duplicate primary keys in a segment (#34302).
                                                                                    • +
                                                                                    • Resolved an issue of missing sealed segments in L0 compaction (#34566).
                                                                                    • +
                                                                                    • Fixed the problem of dirty data in the channel-cp meta generated after garbage collection (#34609).
                                                                                    • +
                                                                                    • Corrected the metrics where database_num was 0 after restarting RootCoord (#34010).
                                                                                    • +
                                                                                    • Fixed a memory leak in SegmentManager in DataCoord by removing flushed segments generated through import (#34652).
                                                                                    • +
                                                                                    • Ensured compressBinlog to fill binlogs’ logID after DataCoord restarts, ensuring proper reload from KV (#34064).

                                                                                    v2.4.5

                                                                                    Fecha de lanzamiento: 18 de junio de 2024

                                                                                    +

                                                                                    Release date: June 18, 2024

                                                                                    - +
                                                                                    Versión de MilvusVersión del SDK de PythonVersión Java SDKVersión del SDK de Node.js
                                                                                    Milvus versionPython SDK versionJava SDK versionNode.js SDK version
                                                                                    2.4.52.4.42.4.12.4.3
                                                                                    -

                                                                                    El lanzamiento de Milvus 2.4.5 introduce varias mejoras y correcciones de errores para mejorar el rendimiento, la estabilidad y la funcionalidad. Milvus 2.4.5 simplifica la búsqueda de vectores dispersos, float16 y bfloat16 con autoindexación, acelera las búsquedas, eliminaciones y compactaciones con las optimizaciones del filtro Bloom y aborda la gestión de datos mediante tiempos de carga más rápidos y compatibilidad con la importación de segmentos L0. También introduce el índice HNSW disperso para la búsqueda eficiente de datos dispersos de alta dimensión, mejora la API RESTful con soporte de vectores flotantes dispersos y corrige errores críticos para mejorar la estabilidad.

                                                                                    -

                                                                                    Novedades

                                                                                      -
                                                                                    • Se ha añadido compatibilidad con rbac a la API de descripción/alteración de bases de datos(nº 33804).
                                                                                    • -
                                                                                    • Soporte de la creación del índice HNSW para vectores dispersos(#33653, #33662)
                                                                                    • -
                                                                                    • Posibilidad de crear el índice de disco para vectores binarios(#33575)
                                                                                    • -
                                                                                    • Soporte de vectores dispersos en RESTful v2(#33555)
                                                                                    • -
                                                                                    • Añadir /management/stop RESTful api para detener un componente(#33799)
                                                                                    • +

                                                                                      The release of Milvus 2.4.5 introduces several improvements and bug fixes to enhance performance, stability, and functionality. Milvus 2.4.5 simplifies sparse, float16, and bfloat16 vector search with auto-indexing, speeds up searches, deletions, and compactions with Bloom filter optimizations, and tackles data management through faster loading times and import L0 segment support. It also introduces the sparse HNSW index for efficient high-dimensional sparse data search, enhances the RESTful API with sparse float vector support, and fixes critical bugs for better stability.

                                                                                      +

                                                                                      New Features

                                                                                        +
                                                                                      • Added rbac support to describe/alter database api (#33804)
                                                                                      • +
                                                                                      • Supported building the HNSW index for sparse vectors (#33653, #33662)
                                                                                      • +
                                                                                      • Supported building the Disk index for binary vector (#33575)
                                                                                      • +
                                                                                      • Supported sparse vector type on RESTful v2 (#33555)
                                                                                      • +
                                                                                      • Add /management/stop RESTful api to stop a component (#33799)
                                                                                      -

                                                                                      Mejoras

                                                                                        -
                                                                                      • Fijar el valor por defecto de maxPartitionNum en 1024(#33950)
                                                                                      • -
                                                                                      • Habilitado el restablecimiento forzado de la conexión en caso de error de indisponibilidad(#33910)
                                                                                      • -
                                                                                      • Habilitado limitador de tasa de descarga de nivel de colección(#33864)
                                                                                      • -
                                                                                      • Ejecutado bloom filter aplicar en paralelo para acelerar segmento predecir(#33793)
                                                                                      • -
                                                                                      • Utilizado fastjson lib para unmarshal borrar registro para acelerar json.Unmarshal(#33802)
                                                                                      • -
                                                                                      • Utilización de BatchPkExist para reducir el coste de la llamada a la función bloom filter(#33752)
                                                                                      • -
                                                                                      • Acelerada la carga de colecciones pequeñas(#33746)
                                                                                      • -
                                                                                      • Soportada la importación de datos de borrado al segmento L0 (#33712)
                                                                                      • -
                                                                                      • Se han omitido las tareas de compactación de marcas para evitar que se ejecute la misma tarea una y otra vez(#33833)
                                                                                      • -
                                                                                      • Los vectores float16 y bfloat16 se tratan como BinaryVector en la inserción masiva de numpy (#33788)
                                                                                      • -
                                                                                      • Añadido el indicador includeCurrentMsg para el método seek(#33743)
                                                                                      • -
                                                                                      • Añadido mergeInterval, targetBufSize, maxTolerantLagof msgdispatcher a las configuraciones(#33680)
                                                                                      • -
                                                                                      • Mejorado GetVectorByID de vector disperso(#33652)
                                                                                      • -
                                                                                      • Se ha eliminado StringPrimarykey para reducir el coste innecesario de las copias y las llamadas a funciones (#33649)
                                                                                      • -
                                                                                      • Añadida la asignación de autoíndices para tipos de datos binarios/esparcidos(#33625)
                                                                                      • -
                                                                                      • Optimizado algunos caché para reducir el uso de memoria(#33560)
                                                                                      • -
                                                                                      • Interfaz de ejecución abstraída para la tarea de importación/preimportación (#33607)
                                                                                      • -
                                                                                      • Utilizado mapa pk a timestamp en inserción de búfer para reducir causas bf(#33582)
                                                                                      • -
                                                                                      • Evitar meta operaciones redundantes de importación (#33519)
                                                                                      • -
                                                                                      • Mejora de los registros mediante el registro de mejor información de cuota de disco, añadiendo la bandera UseDefaultConsistency, eliminando registros innecesarios(#33597, #33644, #33670)
                                                                                      • +

                                                                                        Improvements

                                                                                          +
                                                                                        • Set maxPartitionNum default value to 1024 (#33950)
                                                                                        • +
                                                                                        • Enabled to Force reset connection for unavailable error (#33910)
                                                                                        • +
                                                                                        • Enabled flush rate limiter of collection level (#33864)
                                                                                        • +
                                                                                        • Executed bloom filter apply in parallel to speed up segment predict (#33793)
                                                                                        • +
                                                                                        • Used fastjson lib for unmarshal delete log to speed up json.Unmarshal(#33802)
                                                                                        • +
                                                                                        • Used BatchPkExist to reduce bloom filter func call cost (#33752)
                                                                                        • +
                                                                                        • Speeded up the loading of small collections (#33746)
                                                                                        • +
                                                                                        • Supported import delete data to L0 segment (#33712)
                                                                                        • +
                                                                                        • Skipped mark compaction tasks to be timeouted to aviod executing the same task over and over again (#33833)
                                                                                        • +
                                                                                        • Handled float16 and bfloat16 vectors as same as BinaryVector in numpy bulk insert (#33788)
                                                                                        • +
                                                                                        • Added the includeCurrentMsg flag for the seek method (#33743)
                                                                                        • +
                                                                                        • Added mergeInterval, targetBufSize, maxTolerantLagof msgdispatcher to configs (#33680)
                                                                                        • +
                                                                                        • Improved GetVectorByID of sparse vector (#33652)
                                                                                        • +
                                                                                        • Removed StringPrimarykey to reduce unnecessary copy and function call cost (#33649)
                                                                                        • +
                                                                                        • Added autoindex mapping for binary/sparse data type (#33625)
                                                                                        • +
                                                                                        • Optimized some cache to reduce memory usage (#33560)
                                                                                        • +
                                                                                        • Abstracted execute interface for import/preimport task (#33607)
                                                                                        • +
                                                                                        • Used map pk to timestamp in buffer insert to reduce bf causes (#33582)
                                                                                        • +
                                                                                        • Avoided redundant meta operations of import (#33519)
                                                                                        • +
                                                                                        • Improve logs by logging better disk quota info, adding UseDefaultConsistency flag, removing unnecessary logs (#33597, #33644, #33670)
                                                                                        -

                                                                                        Corrección de errores

                                                                                          -
                                                                                        • Corregido un error que impedía a queryHook reconocer el tipo de vector(#33911)
                                                                                        • -
                                                                                        • Impedido el uso capturado iteración variable partitionID(#33970)
                                                                                        • -
                                                                                        • Se ha corregido un error que podía provocar que Milvus no pudiera crear AutoIndex en vectores binarios y dispersos(#33867)
                                                                                        • -
                                                                                        • Se ha corregido un error que podía provocar que indexnode volviera a intentar crear el índice en parámetros de índice no válidos de todos los vectores(#33878)
                                                                                        • -
                                                                                        • Corregido el error que cuando las cargas y liberaciones ocurren concurrentemente puede bloquear el Servidor(#33699)
                                                                                        • -
                                                                                        • Mejorada la consistencia de la caché para los valores de configuración(#33797)
                                                                                        • -
                                                                                        • Evitada la posible pérdida de datos durante la eliminación(#33821)
                                                                                        • -
                                                                                        • Se ha garantizado que el campo DroppedAt (fecha y hora probable de eliminación) se establezca tras la eliminación de colecciones(#33767)
                                                                                        • -
                                                                                        • Se ha solucionado un problema que podía hacer que Milvus manejara incorrectamente los tamaños de datos de vectores binarios(#33751)
                                                                                        • -
                                                                                        • Se ha evitado que las credenciales sensibles de Kafka se registren en texto sin formato(#33694, #33747)
                                                                                        • -
                                                                                        • Se ha garantizado que Milvus pueda importar correctamente datos con múltiples campos vectoriales.(#33724)
                                                                                        • -
                                                                                        • Se ha mejorado la fiabilidad de la importación comprobando si existe un trabajo de importación antes de comenzar.(#33673)
                                                                                        • -
                                                                                        • Mejorado el manejo del índice HNSW disperso (funcionalidad interna)(#33714)
                                                                                        • -
                                                                                        • Se ha limpiado la memoria vectorial para evitar fugas de memoria(#33708)
                                                                                        • -
                                                                                        • Asegurado un calentamiento asíncrono más suave arreglando un problema de bloqueo de estado.(#33687)
                                                                                        • -
                                                                                        • Se ha corregido un error que podía provocar la pérdida de resultados en los iteradores de consulta.(#33506)
                                                                                        • -
                                                                                        • Se ha corregido un error que podía provocar que el tamaño del segmento de importación fuera desigual. (#33634)
                                                                                        • -
                                                                                        • Se ha corregido la gestión incorrecta del tamaño de los datos para los tipos bf16, fp16 y vector binario(#33488)
                                                                                        • -
                                                                                        • Se ha mejorado la estabilidad solucionando posibles problemas con el compactador L0(#33564)
                                                                                        • -
                                                                                        • Se ha garantizado que las actualizaciones de configuración dinámica se reflejen correctamente en la caché.(#33590)
                                                                                        • -
                                                                                        • Se ha mejorado la precisión de la métrica RootCoordQuotaStates (#33601)
                                                                                        • -
                                                                                        • Garantizada la información precisa del número de entidades cargadas en la métrica(#33522)
                                                                                        • -
                                                                                        • Se ha proporcionado información más completa en los registros de excepciones. (#33396)
                                                                                        • -
                                                                                        • Optimizada la canalización de consultas eliminando el comprobador de grupos innecesario(#33485)
                                                                                        • -
                                                                                        • Utilización de la ruta de almacenamiento local para una comprobación más precisa de la capacidad de disco en el nodo de índice.(#33505)
                                                                                        • -
                                                                                        • Se ha corregido la posibilidad de que hasMoreResult devuelva false cuando el número de aciertos supera el límite(#33642)
                                                                                        • -
                                                                                        • Retraso en la carga de bfs en el delegador para evitar que los bfs se carguen una y otra vez cuando el trabajador no tiene más memoria(#33650)- Corregido un error por el que queryHook no podía reconocer el tipo de vector(#33911)
                                                                                        • -
                                                                                        • Impedido el uso capturado iteración variable partitionID(#33970)
                                                                                        • -
                                                                                        • Corregido un error que puede provocar que Milvus sea incapaz de crear AutoIndex en vectores binarios y dispersos(#33867)
                                                                                        • -
                                                                                        • Se ha corregido un error que podía provocar que indexnode volviera a intentar crear el índice en parámetros de índice no válidos de todos los vectores(#33878)
                                                                                        • -
                                                                                        • Corregido el error que cuando las cargas y liberaciones ocurren concurrentemente puede bloquear el Servidor(#33699)
                                                                                        • -
                                                                                        • Mejorada la consistencia de la caché para los valores de configuración(#33797)
                                                                                        • -
                                                                                        • Se ha evitado la posible pérdida de datos durante la eliminación(#33821)
                                                                                        • -
                                                                                        • Se ha garantizado que el campo DroppedAt (fecha y hora probable de eliminación) se establezca tras la eliminación de colecciones(#33767)
                                                                                        • -
                                                                                        • Se ha solucionado un problema que podía hacer que Milvus manejara incorrectamente los tamaños de datos de vectores binarios(#33751)
                                                                                        • -
                                                                                        • Se ha evitado que las credenciales sensibles de Kafka se registren en texto sin formato(#33694, #33747)
                                                                                        • -
                                                                                        • Se ha garantizado que Milvus pueda importar correctamente datos con múltiples campos vectoriales.(#33724)
                                                                                        • -
                                                                                        • Se ha mejorado la fiabilidad de la importación comprobando si existe un trabajo de importación antes de comenzar.(#33673)
                                                                                        • -
                                                                                        • Mejorado el manejo del índice HNSW disperso (funcionalidad interna)(#33714)
                                                                                        • -
                                                                                        • Se ha limpiado la memoria vectorial para evitar fugas de memoria(#33708)
                                                                                        • -
                                                                                        • Asegurado un calentamiento asíncrono más suave arreglando un problema de bloqueo de estado.(#33687)
                                                                                        • -
                                                                                        • Se ha corregido un error que podía causar la pérdida de resultados en los iteradores de consulta.(#33506)
                                                                                        • -
                                                                                        • Se ha corregido un error que podía provocar que el tamaño del segmento de importación fuera desigual. (#33634)
                                                                                        • -
                                                                                        • Se ha corregido la gestión incorrecta del tamaño de los datos para los tipos bf16, fp16 y vector binario(#33488)
                                                                                        • -
                                                                                        • Se ha mejorado la estabilidad solucionando posibles problemas con el compactador L0(#33564)
                                                                                        • -
                                                                                        • Se ha garantizado que las actualizaciones de configuración dinámica se reflejen correctamente en la caché.(#33590)
                                                                                        • -
                                                                                        • Se ha mejorado la precisión de la métrica RootCoordQuotaStates (#33601)
                                                                                        • -
                                                                                        • Garantizada la información precisa del número de entidades cargadas en la métrica(#33522)
                                                                                        • -
                                                                                        • Se ha proporcionado información más completa en los registros de excepciones. (#33396)
                                                                                        • -
                                                                                        • Optimizada la canalización de consultas eliminando el comprobador de grupos innecesario(#33485)
                                                                                        • -
                                                                                        • Utilización de la ruta de almacenamiento local para una comprobación más precisa de la capacidad de disco en el nodo de índice.(#33505)
                                                                                        • -
                                                                                        • Se ha corregido la posibilidad de que hasMoreResult devuelva false cuando el número de aciertos supera el límite(#33642)
                                                                                        • -
                                                                                        • Retraso en la carga de bfs en el delegador para evitar que los bfs se carguen una y otra vez cuando el trabajador no tiene más memoria(#33650)
                                                                                        • +

                                                                                          Bug fixes

                                                                                            +
                                                                                          • Fixed a bug that queryHook unable to recognize vector type (#33911)
                                                                                          • +
                                                                                          • Prevented use captured iteration variable partitionID (#33970)
                                                                                          • +
                                                                                          • Fixed a bug that may cause Milvus to be unable to create AutoIndex on binary and sparse vectors (#33867)
                                                                                          • +
                                                                                          • Fixed a bug that may cause indexnode to retry creating index on invalid index params of all vectors(#33878)
                                                                                          • +
                                                                                          • Fixed the bug that when loads and releases happen concurrently may crash the Server(#33699)
                                                                                          • +
                                                                                          • Improved cache consistency for configuration values (#33797)
                                                                                          • +
                                                                                          • Prevented possible data loss during deletion (#33821)
                                                                                          • +
                                                                                          • Ensured the DroppedAt field (likely deletion timestamp) is set after dropping collections(#33767)
                                                                                          • +
                                                                                          • Fixed an issue that might have caused Milvus to handle binary vector data sizes incorrectly(#33751)
                                                                                          • +
                                                                                          • Prevented sensitive Kafka credentials from being logged in plain text.(#33694, #33747)
                                                                                          • +
                                                                                          • Ensured Milvus can correctly import data with multiple vector fields.(#33724)
                                                                                          • +
                                                                                          • Enhanced import reliability by checking if an import job exists before starting. (#33673)
                                                                                          • +
                                                                                          • Improved handling of the sparse HNSW index (internal functionality) (#33714)
                                                                                          • +
                                                                                          • Cleaned vector memory to avoid memory leak(#33708)
                                                                                          • +
                                                                                          • Ensured smoother asynchronous warmup by fixing a state lock issue.(#33687)
                                                                                          • +
                                                                                          • Addressed a bug that might have caused missing results in query iterators. (#33506)
                                                                                          • +
                                                                                          • Fixed a bug that might cause import segment size is uneven (#33634)
                                                                                          • +
                                                                                          • Fixed incorrect data size handling for bf16, fp16, and binary vector types (#33488)
                                                                                          • +
                                                                                          • Improved stability by addressing potential issues with the L0 compactor(#33564)
                                                                                          • +
                                                                                          • Ensured dynamic configuration updates are reflected correctly in the cache. (#33590)
                                                                                          • +
                                                                                          • Improved the accuracy of the RootCoordQuotaStates metric (#33601)
                                                                                          • +
                                                                                          • Ensured accurate reporting of the number of loaded entities in metric(#33522)
                                                                                          • +
                                                                                          • Provided more complete information in exception logs. (#33396)
                                                                                          • +
                                                                                          • Optimized query pipeline by removing unnecessary group checker (#33485)
                                                                                          • +
                                                                                          • Used the local storage path for a more accurate disk capacity check on the index node. (#33505)
                                                                                          • +
                                                                                          • Corrected hasMoreResult may return false when hit number larger than limit (#33642)
                                                                                          • +
                                                                                          • Delayed load bf in delegator to prevent bfs been loaded over and over again when worker has no more memory (#33650)- Fixed a bug that queryHook unable to recognize vector type (#33911)
                                                                                          • +
                                                                                          • Prevented use captured iteration variable partitionID (#33970)
                                                                                          • +
                                                                                          • Fixed a bug that may cause Milvus to be unable to create AutoIndex on binary and sparse vectors (#33867)
                                                                                          • +
                                                                                          • Fixed a bug that may cause indexnode to retry creating index on invalid index params of all vectors(#33878)
                                                                                          • +
                                                                                          • Fixed the bug that when loads and releases happen concurrently may crash the Server(#33699)
                                                                                          • +
                                                                                          • Improved cache consistency for configuration values (#33797)
                                                                                          • +
                                                                                          • Prevented possible data loss during deletion (#33821)
                                                                                          • +
                                                                                          • Ensured the DroppedAt field (likely deletion timestamp) is set after dropping collections(#33767)
                                                                                          • +
                                                                                          • Fixed an issue that might have caused Milvus to handle binary vector data sizes incorrectly(#33751)
                                                                                          • +
                                                                                          • Prevented sensitive Kafka credentials from being logged in plain text.(#33694, #33747)
                                                                                          • +
                                                                                          • Ensured Milvus can correctly import data with multiple vector fields.(#33724)
                                                                                          • +
                                                                                          • Enhanced import reliability by checking if an import job exists before starting. (#33673)
                                                                                          • +
                                                                                          • Improved handling of the sparse HNSW index (internal functionality) (#33714)
                                                                                          • +
                                                                                          • Cleaned vector memory to avoid memory leak(#33708)
                                                                                          • +
                                                                                          • Ensured smoother asynchronous warmup by fixing a state lock issue.(#33687)
                                                                                          • +
                                                                                          • Addressed a bug that might have caused missing results in query iterators. (#33506)
                                                                                          • +
                                                                                          • Fixed a bug that might cause import segment size is uneven (#33634)
                                                                                          • +
                                                                                          • Fixed incorrect data size handling for bf16, fp16, and binary vector types (#33488)
                                                                                          • +
                                                                                          • Improved stability by addressing potential issues with the L0 compactor(#33564)
                                                                                          • +
                                                                                          • Ensured dynamic configuration updates are reflected correctly in the cache. (#33590)
                                                                                          • +
                                                                                          • Improved the accuracy of the RootCoordQuotaStates metric (#33601)
                                                                                          • +
                                                                                          • Ensured accurate reporting of the number of loaded entities in metric(#33522)
                                                                                          • +
                                                                                          • Provided more complete information in exception logs. (#33396)
                                                                                          • +
                                                                                          • Optimized query pipeline by removing unnecessary group checker (#33485)
                                                                                          • +
                                                                                          • Used the local storage path for a more accurate disk capacity check on the index node. (#33505)
                                                                                          • +
                                                                                          • Corrected hasMoreResult may return false when hit number larger than limit (#33642)
                                                                                          • +
                                                                                          • Delayed load bf in delegator to prevent bfs been loaded over and over again when worker has no more memory (#33650)

                                                                                          v2.4.4

                                                                                          Fecha de lanzamiento: 31 de mayo de 2024

                                                                                          +

                                                                                          Release date: May 31, 2024

                                                                                          - +
                                                                                          Versión de MilvusVersión del SDK de PythonVersión del SDK de JavaVersión del SDK de Node.js
                                                                                          Milvus versionPython SDK versionJava SDK versionNode.js SDK version
                                                                                          2.4.42.4.32.4.12.4.2
                                                                                          -

                                                                                          Milvus v2.4.4 incluye varias correcciones de errores críticos y mejoras destinadas a aumentar el rendimiento y la estabilidad. En particular, hemos resuelto un problema crítico por el que los registros de estadísticas de inserción masiva se recopilaban incorrectamente, lo que podía afectar a la integridad de los datos. Recomendamos encarecidamente a todos los usuarios de la versión 2.4 que actualicen a esta versión para beneficiarse de estas correcciones.

                                                                                          -

                                                                                          Si utiliza la inserción masiva, actualice a la versión 2.4.4 lo antes posible para garantizar la integridad de los datos.

                                                                                          -

                                                                                          Corrección de errores críticos

                                                                                            -
                                                                                          • Se ha rellenado el ID del registro de estadísticas y se ha validado su exactitud(#33478)
                                                                                          • +

                                                                                            Milvus v2.4.4 includes several critical bug fixes and improvements aimed at enhancing performance and stability. Notably, we’ve resolved a critical issue where bulk insert statistics logs were incorrectly garbage collected, potentially affecting data integrity. We strongly recommend all v2.4 users upgrade to this version to benefit from these fixes.

                                                                                            +

                                                                                            If you are using bulk insert, upgrade to v2.4.4 at the earliest opportunity for data integrity.

                                                                                            +

                                                                                            Critical bug fixes

                                                                                              +
                                                                                            • Filled stats log ID and validated its correctness (#33478)
                                                                                            -

                                                                                            Mejoras

                                                                                              -
                                                                                            • Conjunto de bits actualizado para ARM SVE(#33440)
                                                                                            • -
                                                                                            • Habilitada la compilación Milvus con GCC-13(#33441)
                                                                                            • +

                                                                                              Improvements

                                                                                                +
                                                                                              • Upgraded bitset for ARM SVE (#33440)
                                                                                              • +
                                                                                              • Enabled Milvus compilation with GCC-13 (#33441)
                                                                                              -

                                                                                              Corrección de errores

                                                                                                -
                                                                                              • Se mostraban colecciones vacías cuando se concedían todos los privilegios(#33454)
                                                                                              • -
                                                                                              • Asegurado CMake descargas e instalaciones para la plataforma actual, no sólo x86_64(#33439)
                                                                                              • +

                                                                                                Bug fixes

                                                                                                  +
                                                                                                • Displayed empty collections when all privilege is granted (#33454)
                                                                                                • +
                                                                                                • Ensured CMake downloads and installs for the current platform, not just x86_64 (#33439)

                                                                                                v2.4.3

                                                                                                Fecha de lanzamiento: 29 de mayo de 2024

                                                                                                +

                                                                                                Release date: May 29, 2024

                                                                                                - +
                                                                                                Versión MilvusVersión del SDK de PythonVersión del SDK de JavaVersión del SDK de Node.js
                                                                                                Milvus versionPython SDK versionJava SDK versionNode.js SDK version
                                                                                                2.4.32.4.32.4.12.4.2
                                                                                                -

                                                                                                La versión 2.4.3 de Milvus introdujo una serie de funciones, mejoras y correcciones de errores para aumentar el rendimiento y la fiabilidad. Entre las mejoras más destacadas se encuentran la compatibilidad con la inserción masiva de vectores flotantes dispersos y la aceleración optimizada del filtro bloom. Las mejoras abarcaron diversas áreas, desde las actualizaciones dinámicas de la configuración hasta la optimización del uso de la memoria. Las correcciones de errores abordaron problemas críticos como situaciones de pánico y garantizaron un funcionamiento más fluido del sistema. Esta versión subraya el compromiso constante de Milvus de mejorar la funcionalidad, optimizar el rendimiento y ofrecer una experiencia de usuario sólida.

                                                                                                -

                                                                                                Características

                                                                                                  -
                                                                                                • Soporte de inserción masiva de vectores flotantes dispersos para binlog/json/parquet(#32649)
                                                                                                • +

                                                                                                  Milvus version 2.4.3 introduced a host of features, improvements, and bug fixes to elevate performance and reliability. Notable enhancements included support for sparse float vector bulk insert and optimized bloom filter acceleration. Improvements covered various areas, from dynamic configuration updates to memory usage optimization. Bug fixes addressed critical issues like panic scenarios and ensured smoother system operations. This release underscored Milvus’s ongoing commitment to enhancing functionality, optimizing performance, and delivering a robust user experience.

                                                                                                  +

                                                                                                  Features

                                                                                                    +
                                                                                                  • Supported sparse float vector bulk insert for binlog/json/parquet (#32649)
                                                                                                  -

                                                                                                  Mejoras

                                                                                                    -
                                                                                                  • Implementación del canal de vigilancia Datacoord/node basado en RPC(#32036)
                                                                                                  • -
                                                                                                  • Optimizado el filtro bloom para acelerar el filtrado de borrado(#32642, #33329, #33284)
                                                                                                  • -
                                                                                                  • Carga de datos sin procesar a través de mmap si el índice escalar no tiene datos sin procesar(#33317)
                                                                                                  • -
                                                                                                  • Sincronización de la configuración de milvus con milvus.yaml(#33322, #32920, #32857, #32946)
                                                                                                  • -
                                                                                                  • Actualizada la versión de knowhere(#33310, #32931, #33043)
                                                                                                  • -
                                                                                                  • Habilitada la actualización dinámica de la política del equilibrador en QueryCoord(#33272)
                                                                                                  • -
                                                                                                  • Utilizado un registrador pre-construido en el búfer de escritura para minimizar la asignación del registrador(#33304)
                                                                                                  • -
                                                                                                  • Mejorada la comprobación de parámetros(#32777, #33271, #33218)
                                                                                                  • -
                                                                                                  • Añadido un parámetro para ignorar IDs de mensajes incorrectos en el punto de control(#33249)
                                                                                                  • -
                                                                                                  • Añadida configuración para controlar la gestión de fallos de inicialización para plugins(#32680)
                                                                                                  • -
                                                                                                  • Se agregó una configuración de consistencia de cómputo de puntaje para knowhere(#32997)
                                                                                                  • -
                                                                                                  • Introducida una opción de configuración para controlar la inicialización de los permisos de roles públicos(#33174)
                                                                                                  • -
                                                                                                  • Optimizado el uso de memoria al leer campos(#33196)
                                                                                                  • -
                                                                                                  • Implementación refinada de Channel Manager v2(#33172, #33121, #33014)
                                                                                                  • -
                                                                                                  • Añadida la función de seguimiento del tamaño de los datos en memoria para binlog(#33025)
                                                                                                  • -
                                                                                                  • Añadidas métricas para el tamaño de los archivos de índice de segmentos(#32979, #33305)
                                                                                                  • -
                                                                                                  • Sustitución de Delete por DeletePartialMatch para eliminar las métricas(#33029)
                                                                                                  • -
                                                                                                  • Obtención del tamaño de los datos relacionados según el tipo de segmento(#33017)
                                                                                                  • -
                                                                                                  • Limpiada la información del nodo del canal en el metaalmacén(#32988)
                                                                                                  • -
                                                                                                  • Eliminado rootcoord de datanode broker(#32818)
                                                                                                  • -
                                                                                                  • Habilitada la carga por lotes(#32788)
                                                                                                  • -
                                                                                                  • Cambiado el número de partición por defecto a 16 cuando se utiliza la clave de partición(#32950)
                                                                                                  • -
                                                                                                  • Mejora del rendimiento de reducción en consultas top-k muy grandes(#32871)
                                                                                                  • -
                                                                                                  • Utilizada la capacidad de TestLocations para acelerar la escritura y la compactación(#32948)
                                                                                                  • -
                                                                                                  • Optimización del conjunto de analizadores de planes para evitar el reciclaje innecesario(#32869)
                                                                                                  • -
                                                                                                  • Mejora de la velocidad de carga(#32898)
                                                                                                  • -
                                                                                                  • Utilización del nivel de coherencia predeterminado de recogida para restv2(#32956)
                                                                                                  • -
                                                                                                  • Añadida respuesta de costes para la API rest(#32620)
                                                                                                  • -
                                                                                                  • Habilitada la política de equilibrio exclusivo de canales(#32911)
                                                                                                  • -
                                                                                                  • API describedatabase expuesta en proxy(#32732)
                                                                                                  • -
                                                                                                  • Utilización del mapeo coll2replica al obtener RG por colección(#32892)
                                                                                                  • -
                                                                                                  • Añadido más rastreo para búsqueda y consulta(#32734)
                                                                                                  • -
                                                                                                  • Soporte de configuración dinámica para el rastreo de opentelemetría(#32169)
                                                                                                  • -
                                                                                                  • Se ha evitado la iteración sobre los resultados del canal al actualizar la vista de líder(#32887)
                                                                                                  • -
                                                                                                  • Optimización de la gestión de las compensaciones vectoriales para parquet(#32822)
                                                                                                  • -
                                                                                                  • Mejorado el filtrado de segmentos de datacoord con la recopilación(#32831)
                                                                                                  • -
                                                                                                  • Ajustado el nivel de registro y la frecuencia(#33042, #32838, #33337)
                                                                                                  • -
                                                                                                  • Posibilidad de detener el equilibrio después de suspenderlo(#32812)
                                                                                                  • -
                                                                                                  • Actualizada la caché del líder del shard cuando cambia la ubicación del líder(#32470)
                                                                                                  • -
                                                                                                  • Eliminados API y campos obsoletos(#32808, #32704)
                                                                                                  • -
                                                                                                  • Añadido metautil.channel para convertir cadena comparar a int(#32749)
                                                                                                  • -
                                                                                                  • Añadida información de tipo para el mensaje de error del escritor de carga útil y el registro cuando querynode encuentra una nueva colección(#32522)
                                                                                                  • -
                                                                                                  • Comprobación del número de partición al crear una colección con clave de partición(#32670)
                                                                                                  • -
                                                                                                  • Se ha eliminado el segmento l0 heredado si falla la vigilancia(#32725)
                                                                                                  • -
                                                                                                  • Mejorada la impresión del tipo de solicitud(#33319)
                                                                                                  • -
                                                                                                  • Comprobación de que los datos de campo de matriz eran nulos antes de obtener el tipo(nº 33311)
                                                                                                  • -
                                                                                                  • Devolución de error cuando fallaba la operación de inicio de nodo Delete/AddNode(#33258)
                                                                                                  • -
                                                                                                  • Permitir la actualización del ID de servidor de datanode(#31597)
                                                                                                  • -
                                                                                                  • Limpieza unificada de métricas querynode en la versión de colección(#32805)
                                                                                                  • -
                                                                                                  • Corregida la versión incorrecta de la configuración del índice automático escalar(#32795)
                                                                                                  • -
                                                                                                  • Refinada la comprobación de parámetros de índice para crear/alterar índice(#32712)
                                                                                                  • -
                                                                                                  • Eliminada la recuperación de réplicas redundantes(#32985)
                                                                                                  • -
                                                                                                  • Habilitada la meta tabla de canales para escribir más de 200k segmentos(#33300)
                                                                                                  • +

                                                                                                    Improvements

                                                                                                      +
                                                                                                    • Implemented Datacoord/node watch channel based on RPC (#32036)
                                                                                                    • +
                                                                                                    • Optimized bloom filter to accelerate delete filtering (#32642, #33329, #33284)
                                                                                                    • +
                                                                                                    • Loaded raw data via mmap if scalar index did not have raw data (#33317)
                                                                                                    • +
                                                                                                    • Synced milvus config to milvus.yaml (#33322, #32920, #32857, #32946)
                                                                                                    • +
                                                                                                    • Updated knowhere version (#33310, #32931, #33043)
                                                                                                    • +
                                                                                                    • Enabled dynamic updating of balancer policy in QueryCoord (#33272)
                                                                                                    • +
                                                                                                    • Used a pre-built logger in the write buffer to minimize logger allocation (#33304)
                                                                                                    • +
                                                                                                    • Improved parameter checking (#32777, #33271, #33218)
                                                                                                    • +
                                                                                                    • Added a parameter to ignore incorrect message IDs in the checkpoint (#33249)
                                                                                                    • +
                                                                                                    • Added config to control initialization failure handling for plugins (#32680)
                                                                                                    • +
                                                                                                    • Added score compute consistency config for knowhere (#32997)
                                                                                                    • +
                                                                                                    • Introduced a configuration option to control the initialization of public role permissions (#33174)
                                                                                                    • +
                                                                                                    • Optimized memory usage when reading fields (#33196)
                                                                                                    • +
                                                                                                    • Refined implementation of Channel Manager v2 (#33172, #33121, #33014)
                                                                                                    • +
                                                                                                    • Added feature to track the size of data in memory for binlog (#33025)
                                                                                                    • +
                                                                                                    • Added metrics for segment index files size (#32979, #33305)
                                                                                                    • +
                                                                                                    • Replaced Delete with DeletePartialMatch to remove metrics (#33029)
                                                                                                    • +
                                                                                                    • Got related data size according to segment type (#33017)
                                                                                                    • +
                                                                                                    • Cleaned channel node info in meta store (#32988)
                                                                                                    • +
                                                                                                    • Removed rootcoord from datanode broker (#32818)
                                                                                                    • +
                                                                                                    • Enabled batch uploading (#32788)
                                                                                                    • +
                                                                                                    • Changed default partition number to 16 when using partition key (#32950)
                                                                                                    • +
                                                                                                    • Improved reduce performance on very large top-k queries (#32871)
                                                                                                    • +
                                                                                                    • Utilized TestLocations ability to accelerate write & compaction (#32948)
                                                                                                    • +
                                                                                                    • Optimized plan parser pool to avoid unnecessary recycling (#32869)
                                                                                                    • +
                                                                                                    • Improved load speed (#32898)
                                                                                                    • +
                                                                                                    • Used collection default consistency level for restv2 (#32956)
                                                                                                    • +
                                                                                                    • Added cost response for the rest API (#32620)
                                                                                                    • +
                                                                                                    • Enabled channel exclusive balance policy (#32911)
                                                                                                    • +
                                                                                                    • Exposed describedatabase API in proxy (#32732)
                                                                                                    • +
                                                                                                    • Utilized coll2replica mapping when getting RG by collection (#32892)
                                                                                                    • +
                                                                                                    • Added more tracing for search & query (#32734)
                                                                                                    • +
                                                                                                    • Supported dynamic config for opentelemetry trace (#32169)
                                                                                                    • +
                                                                                                    • Avoided iteration over channel results when updating leaderview (#32887)
                                                                                                    • +
                                                                                                    • Optimized vector offsets handling for parquet (#32822)
                                                                                                    • +
                                                                                                    • Improved datacoord segment filtering with collection (#32831)
                                                                                                    • +
                                                                                                    • Adjusted log level and frequency (#33042, #32838, #33337)
                                                                                                    • +
                                                                                                    • Enabled stopping balance after balance had been suspended (#32812)
                                                                                                    • +
                                                                                                    • Updated shard leader cache when leader location changed (#32470)
                                                                                                    • +
                                                                                                    • Removed deprecated API and field (#32808, #32704)
                                                                                                    • +
                                                                                                    • Added metautil.channel to convert string compare to int (#32749)
                                                                                                    • +
                                                                                                    • Added type info for payload writer error message and log when querynode found new collection (#32522)
                                                                                                    • +
                                                                                                    • Checked partition number when creating collection with partition key (#32670)
                                                                                                    • +
                                                                                                    • Removed legacy l0 segment if watch failed (#32725)
                                                                                                    • +
                                                                                                    • Improved printing type of request (#33319)
                                                                                                    • +
                                                                                                    • Checked array field data was nil before getting the type (#33311)
                                                                                                    • +
                                                                                                    • Returned error when startup Delete/AddNode node operation failed (#33258)
                                                                                                    • +
                                                                                                    • Allowed datanode’s server ID to be updated (#31597)
                                                                                                    • +
                                                                                                    • Unified querynode metrics cleanup in collection release (#32805)
                                                                                                    • +
                                                                                                    • Fixed scalar auto index config incorrect version (#32795)
                                                                                                    • +
                                                                                                    • Refined index param check for create/alter index (#32712)
                                                                                                    • +
                                                                                                    • Removed redundant replica recovery (#32985)
                                                                                                    • +
                                                                                                    • Enabled channel meta table to write more than 200k segments (#33300)
                                                                                                    -

                                                                                                    Corrección de errores

                                                                                                      -
                                                                                                    • Corregido pánico cuando la base de datos no existía en el interceptor de límite de tasa(#33308)
                                                                                                    • -
                                                                                                    • Corregido fallo en la recogida de métricas quotacenter debido a parámetros incorrectos(#33399)
                                                                                                    • -
                                                                                                    • Corregido pánico si processactivestandby devolvía un error(#33372)
                                                                                                    • -
                                                                                                    • Corregido truncamiento de resultados de búsqueda en restful v2 cuando nq > 1(#33363)
                                                                                                    • -
                                                                                                    • Añadido campo de nombre de base de datos para operaciones de rol en restful v2(#33291)
                                                                                                    • -
                                                                                                    • Arreglado el límite de velocidad global que no funcionaba(#33336)
                                                                                                    • -
                                                                                                    • Arreglado pánico causado por fallo de construcción de índice(#33314)
                                                                                                    • -
                                                                                                    • Añadida validación para vector disperso en segcore para asegurar legalidad(#33312)
                                                                                                    • -
                                                                                                    • Eliminada tarea de syncmgr después de la finalización de la tarea(#33303)
                                                                                                    • -
                                                                                                    • Corregido fallo de filtrado de clave de partición durante la importación de datos(#33277)
                                                                                                    • -
                                                                                                    • Corregida la imposibilidad de generar traceID al utilizar el exportador noop(#33208)
                                                                                                    • -
                                                                                                    • Mejorada la recuperación de resultados de consultas(#33179)
                                                                                                    • -
                                                                                                    • Se ha eliminado el punto de control de canal marcado para evitar la fuga de métricas de retraso de punto de control(#33201)
                                                                                                    • -
                                                                                                    • Corregido el atasco del nodo de consulta durante la detención del progreso(#33154)
                                                                                                    • -
                                                                                                    • Corrección de la falta de segmentos en la respuesta de descarga(#33061)
                                                                                                    • -
                                                                                                    • Operación de envío idempotente(#33053)
                                                                                                    • -
                                                                                                    • Asignación de un nuevo segmento para cada lote en el lector de flujo(#33360)
                                                                                                    • -
                                                                                                    • Eliminado el nodo fuera de línea del grupo de recursos después de reiniciar QueryCoord(#33233)
                                                                                                    • -
                                                                                                    • Eliminado compactador l0 en completedCompactor(#33216)
                                                                                                    • -
                                                                                                    • Restablecido el valor de cuota al inicializar el limitador(#33152)
                                                                                                    • -
                                                                                                    • Solucionado problema por el que se superaba el límite de etcd(#33041)
                                                                                                    • -
                                                                                                    • Resuelta la superación del límite de transacciones etcd debido a demasiados campos(#33040)
                                                                                                    • -
                                                                                                    • Eliminada la reentrada de RLock en GetNumRowsOfPartition(#33045)
                                                                                                    • -
                                                                                                    • Iniciado LeaderCacheObserver antes de SyncAll(#33035)
                                                                                                    • -
                                                                                                    • Habilitado el equilibrio del canal de espera liberado(#32986)
                                                                                                    • -
                                                                                                    • Inicializado el registrador de acceso antes de la inicialización del servidor(#32976)
                                                                                                    • -
                                                                                                    • Compactador capaz de borrar segmentos vacíos(#32821)
                                                                                                    • -
                                                                                                    • Completado el número de entrada deltalog y el rango de tiempo en las compactaciones l0(#33004)
                                                                                                    • -
                                                                                                    • Corregido el fallo del proxy debido a una carrera de datos en la caché del líder de fragmentos(#32971)
                                                                                                    • -
                                                                                                    • Corregida unidad de tiempo para métrica de índice de carga(#32935)
                                                                                                    • -
                                                                                                    • Se ha solucionado el problema por el que no se podía liberar correctamente un segmento en un nodo de consulta detenido(nº 32929).
                                                                                                    • -
                                                                                                    • Corregida la estimación de recursos de índice(#32842)
                                                                                                    • -
                                                                                                    • Fijar punto de control de canal en posición delta(#32878)
                                                                                                    • -
                                                                                                    • Syncmgr bloquea la clave antes de devolver el futuro(#32865)
                                                                                                    • -
                                                                                                    • Asegurarse de que el índice invertido tenga sólo un segmento(#32858)
                                                                                                    • -
                                                                                                    • Corregido el disparo de compactación eligiendo dos segmentos idénticos(#32800)
                                                                                                    • -
                                                                                                    • Se ha solucionado el problema por el que no se podía especificar el nombre de la partición en la importación de binlog(#32730, #33027)
                                                                                                    • -
                                                                                                    • Columna dinámica opcional en la importación de parquet(#32738)
                                                                                                    • -
                                                                                                    • Omisión de la comprobación del ID automático al insertar datos(nº 32775)
                                                                                                    • -
                                                                                                    • Validación del número de filas para insertar datos de campo con el esquema(#32770)
                                                                                                    • -
                                                                                                    • Añadido Wrapper y Keepalive para CTraceContext IDs(#32746)
                                                                                                    • -
                                                                                                    • Solucionado el problema por el que no se encontraba el nombre de la base de datos en el metaobjeto datacoord(nº 33412)
                                                                                                    • -
                                                                                                    • Sincronizado el segmento abandonado para la partición abandonada(#33332)
                                                                                                    • -
                                                                                                    • Corregido fallo en la recogida de métricas de quotaCenter debido a parámetros incorrectos(#33399)
                                                                                                    • +

                                                                                                      Bug fixes

                                                                                                        +
                                                                                                      • Fixed panic when the database didn’t exist in the rate limit interceptor (#33308)
                                                                                                      • +
                                                                                                      • Fixed quotacenter metrics collection failure due to incorrect parameters (#33399)
                                                                                                      • +
                                                                                                      • Fixed panic if processactivestandby returned an error (#33372)
                                                                                                      • +
                                                                                                      • Fixed search result truncation in restful v2 when nq > 1 (#33363)
                                                                                                      • +
                                                                                                      • Added database name field for role operations in restful v2 (#33291)
                                                                                                      • +
                                                                                                      • Fixed global rate limit not working (#33336)
                                                                                                      • +
                                                                                                      • Fixed panic caused by failure of building index (#33314)
                                                                                                      • +
                                                                                                      • Added validation for sparse vector in segcore to ensure legality (#33312)
                                                                                                      • +
                                                                                                      • Removed task from syncmgr after task completion (#33303)
                                                                                                      • +
                                                                                                      • Fixed partition key filtering failure during data import (#33277)
                                                                                                      • +
                                                                                                      • Fixed inability to generate traceID when using noop exporter (#33208)
                                                                                                      • +
                                                                                                      • Improved query results retrieval (#33179)
                                                                                                      • +
                                                                                                      • Marked channel checkpoint dropped to prevent checkpoint lag metrics leakage (#33201)
                                                                                                      • +
                                                                                                      • Fixed query node getting stuck during stopping progress (#33154)
                                                                                                      • +
                                                                                                      • Fixed missing segments in flush response (#33061)
                                                                                                      • +
                                                                                                      • Made submit operation idempotent (#33053)
                                                                                                      • +
                                                                                                      • Allocated new slice for each batch in streaming reader (#33360)
                                                                                                      • +
                                                                                                      • Cleaned offline node from resource group after QueryCoord restart (#33233)
                                                                                                      • +
                                                                                                      • Removed l0 compactor in completedCompactor (#33216)
                                                                                                      • +
                                                                                                      • Reset quota value when initializing the limiter (#33152)
                                                                                                      • +
                                                                                                      • Fixed issue where etcd limit was exceeded (#33041)
                                                                                                      • +
                                                                                                      • Resolved etcd transaction limit exceedance due to too many fields (#33040)
                                                                                                      • +
                                                                                                      • Removed RLock re-entry in GetNumRowsOfPartition (#33045)
                                                                                                      • +
                                                                                                      • Started LeaderCacheObserver before SyncAll (#33035)
                                                                                                      • +
                                                                                                      • Enabled balancing of released standby channel (#32986)
                                                                                                      • +
                                                                                                      • Initialized access logger before server initialization (#32976)
                                                                                                      • +
                                                                                                      • Made compactor capable of clearing empty segments (#32821)
                                                                                                      • +
                                                                                                      • Filled deltalog entry number and time range in l0 compactions (#33004)
                                                                                                      • +
                                                                                                      • Fixed proxy crash due to shard leader cache data race (#32971)
                                                                                                      • +
                                                                                                      • Corrected time unit for load index metric (#32935)
                                                                                                      • +
                                                                                                      • Fixed issue where segment on stopping query node couldn’t be released successfully (#32929)
                                                                                                      • +
                                                                                                      • Fixed index resource estimation (#32842)
                                                                                                      • +
                                                                                                      • Set channel checkpoint to delta position (#32878)
                                                                                                      • +
                                                                                                      • Made syncmgr lock key before returning future (#32865)
                                                                                                      • +
                                                                                                      • Ensured inverted index had only one segment (#32858)
                                                                                                      • +
                                                                                                      • Fixed compaction trigger choosing two identical segments (#32800)
                                                                                                      • +
                                                                                                      • Fixed issue where partition name could not be specified in binlog import (#32730, #33027)
                                                                                                      • +
                                                                                                      • Made dynamic column optional in parquet import (#32738)
                                                                                                      • +
                                                                                                      • Skipped checking auto ID when inserting data (#32775)
                                                                                                      • +
                                                                                                      • Validated number of rows for insert field data with schema (#32770)
                                                                                                      • +
                                                                                                      • Added Wrapper and Keepalive for CTraceContext IDs (#32746)
                                                                                                      • +
                                                                                                      • Fixed issue where database name was not found in the datacoord meta object (#33412)
                                                                                                      • +
                                                                                                      • Synchronized dropped segment for dropped partition (#33332)
                                                                                                      • +
                                                                                                      • Fixed quotaCenter metrics collection failure due to incorrect parameters (#33399)

                                                                                                      v2.4.1

                                                                                                      Fecha de lanzamiento: 6 de mayo de 2024

                                                                                                      +

                                                                                                      Release date: May 6, 2024

                                                                                                      - +
                                                                                                      Versión MilvusVersión del SDK de PythonVersión del SDK de JavaVersión del SDK de Node.js
                                                                                                      Milvus versionPython SDK versionJava SDK versionNode.js SDK version
                                                                                                      2.4.12.4.12.4.02.4.2
                                                                                                      -

                                                                                                      La versión 2.4.1 de Milvus aporta numerosas mejoras y correcciones de errores que pretenden aumentar el rendimiento, la observabilidad y la estabilidad del software. Estas mejoras incluyen una API declarativa de grupos de recursos, una funcionalidad de inserción masiva mejorada que admite los tipos de datos vectoriales Float16/BFloat16, un mecanismo refinado de recogida de basura (GC) que reduce las operaciones de lista para el almacenamiento de objetos y otros cambios relacionados con la optimización del rendimiento. Además, se han corregido errores de compilación, coincidencias difusas fallidas en caracteres de nueva línea, tipos de datos de parámetros incorrectos para interfaces RESTful y errores de BulkInsert en archivos numpy cuando los campos dinámicos están activados.

                                                                                                      -

                                                                                                      Cambios de última hora

                                                                                                        -
                                                                                                      • Discontinuado el soporte para eliminar con una expresión de filtro vacía.(#32472)
                                                                                                      • +

                                                                                                        Milvus version 2.4.1 brings numerous improvements and bug fixes that aim to enhance the software’s performance, observability, and stability. These improvements include a declarative resource group API, enhanced bulk insert functionality that supports Float16/BFloat16 vector data types, a refined garbage collection (GC) mechanism that reduces list operations for object storage, and other changes related to performance optimizations. Additionally, bug fixes address issues such as compilation errors, failed fuzzy matches on newline characters, incorrect parameter datatypes for RESTful interfaces, and BulkInsert raising errors on numpy files when dynamic fields are enabled.

                                                                                                        +

                                                                                                        Breaking changes

                                                                                                          +
                                                                                                        • Discontinued support for delete with an empty filter expression. (#32472)
                                                                                                        -

                                                                                                        Características

                                                                                                          -
                                                                                                        • Añadido soporte para los tipos de datos vectoriales Float16/BFloat16 en la inserción masiva(#32157)
                                                                                                        • -
                                                                                                        • Mejora del vector flotante disperso para admitir la búsqueda de iteradores por fuerza bruta y la búsqueda de rangos(#32635)
                                                                                                        • +

                                                                                                          Features

                                                                                                            +
                                                                                                          • Added support for Float16/BFloat16 vector data types in bulk insert (#32157)
                                                                                                          • +
                                                                                                          • Enhanced sparse float vector to support brute force iterator search and range search (#32635)
                                                                                                          -

                                                                                                          Mejoras

                                                                                                            -
                                                                                                          • Añadida la api declarativa de grupo de recursos(#31930, #32297, #32536, #32666)
                                                                                                          • -
                                                                                                          • Reescrito el observador de colección en QueryCoord para que sea impulsado por tareas(#32441)
                                                                                                          • -
                                                                                                          • Refactorizado la estructura de datos utilizada en el SyncManager de DataNode para reducir el uso de memoria y evitar errores(#32673)
                                                                                                          • -
                                                                                                          • Revisada la implementación de la recolección de basura para minimizar las operaciones de lista asociadas con el almacenamiento de objetos(#31740)
                                                                                                          • -
                                                                                                          • Reducción del uso de cpu cuando el número de colecciones es alto(#32245)
                                                                                                          • -
                                                                                                          • Mejora de la gestión de milvus.yaml mediante la generación automática de elementos de configuración relevantes en el archivo milvus.yaml a través de código(#31832, #32357)
                                                                                                          • -
                                                                                                          • Mejorado el rendimiento de la consulta mediante la recuperación de los datos después de realizar la reducción local(#32346)
                                                                                                          • -
                                                                                                          • Añadida la opción WithBlock para la creación de clientes etcd(#32641)
                                                                                                          • -
                                                                                                          • Utilizado client_request_id especificado por el cliente como el TraceID si el cliente lo proporciona(#32264)
                                                                                                          • -
                                                                                                          • Añadida la etiqueta db a las métricas para las operaciones de borrado e inserción masiva(#32611)
                                                                                                          • -
                                                                                                          • Añadida lógica para omitir la verificación a través de la configuración para las columnas AutoID y PartitionKey(#32592)
                                                                                                          • -
                                                                                                          • Mejora de los errores relacionados con la autenticación(nº 32253)
                                                                                                          • -
                                                                                                          • Mejora de los registros de errores de AllocSegmentID en DataCoord(nº 32351, 32351)
                                                                                                          • -
                                                                                                          • Eliminación de métricas duplicadas(#32380, #32308) y limpieza de métricas no utilizadas(#32404, #32515)
                                                                                                          • -
                                                                                                          • Se ha añadido una opción de configuración para controlar si se activa o no la función partitionKey(#32433).
                                                                                                          • -
                                                                                                          • Añadida una opción de configuración para controlar la cantidad máxima de datos que se pueden insertar en una única solicitud(#32433)
                                                                                                          • -
                                                                                                          • Paralelización de la operación applyDelete a nivel de segmento para acelerar el procesamiento de mensajes Delete por parte del Delegator(#32291)
                                                                                                          • -
                                                                                                          • Utilización de índices(#32232, #32505, #32533, #32595) y caché de adición(#32580) para acelerar las operaciones de filtrado frecuentes en QueryCoord.
                                                                                                          • -
                                                                                                          • Reestructurada la estructura de datos(#32273) y refactorizado el código(#32389) para acelerar las operaciones frecuentes en DataCoord.
                                                                                                          • -
                                                                                                          • Eliminado openblas de conan(#32002)
                                                                                                          • +

                                                                                                            Improvements

                                                                                                              +
                                                                                                            • Added declarative resource group api (#31930, #32297, #32536, #32666)
                                                                                                            • +
                                                                                                            • Rewrote the collection observer in QueryCoord to make it task-driven (#32441)
                                                                                                            • +
                                                                                                            • Refactored the data structure used in the SyncManager of DataNode to reduce memory usage and prevent errors (#32673)
                                                                                                            • +
                                                                                                            • Revised the implementation of garbage collection to minimize list operations associated with object storage (#31740)
                                                                                                            • +
                                                                                                            • Reduced the cpu usage when collection number is high (#32245)
                                                                                                            • +
                                                                                                            • Enhanced the management of milvus.yaml by automatically generating relevant configuration items in the milvus.yaml file through code (#31832, #32357)
                                                                                                            • +
                                                                                                            • Enhanced the performance of the Query by retrieving the data after performing local reduction (#32346)
                                                                                                            • +
                                                                                                            • Added WithBlock option for etcd client creation (#32641)
                                                                                                            • +
                                                                                                            • Used client_request_id specified by the client as the TraceID if client provided (#32264)
                                                                                                            • +
                                                                                                            • Added db label to the metrics for the delete and bulk insert operations (#32611)
                                                                                                            • +
                                                                                                            • Added logic to skip the verification through configuration for AutoID and PartitionKey columns (#32592)
                                                                                                            • +
                                                                                                            • Refined errors related to authentication (#32253)
                                                                                                            • +
                                                                                                            • Refined error logs for AllocSegmentID in DataCoord (#32351, #32335)
                                                                                                            • +
                                                                                                            • Removed duplicate metrics (#32380, #32308) and cleaned up unused metrics (#32404, #32515)
                                                                                                            • +
                                                                                                            • Added configuration option to control whether to enforce the activation of the partitionKey feature (#32433)
                                                                                                            • +
                                                                                                            • Added configuration option to control the maximum amount of data that can be inserted in a single request (#32433)
                                                                                                            • +
                                                                                                            • Parallelize the applyDelete operation at the segment level to accelerate the processing of Delete messages by the Delegator (#32291)
                                                                                                            • +
                                                                                                            • Used index (#32232, #32505, #32533, #32595) and add cache (#32580) to accelerate frequent filtering operations in QueryCoord.
                                                                                                            • +
                                                                                                            • Rewrote the data structure (#32273) and refactored code (#32389) to accelerate common operations in DataCoord.
                                                                                                            • +
                                                                                                            • Removed openblas from conan (#32002)
                                                                                                            -

                                                                                                            Corrección de errores

                                                                                                              -
                                                                                                            • Corregido build milvus en rockylinux8(#32619)
                                                                                                            • -
                                                                                                            • Corregidos errores de compilación para SVE en ARM(#32463, #32270)
                                                                                                            • -
                                                                                                            • Corregido el problema de crash en imágenes GPU basadas en ARM(#31980)
                                                                                                            • -
                                                                                                            • Corregida la consulta regex que no puede manejar texto con nueva línea(#32569)
                                                                                                            • -
                                                                                                            • Corregida la búsqueda que obtenía un resultado vacío cuando GetShardLeaders devolvía una lista de nodos vacía(#32685)
                                                                                                            • -
                                                                                                            • Corregido el error que provocaba BulkInsert al encontrar campos dinámicos en archivos numpy(#32596)
                                                                                                            • -
                                                                                                            • Corregidos errores relacionados con la interfaz RESTFulV2, incluyendo una importante corrección que permite que los parámetros numéricos en las peticiones acepten entrada numérica en lugar de tipo cadena(#32485, #32355)
                                                                                                            • -
                                                                                                            • Se ha corregido la pérdida de memoria en el proxy mediante la eliminación de la observación del evento de configuración en el limitador de velocidad(nº 32313).
                                                                                                            • -
                                                                                                            • Se ha solucionado el problema por el que el limitador de velocidad informa incorrectamente de que no se puede encontrar la partición cuando no se especifica partitionName(#32647)
                                                                                                            • -
                                                                                                            • Añadida la detección entre los casos de Colección en estado de recuperación y no cargada en el tipo de error.(#32447)
                                                                                                            • -
                                                                                                            • Corregida la métrica negativa de entidades num consultables(#32361)
                                                                                                            • +

                                                                                                              Bug fixes

                                                                                                                +
                                                                                                              • Fixed build milvus in rockylinux8 (#32619)
                                                                                                              • +
                                                                                                              • Fixed compilation errors for SVE on ARM (#32463, #32270)
                                                                                                              • +
                                                                                                              • Fixed the crash issue on ARM-based GPU images (#31980)
                                                                                                              • +
                                                                                                              • Fixed regex query can’t handle text with newline (#32569)
                                                                                                              • +
                                                                                                              • Fixed search get empty result caused by GetShardLeaders return empty node list (#32685)
                                                                                                              • +
                                                                                                              • Fixed BulkInsert raised error when encountering dynamic fields in numpy files (#32596)
                                                                                                              • +
                                                                                                              • Fixed bugs related to the RESTFulV2 interface, including an important fix that allows numeric parameters in requests to accept numerical input instead of string type (#32485, #32355)
                                                                                                              • +
                                                                                                              • Fixed memory leak in proxy by removing watching config event in rate limiter (#32313)
                                                                                                              • +
                                                                                                              • Fixed the issue where the rate limiter incorrectly reports that the partition cannot be found when partitionName is not specified (#32647)
                                                                                                              • +
                                                                                                              • Added detection between the cases of Collection being in the recovery state and not being loaded in the error type. (#32447)
                                                                                                              • +
                                                                                                              • Corrected the negative queryable num entities metric (#32361)

                                                                                                              v2.4.0

                                                                                                              Fecha de lanzamiento: 17 de abril de 2024

                                                                                                              +

                                                                                                              Release date: April 17, 2024

                                                                                                              - +
                                                                                                              Versión MilvusVersión del SDK de PythonVersión del SDK de Node.js
                                                                                                              Milvus versionPython SDK versionNode.js SDK version
                                                                                                              2.4.02.4.02.4.0
                                                                                                              -

                                                                                                              Nos complace anunciar el lanzamiento oficial de Milvus 2.4.0. Partiendo de la sólida base de la versión 2.4.0-rc.1, nos hemos centrado en solucionar los errores críticos notificados por nuestros usuarios, preservando al mismo tiempo la funcionalidad existente. Además, Milvus 2.4.0 introduce una serie de optimizaciones destinadas a aumentar el rendimiento del sistema, mejorar la observabilidad mediante la incorporación de varias métricas y racionalizar el código base para aumentar la simplicidad.

                                                                                                              -

                                                                                                              Mejoras

                                                                                                                -
                                                                                                              • Compatibilidad con conexiones TLS MinIO(#31396, #31618)
                                                                                                              • -
                                                                                                              • Soporte de AutoIndex para campos escalares(#31593)
                                                                                                              • -
                                                                                                              • Refactorización de búsqueda híbrida para rutas de ejecución consistentes con búsqueda regular(#31742, #32178)
                                                                                                              • -
                                                                                                              • Filtrado acelerado mediante la refactorización de bitset y bitset_view(#31592, #31754, #32139)
                                                                                                              • -
                                                                                                              • Las tareas de importación permiten ahora esperar a la finalización del índice de datos(#31733)
                                                                                                              • -
                                                                                                              • Mejora de la compatibilidad de las importaciones(nº 32121), la programación de tareas(nº 31475) y los límites de tamaño y número de archivos importados(nº 31542).
                                                                                                              • -
                                                                                                              • Esfuerzos de simplificación del código, incluida la normalización de la interfaz para la comprobación de tipos(#31945, #31857), eliminación de código y métricas obsoletos(#32079, #32134, #31535, #32211, #31935) y normalización de nombres de constantes(#31515).
                                                                                                              • -
                                                                                                              • Nuevas métricas para la latencia del punto de control del canal de destino actual de QueryCoord(#31420)
                                                                                                              • -
                                                                                                              • Nueva etiqueta db para métricas comunes(#32024)
                                                                                                              • -
                                                                                                              • Nuevas métricas relativas al recuento de entidades eliminadas, indexadas y cargadas, con la inclusión de etiquetas como collectionName y dbName(#31861)
                                                                                                              • -
                                                                                                              • Mejoras en la gestión de errores para tipos de vectores no coincidentes(nº 31766)
                                                                                                              • -
                                                                                                              • Soporte para lanzar errores en lugar de bloquearse cuando el índice no se puede construir(#31845)
                                                                                                              • -
                                                                                                              • Soporte para invalidar la meta caché de la base de datos al eliminar bases de datos(#32092)
                                                                                                              • -
                                                                                                              • Refactorización de la interfaz para la distribución de canales(#31814) y la gestión de vistas de líderes(#32127)
                                                                                                              • -
                                                                                                              • Refactorización de la interfaz del gestor de distribución de canales(#31814) y refactorización de la interfaz del gestor de vistas de líderes(#32127)
                                                                                                              • -
                                                                                                              • Procesamiento por lotes(#31632), adición de información de mapeo(#32234, #32249), y evitar el uso de bloqueo(#31787) para acelerar las operaciones invocadas con frecuencia
                                                                                                              • +

                                                                                                                We are excited to announce the official launch of Milvus 2.4.- Building upon the solid foundation of the 2.4.0-rc.1 release, we have focused on addressing critical bugs reported by our users, while preserving the existing functionality. In addition, Milvus 2.4.0 introduces a range of optimizations aimed at enhancing system performance, improving observability through the incorporation of various metrics, and streamlining the codebase for increased simplicity.

                                                                                                                +

                                                                                                                Improvements

                                                                                                                  +
                                                                                                                • Support for MinIO TLS connections (#31396, #31618)
                                                                                                                • +
                                                                                                                • AutoIndex support for scalar fields (#31593)
                                                                                                                • +
                                                                                                                • Hybrid search refactoring for consistent execution paths with regular search (#31742, #32178)
                                                                                                                • +
                                                                                                                • Accelerated filtering through bitset and bitset_view refactoring (#31592, #31754, #32139)
                                                                                                                • +
                                                                                                                • Import tasks now support waiting for data index completion (#31733)
                                                                                                                • +
                                                                                                                • Enhanced Import compatibility (#32121), task scheduling (#31475), and limits on imported file size and number (#31542)
                                                                                                                • +
                                                                                                                • Code simplification efforts including interface standardization for type checking (#31945, #31857), removal of deprecated code and metrics (#32079, #32134, #31535, #32211, #31935), and normalization of constant names (#31515)
                                                                                                                • +
                                                                                                                • New metrics for QueryCoord current target channel check point lag latency (#31420)
                                                                                                                • +
                                                                                                                • New db label for common metrics (#32024)
                                                                                                                • +
                                                                                                                • New metrics regarding the count of deleted, indexed, and loaded entities, with the inclusion of labels such as collectionName and dbName (#31861)
                                                                                                                • +
                                                                                                                • Error handling improvements for mismatched vector types (#31766)
                                                                                                                • +
                                                                                                                • Support for throwing errors instead of crashing when index cannot be built (#31845)
                                                                                                                • +
                                                                                                                • Support for invalidating the database meta cache when dropping databases (#32092)
                                                                                                                • +
                                                                                                                • Interface refactoring for channel distribution (#31814) and leader view management (#32127)
                                                                                                                • +
                                                                                                                • Refactor channel dist manager interface (#31814) and Refactor leader view manager interface (#32127)
                                                                                                                • +
                                                                                                                • Batch processing (#31632), adding mapping information (#32234, #32249), and avoiding usage of lock (#31787) to accelerate frequently invoked operations
                                                                                                                -

                                                                                                                Cambios de última hora

                                                                                                                  -
                                                                                                                • Discontinuación de la búsqueda de agrupamiento en vectores binarios(#31735)
                                                                                                                • -
                                                                                                                • Discontinuación de la búsqueda agrupada con búsqueda híbrida(#31812)
                                                                                                                • -
                                                                                                                • Interrupción del índice HNSW en vectores binarios(#31883)
                                                                                                                • +

                                                                                                                  Breaking Changes

                                                                                                                    +
                                                                                                                  • Discontinued grouping search on binary vectors (#31735)
                                                                                                                  • +
                                                                                                                  • Discontinued grouping search with hybrid search (#31812)
                                                                                                                  • +
                                                                                                                  • Discontinued HNSW index on binary vectors (#31883)
                                                                                                                  -

                                                                                                                  Corrección de errores

                                                                                                                    -
                                                                                                                  • Mejora del tipo de datos y de las comprobaciones de valores en las consultas e inserciones para evitar fallos(#31478, #31653, #31698, #31842, #32042, #32251, #32204)
                                                                                                                  • -
                                                                                                                  • Corrección de errores de la API RESTful(#32160)
                                                                                                                  • -
                                                                                                                  • Mejora de la predicción del uso de recursos del índice invertido(#31641)
                                                                                                                  • -
                                                                                                                  • Resolución de problemas de conexión con etcd cuando la autorización está activada(#31668)
                                                                                                                  • -
                                                                                                                  • Actualización de seguridad para el servidor nats(#32023)
                                                                                                                  • -
                                                                                                                  • Almacenamiento de archivos de índices invertidos en una ruta de almacenamiento local de QueryNode en lugar de /tmp(#32210)
                                                                                                                  • -
                                                                                                                  • Corrección de las fugas de memoria de datacoord en collectionInfo(#32243)
                                                                                                                  • -
                                                                                                                  • Corrección de errores relacionados con fp16/bf16 que podían causar pánico en el sistema(#31677, #31841, #32196)
                                                                                                                  • -
                                                                                                                  • Se han resuelto los problemas por los que la búsqueda agrupada no devolvía suficientes resultados(#32151)
                                                                                                                  • -
                                                                                                                  • Ajuste de la búsqueda con iteradores para gestionar los desplazamientos en el paso Reducir de forma más eficaz y garantizar resultados adecuados con "reduceStopForBest" activado(#32088)
                                                                                                                  • +

                                                                                                                    Bug Fixes

                                                                                                                      +
                                                                                                                    • Enhanced data type and value checks for queries and insertions to prevent crashes (#31478, #31653, #31698, #31842, #32042, #32251, #32204)
                                                                                                                    • +
                                                                                                                    • RESTful API bug fixes (#32160)
                                                                                                                    • +
                                                                                                                    • Improved prediction of inverted index resource usage (#31641)
                                                                                                                    • +
                                                                                                                    • Resolution of connection issues with etcd when authorization is enabled (#31668)
                                                                                                                    • +
                                                                                                                    • Security update for nats server (#32023)
                                                                                                                    • +
                                                                                                                    • Stored inverted index files into a local storage path of QueryNode instead of /tmp (#32210)
                                                                                                                    • +
                                                                                                                    • Addressed datacoord memory leaks for collectionInfo (#32243)
                                                                                                                    • +
                                                                                                                    • Fixes for fp16/bf16 related bugs potentially causing system panic (#31677, #31841, #32196)
                                                                                                                    • +
                                                                                                                    • Resolved issues with grouping search returning insufficient results (#32151)
                                                                                                                    • +
                                                                                                                    • Adjustment of search with iterators to handle offsets in the Reduce step more effectively and ensure adequate results with “reduceStopForBest” enabled (#32088)

                                                                                                                    v2.4.0-rc.1

                                                                                                                    Fecha de publicación: 20 de marzo de 2024

                                                                                                                    +

                                                                                                                    Release date: March 20, 2024

                                                                                                                    - +
                                                                                                                    Versión MilvusVersión del SDK de Python
                                                                                                                    Milvus versionPython SDK version
                                                                                                                    2.4.0-rc.12.4.0
                                                                                                                    -

                                                                                                                    Esta versión introduce varias funciones basadas en escenarios:

                                                                                                                    +

                                                                                                                    This release introduces several scenario-based features:

                                                                                                                      -
                                                                                                                    • Nuevo índice de GPU - CAGRA: Gracias a la contribución de NVIDIA, este nuevo índice de GPU ofrece una mejora de rendimiento de 10x, especialmente para búsquedas por lotes. Para más detalles, consulta Índice GPU.

                                                                                                                    • -
                                                                                                                    • Búsquedamultivectorial e híbrida: Esta función permite almacenar incrustaciones vectoriales de múltiples modelos y realizar búsquedas híbridas. Para obtener más información, consulte Búsqueda híbrida.

                                                                                                                    • -
                                                                                                                    • Vectores dispersos: Ideales para la interpretación y el análisis de palabras clave, los vectores dispersos son ahora compatibles con el procesamiento en su colección. Para obtener más información, consulte Vectores dispersos.

                                                                                                                    • -
                                                                                                                    • Búsqueda poragrupación: La agrupación por categorías mejora la recuperación a nivel de documento para aplicaciones de generación mejorada de recuperación (RAG). Para obtener más información, consulte Búsqueda por agrupación.

                                                                                                                    • -
                                                                                                                    • Índice invertido y concordancia difusa: Estas funciones mejoran la recuperación de palabras clave para campos escalares. Para obtener más información, consulte Índice de campos escalares y búsqueda filtrada.

                                                                                                                    • +
                                                                                                                    • New GPU Index - CAGRA: Thanks to NVIDIA’s contribution, this new GPU index offers a 10x performance boost, especially for batch searches. For details, refer to GPU Index.

                                                                                                                    • +
                                                                                                                    • Multi-vector and Hybrid Search: This feature enables storing vector embeddings from multiple models and conducting hybrid searches. For details, refer to Hybrid Search.

                                                                                                                    • +
                                                                                                                    • Sparse Vectors: Ideal for keyword interpretation and analysis, sparse vectors are now supported for processing in your collection. For details, refer to Sparse Vectors.

                                                                                                                    • +
                                                                                                                    • Grouping Search: Categorical aggregation enhances document-level recall for Retrieval-Augmented Generation (RAG) applications. For details, refer to Grouping Search.

                                                                                                                    • +
                                                                                                                    • Inverted Index and Fuzzy Matching: These capabilities improve keyword retrieval for scalar fields. For details, refer to Index Scalar Fields and Filtered Search.

                                                                                                                    -

                                                                                                                    Nuevas funciones

                                                                                                                    Índice GPU - CAGRA

                                                                                                                    Queremos expresar nuestro más sincero agradecimiento al equipo de NVIDIA por su inestimable contribución a CAGRA, un índice de grafos basado en la GPU (SoTA) de última generación que puede utilizarse online.

                                                                                                                    -

                                                                                                                    A diferencia de índices anteriores basados en la GPU, CAGRA demuestra una superioridad abrumadora incluso en consultas de lotes pequeños, un área en la que tradicionalmente destacan los índices basados en la CPU. Además, el rendimiento de CAGRA en consultas de grandes lotes y la velocidad de construcción de índices, dominios en los que los índices de GPU ya brillan, es realmente incomparable.

                                                                                                                    -

                                                                                                                    El código de ejemplo se encuentra en example_gpu_cagra.py.

                                                                                                                    -

                                                                                                                    Vector disperso (Beta)

                                                                                                                    En esta versión, introducimos un nuevo tipo de campo vectorial denominado vector disperso. Los vectores dispersos son diferentes de sus homólogos densos, ya que tienden a tener varias magnitudes mayor número de dimensiones con sólo un puñado de ser distinto de cero. Esta característica ofrece una mejor interpretabilidad debido a su naturaleza basada en términos y puede ser más eficaz en determinados dominios. Los modelos dispersos aprendidos, como SPLADEv2/BGE-M3, han demostrado ser muy útiles para tareas comunes de clasificación de primera etapa. El principal caso de uso de esta nueva función de Milvus es permitir una búsqueda semántica aproximada eficiente del vecino más próximo sobre vectores dispersos generados por modelos neuronales como SPLADEv2/BGE-M3 y modelos estadísticos como el algoritmo BM25. Milvus soporta ahora un almacenamiento, indexación y búsqueda eficaces y de alto rendimiento (MIPS, Maximum Inner Product Search) de vectores dispersos.

                                                                                                                    -

                                                                                                                    Encontrará código de ejemplo en hello_sparse.py.

                                                                                                                    -

                                                                                                                    El soporte multivectorial es la piedra angular de las aplicaciones que requieren el procesamiento de datos multimodelo o una mezcla de vectores densos y dispersos. Con el soporte multivectorial, ahora puede:

                                                                                                                    +

                                                                                                                    New Features

                                                                                                                    GPU Index - CAGRA

                                                                                                                    We would like to express our sincere gratitude to the NVIDIA team for their invaluable contribution to CAGRA, a state-of-the-art (SoTA) GPU-based graph index that can be used online.

                                                                                                                    +

                                                                                                                    Unlike previous GPU indices, CAGRA demonstrates overwhelming superiority even in small batch queries, an area where CPU indices traditionally excel. In addition, CAGRA’s performance in large batch queries and index construction speed, domains where GPU indices already shine, is truly unparalleled.

                                                                                                                    +

                                                                                                                    Example code can be found in example_gpu_cagra.py.

                                                                                                                    +

                                                                                                                    Sparse Vector (Beta)

                                                                                                                    In this release, we are introducing a new type of vector field called sparse vector. Sparse vectors are different from their dense counterparts as they tend to have several magnitude higher number of dimensions with only a handful being non-zero. This feature offers better interpretability due to its term-based nature and can be more effective in certain domains. Learned sparse models such as SPLADEv2/BGE-M3 have proven to be very useful for common first-stage ranking tasks. The main use case for this new feature in Milvus is to allow efficient approximate semantic nearest neighbor search over sparse vectors generated by neural models such as SPLADEv2/BGE-M3 and statistics models such as the BM25 algorithm. Milvus now supports effective and high-performance storage, indexing, and searching (MIPS, Maximum Inner Product Search) of sparse vectors.

                                                                                                                    +

                                                                                                                    Example code can be found in hello_sparse.py.

                                                                                                                    +

                                                                                                                    Multi-vector support is the cornerstone for applications that require multi-model data processing or a mix of dense and sparse vectors. With multi-vector support, now you can:

                                                                                                                      -
                                                                                                                    • Almacenar incrustaciones vectoriales generadas para muestras de texto, imagen o audio no estructuradas a partir de múltiples modelos.
                                                                                                                    • -
                                                                                                                    • Realizar búsquedas RNA que incluyan múltiples vectores de cada entidad.
                                                                                                                    • -
                                                                                                                    • Personalizar las estrategias de búsqueda asignando pesos a los distintos modelos de incrustación.
                                                                                                                    • -
                                                                                                                    • Experimente con varios modelos de incrustación para encontrar la combinación óptima de modelos.
                                                                                                                    • +
                                                                                                                    • Store vector embeddings generated for unstructured text, image, or audio samples from multiple models.
                                                                                                                    • +
                                                                                                                    • Conduct ANN searches that include multiple vectors of each entity.
                                                                                                                    • +
                                                                                                                    • Customize search strategies by assigning weights to different embedding models.
                                                                                                                    • +
                                                                                                                    • Experiment with various embedding models to find the optimal model combination.
                                                                                                                    -

                                                                                                                    El soporte multivectorial permite almacenar, indexar y aplicar estrategias de reordenación a múltiples campos vectoriales de distintos tipos, como FLOAT_VECTOR y SPARSE_FLOAT_VECTOR, en una colección. Actualmente existen dos estrategias de reordenación: Reciprocal Rank Fusion (RRF) y Average Weighted Scoring. Ambas estrategias combinan los resultados de búsqueda de distintos campos vectoriales en un conjunto de resultados unificado. La primera estrategia da prioridad a las entidades que aparecen sistemáticamente en los resultados de búsqueda de diferentes campos vectoriales, mientras que la otra estrategia asigna pesos a los resultados de búsqueda de cada campo vectorial para determinar su importancia en el conjunto de resultados final.

                                                                                                                    -

                                                                                                                    El código de ejemplo se encuentra en hybrid_search.py.

                                                                                                                    -

                                                                                                                    Índice invertido y coincidencia difusa

                                                                                                                    En versiones anteriores de Milvus, se utilizaban índices de búsqueda binaria basados en memoria e índices Marisa Trie para la indexación de campos escalares. Sin embargo, estos métodos consumían mucha memoria. La última versión de Milvus emplea ahora el índice invertido basado en Tantivy, que puede aplicarse a todos los tipos de datos numéricos y de cadena. Este nuevo índice mejora drásticamente el rendimiento de las consultas escalares, reduciendo diez veces la consulta de palabras clave en cadenas. Además, el índice invertido consume menos memoria, gracias a optimizaciones adicionales en la compresión de datos y al mecanismo de almacenamiento en mapa de memoria (MMap) de la estructura de indexación interna.

                                                                                                                    -

                                                                                                                    Esta versión también admite coincidencias difusas en el filtrado escalar mediante prefijos, infijos y sufijos.

                                                                                                                    -

                                                                                                                    Encontrará código de ejemplo en inverted_index_example.py y fuzzy_match.py.

                                                                                                                    -

                                                                                                                    Ahora puede agrupar los resultados de la búsqueda por los valores de un campo escalar específico. Esto ayuda a las aplicaciones RAG a implementar la recuperación a nivel de documento. Considere una colección de documentos, cada documento se divide en varios pasajes. Cada pasaje está representado por un vector incrustado y pertenece a un documento. Para encontrar los documentos más relevantes en lugar de pasajes dispersos, puede incluir el argumento group_by_field en la operación search() para agrupar los resultados por el ID del documento.

                                                                                                                    -

                                                                                                                    Puede encontrar código de ejemplo en example_group_by.py.

                                                                                                                    -

                                                                                                                    Tipos de datos vectoriales Float16 y BFloat

                                                                                                                    El aprendizaje automático y las redes neuronales utilizan a menudo tipos de datos de media precisión, como Float16 y BFloat. Aunque estos tipos de datos pueden mejorar la eficiencia de las consultas y reducir el uso de memoria, tienen como contrapartida una menor precisión. Con esta versión, Milvus soporta ahora estos tipos de datos para campos vectoriales.

                                                                                                                    -

                                                                                                                    Se puede encontrar código de ejemplo en float16_example.py y bfloat16_example.py.

                                                                                                                    -

                                                                                                                    Arquitectura actualizada

                                                                                                                    Segmento L0

                                                                                                                    Esta versión incluye un nuevo segmento denominado Segmento L0, diseñado para registrar los datos eliminados. Este segmento compacta periódicamente los registros borrados almacenados y los divide en segmentos sellados, reduciendo el número de lavados de datos necesarios para borrados pequeños y dejando una pequeña huella de almacenamiento. Con este mecanismo, Milvus separa completamente las compactaciones de datos de los volcados de datos, mejorando el rendimiento de las operaciones de borrado y upsert.

                                                                                                                    -

                                                                                                                    BulkInsert refactorizado

                                                                                                                    Esta versión también introduce una lógica de inserción masiva mejorada. Esto le permite importar varios archivos en una única solicitud de inserción masiva. Con la versión modificada, tanto el rendimiento como la estabilidad de la inserción masiva han experimentado mejoras significativas. También se ha mejorado la experiencia del usuario, como la limitación de velocidad ajustada y los mensajes de error más fáciles de usar. Además, puede acceder fácilmente a los puntos finales de inserción masiva a través de la API RESTful de Milvus.

                                                                                                                    -

                                                                                                                    Almacenamiento en memoria

                                                                                                                    Milvus utiliza almacenamiento en mapa de memoria (MMap) para optimizar el uso de la memoria. En lugar de cargar el contenido del archivo directamente en la memoria, este mecanismo mapea el contenido del archivo en la memoria. Este enfoque tiene como contrapartida una degradación del rendimiento. Al activar MMap para una colección indexada en HNSW en un host con 2 CPU y 8 GB de RAM, puede cargar 4 veces más datos con menos de un 10% de degradación del rendimiento.

                                                                                                                    -

                                                                                                                    Además, esta versión también permite un control dinámico y detallado de MMap sin necesidad de reiniciar Milvus.

                                                                                                                    -

                                                                                                                    Para más detalles, consulte Almacenamiento MMap.

                                                                                                                    -

                                                                                                                    Otros

                                                                                                                    Milvus-CDC

                                                                                                                    Milvus-CDC es una herramienta complementaria fácil de usar para capturar y sincronizar datos incrementales entre instancias de Milvus, lo que permite una copia de seguridad incremental y una recuperación de desastres sencillas. En esta versión, Milvus-CDC ha mejorado su estabilidad y su funcionalidad de captura de datos de cambios (CDC) está ahora disponible de forma general.

                                                                                                                    -

                                                                                                                    Para obtener más información sobre Milvus-CDC, consulte el repositorio GitHub y la descripción general de Milvus-CDC.

                                                                                                                    -

                                                                                                                    Interfaces MilvusClient perfeccionadas

                                                                                                                    MilvusClient es una alternativa fácil de usar al módulo ORM. Adopta un enfoque puramente funcional para simplificar las interacciones con el servidor. En lugar de mantener un pool de conexiones, cada MilvusClient establece una conexión gRPC con el servidor. El módulo MilvusClient ha implementado la mayoría de las funcionalidades del módulo ORM. Para saber más sobre el módulo MilvusClient, visite pymilvus y los documentos de referencia.

                                                                                                                    +

                                                                                                                    Multi-vector support allows storing, indexing, and applying reranking strategies to multiple vector fields of different types, such as FLOAT_VECTOR and SPARSE_FLOAT_VECTOR, in a collection. Currently, two reranking strategies are available: Reciprocal Rank Fusion (RRF) and Average Weighted Scoring. Both strategies combine the search results from different vector fields into a unified result set. The first strategy prioritizes the entities that consistently appear in the search results of different vector fields, while the other strategy assigns weights to the search results of each vector field to determine their importance in the final result set.

                                                                                                                    +

                                                                                                                    Example code can be found in hybrid_search.py.

                                                                                                                    +

                                                                                                                    Inverted Index and Fuzzy Match

                                                                                                                    In previous releases of Milvus, memory-based binary search indexes and Marisa Trie indexes were used for scalar field indexing. However, these methods were memory-intensive. The latest release of Milvus now employs the Tantivy-based inverted index, which can be applied to all numeric and string data types. This new index dramatically improves scalar query performance, reducing the query of keywords in strings by ten times. In addition, The inverted index consumes less memory, thanks to additional optimizations in data compression and Memory-mapped storage (MMap) mechanism of the internal indexing structure.

                                                                                                                    +

                                                                                                                    This release also supports fuzzy matches in scalar filtering using prefixes, infixes, and suffixes.

                                                                                                                    +

                                                                                                                    Example code can be found in inverted_index_example.py and fuzzy_match.py.

                                                                                                                    +

                                                                                                                    You can now aggregate the search results by the values in a specific scalar field. This helps RAG applications to implement document-level recall. Consider a collection of documents, each document splits into various passages. Each passage is represented by one vector embedding and belongs to one document. To find the most relevant documents instead of scattering passages, you can include the group_by_field argument in the search() operation to group results by the document ID.

                                                                                                                    +

                                                                                                                    Example code can be found in example_group_by.py.

                                                                                                                    +

                                                                                                                    Float16 and BFloat- Vector DataType

                                                                                                                    Machine learning and neural networks often use half-precision data types, such as Float16 and BFloat- While these data types can improve query efficiency and reduce memory usage, they come with a tradeoff of reduced accuracy. With this release, Milvus now supports these data types for vector fields.

                                                                                                                    +

                                                                                                                    Example code can be found in float16_example.py and bfloat16_example.py.

                                                                                                                    +

                                                                                                                    Upgraded Architecture

                                                                                                                    L0 Segment

                                                                                                                    This release includes a new segment called L0 Segment, designed to record deleted data. This segment periodically compacts stored deleted records and splits them into sealed segments, reducing the number of data flushes required for small deletions and leaving a small storage footprint. With this mechanism, Milvus completely separates data compactions from data flushes, enhancing the performance of delete and upsert operations.

                                                                                                                    +

                                                                                                                    Refactored BulkInsert

                                                                                                                    This release also introduces improved bulk-insert logic. This allows you to import multiple files in a single bulk-insert request. With the refactored version, both the performance and stability of bulk insert have seen significant improvements. The user experience has also been enhanced, such as fine-tuned rate limiting and more user-friendly error messages. In addition, you can easily access the bulk-insert endpoints through Milvus’ RESTful API.

                                                                                                                    +

                                                                                                                    Memory-mapped Storage

                                                                                                                    Milvus uses memory-mapped storage (MMap) to optimize its memory usage. Instead of loading file content directly into memory, this mechanism maps the file content into memory. This approach comes with a tradeoff of performance degradation. By enabling MMap for an HNSW-indexed collection on a host with 2 CPUs and 8 GB RAM, you can load 4x more data with less than 10% performance degradation.

                                                                                                                    +

                                                                                                                    In addition, this release also allows dynamic and fine-grained control over MMap without the need to restart Milvus.

                                                                                                                    +

                                                                                                                    For details, refer to MMap Storage.

                                                                                                                    +

                                                                                                                    Others

                                                                                                                    Milvus-CDC

                                                                                                                    Milvus-CDC is an easy-to-use companion tool to capture and synchronize incremental data between Milvus instances, allowing for easy incremental backup and disaster recovery. In this release, Milvus-CDC has improved stability, and its Change Data Capture (CDC) functionality now becomes generally available.

                                                                                                                    +

                                                                                                                    To learn more about Milvus-CDC, refer to GitHub repository and Milvus-CDC Overview.

                                                                                                                    +

                                                                                                                    Refined MilvusClient Interfaces

                                                                                                                    MilvusClient is an easy-to-use alternative to the ORM module. It adopts a purely functional approach to simplify interactions with the server. Instead of maintaining a connection pool, each MilvusClient establishes a gRPC connection to the server. +The MilvusClient module has implemented most of the functionalities of the ORM module. +To learn more about the MilvusClient module, visit pymilvus and the reference documents.

                                                                                                                    diff --git a/localization/v2.4.x/site/es/userGuide/data-import/import-data.json b/localization/v2.4.x/site/es/userGuide/data-import/import-data.json index 407475f80..955945f86 100644 --- a/localization/v2.4.x/site/es/userGuide/data-import/import-data.json +++ b/localization/v2.4.x/site/es/userGuide/data-import/import-data.json @@ -1 +1 @@ -{"codeList":["client = MilvusClient(\"http://localhost:19530\")\n\nschema = MilvusClient.create_schema(\n auto_id=False,\n enable_dynamic_field=True\n)\n\nschema.add_field(field_name=\"id\", datatype=DataType.INT64, is_primary=True)\nschema.add_field(field_name=\"vector\", datatype=DataType.FLOAT_VECTOR, dim=768)\nschema.add_field(field_name=\"scalar_1\", datatype=DataType.VARCHAR, max_length=512)\nschema.add_field(field_name=\"scalar_2\", datatype=DataType.INT64)\n\nclient.create_collection(\n collection_name=\"quick_setup\",\n schema=schema\n)\n","import io.milvus.client.MilvusServiceClient;\nimport io.milvus.param.ConnectParam;\nimport io.milvus.grpc.DataType;\nimport io.milvus.param.collection.CollectionSchemaParam;\nimport io.milvus.param.collection.CollectionSchemaParam;\nimport io.milvus.param.collection.FieldType;\n\nfinal MilvusServiceClient milvusClient = new MilvusServiceClient(\nConnectParam.newBuilder()\n .withUri(\"localhost:19530\")\n .withToken(\"root:Milvus\")\n .build()\n);\n\n// Define schema for the target collection\nFieldType id = FieldType.newBuilder()\n .withName(\"id\")\n .withDataType(DataType.Int64)\n .withPrimaryKey(true)\n .withAutoID(false)\n .build();\n\nFieldType vector = FieldType.newBuilder()\n .withName(\"vector\")\n .withDataType(DataType.FloatVector)\n .withDimension(768)\n .build();\n\nFieldType scalar1 = FieldType.newBuilder()\n .withName(\"scalar_1\")\n .withDataType(DataType.VarChar)\n .withMaxLength(512)\n .build();\n\nFieldType scalar2 = FieldType.newBuilder()\n .withName(\"scalar_2\")\n .withDataType(DataType.Int64)\n .build();\n\nCollectionSchemaParam schema = CollectionSchemaParam.newBuilder()\n .withEnableDynamicField(true)\n .addFieldType(id)\n .addFieldType(vector)\n .addFieldType(scalar1)\n .addFieldType(scalar2)\n .build();\n\n// Create a collection with the given schema\nmilvusClient.createCollection(CreateCollectionParam.newBuilder()\n .withCollectionName(\"quick_setup\")\n .withSchema(schema)\n .build()\n);\n","export MILVUS_URI=\"localhost:19530\"\n\ncurl --request POST \"http://${MILVUS_URI}/v2/vectordb/jobs/import/create\" \\\n--header \"Content-Type: application/json\" \\\n--data-raw '{\n \"files\": [\n [\n \"/8ca44f28-47f7-40ba-9604-98918afe26d1/1.parquet\"\n ],\n [\n \"/8ca44f28-47f7-40ba-9604-98918afe26d1/2.parquet\"\n ]\n ],\n \"collectionName\": \"quick_setup\"\n}'\n","[\n \"/d1782fa1-6b65-4ff3-b05a-43a436342445/1.json\"\n],\n","[\n \"/a6fb2d1c-7b1b-427c-a8a3-178944e3b66d/1.parquet\"\n]\n\n","{\n \"code\": 200,\n \"data\": {\n \"jobId\": \"448707763884413158\"\n }\n}\n","export MILVUS_URI=\"localhost:19530\"\n\ncurl --request POST \"http://${MILVUS_URI}/v2/vectordb/jobs/import/get_progress\" \\\n--header \"Content-Type: application/json\" \\\n--data-raw '{\n \"jobId\": \"449839014328146739\"\n}'\n","{\n \"code\": 200,\n \"data\": {\n \"collectionName\": \"quick_setup\",\n \"completeTime\": \"2024-05-18T02:57:13Z\",\n \"details\": [\n {\n \"completeTime\": \"2024-05-18T02:57:11Z\",\n \"fileName\": \"id:449839014328146740 paths:\\\"/8ca44f28-47f7-40ba-9604-98918afe26d1/1.parquet\\\" \",\n \"fileSize\": 31567874,\n \"importedRows\": 100000,\n \"progress\": 100,\n \"state\": \"Completed\",\n \"totalRows\": 100000\n },\n {\n \"completeTime\": \"2024-05-18T02:57:11Z\",\n \"fileName\": \"id:449839014328146741 paths:\\\"/8ca44f28-47f7-40ba-9604-98918afe26d1/2.parquet\\\" \",\n \"fileSize\": 31517224,\n \"importedRows\": 100000,\n \"progress\": 100,\n \"state\": \"Completed\",\n \"totalRows\": 200000 \n }\n ],\n \"fileSize\": 63085098,\n \"importedRows\": 200000,\n \"jobId\": \"449839014328146739\",\n \"progress\": 100,\n \"state\": \"Completed\",\n \"totalRows\": 200000\n }\n}\n","export MILVUS_URI=\"localhost:19530\"\n\ncurl --request POST \"http://${MILVUS_URI}/v2/vectordb/jobs/import/list\" \\\n--header \"Content-Type: application/json\" \\\n--data-raw '{\n \"collectionName\": \"quick_setup\"\n}'\n","{\n \"code\": 200,\n \"data\": {\n \"records\": [\n {\n \"collectionName\": \"quick_setup\",\n \"jobId\": \"448761313698322011\",\n \"progress\": 50,\n \"state\": \"Importing\"\n }\n ]\n }\n}\n"],"headingContent":"","anchorList":[{"label":"Importar datos","href":"Import-data","type":1,"isActive":false},{"label":"Antes de empezar","href":"Before-you-start","type":2,"isActive":false},{"label":"Importar datos","href":"Import-data","type":2,"isActive":false},{"label":"Comprobar el progreso de la importación","href":"Check-import-progress","type":2,"isActive":false},{"label":"Listar trabajos de importación","href":"List-Import-Jobs","type":2,"isActive":false}]} \ No newline at end of file +{"codeList":["from pymilvus.bulk_writer import bulk_import\n\nurl = f\"http://127.0.0.1:19530\"\n\n# Bulk-insert data from a set of JSON files already uploaded to the MinIO server\nresp = bulk_import(\n url=url,\n collection_name=\"quick_setup\",\n files=[['a1e18323-a658-4d1b-95a7-9907a4391bcf/1.parquet'],\n ['a1e18323-a658-4d1b-95a7-9907a4391bcf/2.parquet'],\n ['a1e18323-a658-4d1b-95a7-9907a4391bcf/3.parquet'],\n ['a1e18323-a658-4d1b-95a7-9907a4391bcf/4.parquet'],\n ['a1e18323-a658-4d1b-95a7-9907a4391bcf/5.parquet'],\n ['a1e18323-a658-4d1b-95a7-9907a4391bcf/6.parquet'],\n ['a1e18323-a658-4d1b-95a7-9907a4391bcf/7.parquet'],\n ['a1e18323-a658-4d1b-95a7-9907a4391bcf/8.parquet'],\n ['a1e18323-a658-4d1b-95a7-9907a4391bcf/9.parquet'],\n ['a1e18323-a658-4d1b-95a7-9907a4391bcf/10.parquet']],\n)\n\njob_id = resp.json()['data']['jobId']\nprint(job_id)\n","private static String bulkImport(List> batchFiles) throws InterruptedException {\n MilvusImportRequest milvusImportRequest = MilvusImportRequest.builder()\n .collectionName(\"quick_setup\")\n .files(batchFiles)\n .build();\n String bulkImportResult = BulkImport.bulkImport(\"http://localhost:19530\", milvusImportRequest);\n System.out.println(bulkImportResult);\n\n JsonObject bulkImportObject = new Gson().fromJson(bulkImportResult, JsonObject.class);\n String jobId = bulkImportObject.getAsJsonObject(\"data\").get(\"jobId\").getAsString();\n System.out.println(\"Create a bulkInert task, job id: \" + jobId);\n return jobId;\n}\n\npublic static void main(String[] args) throws Exception {\n List> batchFiles = uploadData();\n String jobId = bulkImport(batchFiles);\n}\n","export MILVUS_URI=\"localhost:19530\"\n\ncurl --request POST \"http://${MILVUS_URI}/v2/vectordb/jobs/import/create\" \\\n--header \"Content-Type: application/json\" \\\n--data-raw '{\n \"files\": [\n [\n \"/8ca44f28-47f7-40ba-9604-98918afe26d1/1.parquet\"\n ],\n [\n \"/8ca44f28-47f7-40ba-9604-98918afe26d1/2.parquet\"\n ]\n ],\n \"collectionName\": \"quick_setup\"\n}'\n","[\n \"/d1782fa1-6b65-4ff3-b05a-43a436342445/1.json\"\n],\n","[\n \"/a6fb2d1c-7b1b-427c-a8a3-178944e3b66d/1.parquet\"\n]\n\n","{\n \"code\": 200,\n \"data\": {\n \"jobId\": \"448707763884413158\"\n }\n}\n","import json\nfrom pymilvus.bulk_writer import get_import_progress\n\nurl = f\"http://127.0.0.1:19530\"\n\n# Get bulk-insert job progress\nresp = get_import_progress(\n url=url,\n job_id=\"453265736269038336\",\n)\n\nprint(json.dumps(resp.json(), indent=4))\n","private static void getImportProgress(String jobId) {\n while (true) {\n System.out.println(\"Wait 5 second to check bulkInsert job state...\");\n try {\n TimeUnit.SECONDS.sleep(5);\n } catch (InterruptedException e) {\n break;\n }\n\n MilvusDescribeImportRequest request = MilvusDescribeImportRequest.builder()\n .jobId(jobId)\n .build();\n String getImportProgressResult = BulkImport.getImportProgress(\"http://localhost:19530\", request);\n\n JsonObject getImportProgressObject = new Gson().fromJson(getImportProgressResult, JsonObject.class);\n String state = getImportProgressObject.getAsJsonObject(\"data\").get(\"state\").getAsString();\n String progress = getImportProgressObject.getAsJsonObject(\"data\").get(\"progress\").getAsString();\n if (\"Failed\".equals(state)) {\n String reason = getImportProgressObject.getAsJsonObject(\"data\").get(\"reason\").getAsString();\n System.out.printf(\"The job %s failed, reason: %s%n\", jobId, reason);\n break;\n } else if (\"Completed\".equals(state)) {\n System.out.printf(\"The job %s completed%n\", jobId);\n break;\n } else {\n System.out.printf(\"The job %s is running, state:%s progress:%s%n\", jobId, state, progress);\n }\n }\n}\n\npublic static void main(String[] args) throws Exception {\n List> batchFiles = uploadData();\n String jobId = bulkImport(batchFiles);\n getImportProgress(jobId);\n}\n","export MILVUS_URI=\"localhost:19530\"\n\ncurl --request POST \"http://${MILVUS_URI}/v2/vectordb/jobs/import/describe\" \\\n--header \"Content-Type: application/json\" \\\n--data-raw '{\n \"jobId\": \"449839014328146739\"\n}'\n","{\n \"code\": 200,\n \"data\": {\n \"collectionName\": \"quick_setup\",\n \"completeTime\": \"2024-05-18T02:57:13Z\",\n \"details\": [\n {\n \"completeTime\": \"2024-05-18T02:57:11Z\",\n \"fileName\": \"id:449839014328146740 paths:\\\"/8ca44f28-47f7-40ba-9604-98918afe26d1/1.parquet\\\" \",\n \"fileSize\": 31567874,\n \"importedRows\": 100000,\n \"progress\": 100,\n \"state\": \"Completed\",\n \"totalRows\": 100000\n },\n {\n \"completeTime\": \"2024-05-18T02:57:11Z\",\n \"fileName\": \"id:449839014328146741 paths:\\\"/8ca44f28-47f7-40ba-9604-98918afe26d1/2.parquet\\\" \",\n \"fileSize\": 31517224,\n \"importedRows\": 100000,\n \"progress\": 100,\n \"state\": \"Completed\",\n \"totalRows\": 200000 \n }\n ],\n \"fileSize\": 63085098,\n \"importedRows\": 200000,\n \"jobId\": \"449839014328146739\",\n \"progress\": 100,\n \"state\": \"Completed\",\n \"totalRows\": 200000\n }\n}\n","import json\nfrom pymilvus.bulk_writer import list_import_jobs\n\nurl = f\"http://127.0.0.1:19530\"\n\n# List bulk-insert jobs\nresp = list_import_jobs(\n url=url,\n collection_name=\"quick_setup\",\n)\n\nprint(json.dumps(resp.json(), indent=4))\n","private static void listImportJobs() {\n MilvusListImportJobsRequest listImportJobsRequest = MilvusListImportJobsRequest.builder().collectionName(\"quick_setup\").build();\n String listImportJobsResult = BulkImport.listImportJobs(\"http://localhost:19530\", listImportJobsRequest);\n System.out.println(listImportJobsResult);\n}\n\npublic static void main(String[] args) throws Exception {\n listImportJobs();\n}\n","export MILVUS_URI=\"localhost:19530\"\n\ncurl --request POST \"http://${MILVUS_URI}/v2/vectordb/jobs/import/list\" \\\n--header \"Content-Type: application/json\" \\\n--data-raw '{\n \"collectionName\": \"quick_setup\"\n}'\n","{\n \"code\": 200,\n \"data\": {\n \"records\": [\n {\n \"collectionName\": \"quick_setup\",\n \"jobId\": \"448761313698322011\",\n \"progress\": 50,\n \"state\": \"Importing\"\n }\n ]\n }\n}\n"],"headingContent":"Import data","anchorList":[{"label":"Importar datos","href":"Import-data","type":1,"isActive":false},{"label":"Antes de empezar","href":"Before-you-start","type":2,"isActive":false},{"label":"Importar datos","href":"Import-data","type":2,"isActive":false},{"label":"Comprobar el progreso de la importación","href":"Check-import-progress","type":2,"isActive":false},{"label":"Listar trabajos de importación","href":"List-Import-Jobs","type":2,"isActive":false},{"label":"Limitaciones","href":"Limitations","type":2,"isActive":false},{"label":"Restricciones","href":"Constraints","type":2,"isActive":false},{"label":"Recomendaciones","href":"Recommendations","type":2,"isActive":false}]} \ No newline at end of file diff --git a/localization/v2.4.x/site/es/userGuide/data-import/import-data.md b/localization/v2.4.x/site/es/userGuide/data-import/import-data.md index 7c4261e16..124f1fa23 100644 --- a/localization/v2.4.x/site/es/userGuide/data-import/import-data.md +++ b/localization/v2.4.x/site/es/userGuide/data-import/import-data.md @@ -46,79 +46,6 @@ summary: Esta página muestra el procedimiento para importar los datos preparado

                                                                                                                    El siguiente fragmento de código crea una colección simple con el esquema dado. Para obtener más información sobre los parámetros, consulte createCollection() en la referencia del SDK.

                                                                                                                    - -
                                                                                                                    client = MilvusClient("http://localhost:19530")
                                                                                                                    -
                                                                                                                    -schema = MilvusClient.create_schema(
                                                                                                                    -    auto_id=False,
                                                                                                                    -    enable_dynamic_field=True
                                                                                                                    -)
                                                                                                                    -
                                                                                                                    -schema.add_field(field_name="id", datatype=DataType.INT64, is_primary=True)
                                                                                                                    -schema.add_field(field_name="vector", datatype=DataType.FLOAT_VECTOR, dim=768)
                                                                                                                    -schema.add_field(field_name="scalar_1", datatype=DataType.VARCHAR, max_length=512)
                                                                                                                    -schema.add_field(field_name="scalar_2", datatype=DataType.INT64)
                                                                                                                    -
                                                                                                                    -client.create_collection(
                                                                                                                    -    collection_name="quick_setup",
                                                                                                                    -    schema=schema
                                                                                                                    -)
                                                                                                                    -
                                                                                                                    -
                                                                                                                    import io.milvus.client.MilvusServiceClient;
                                                                                                                    -import io.milvus.param.ConnectParam;
                                                                                                                    -import io.milvus.grpc.DataType;
                                                                                                                    -import io.milvus.param.collection.CollectionSchemaParam;
                                                                                                                    -import io.milvus.param.collection.CollectionSchemaParam;
                                                                                                                    -import io.milvus.param.collection.FieldType;
                                                                                                                    -
                                                                                                                    -final MilvusServiceClient milvusClient = new MilvusServiceClient(
                                                                                                                    -ConnectParam.newBuilder()
                                                                                                                    -    .withUri("localhost:19530")
                                                                                                                    -    .withToken("root:Milvus")
                                                                                                                    -    .build()
                                                                                                                    -);
                                                                                                                    -
                                                                                                                    -// Define schema for the target collection
                                                                                                                    -FieldType id = FieldType.newBuilder()
                                                                                                                    -    .withName("id")
                                                                                                                    -    .withDataType(DataType.Int64)
                                                                                                                    -    .withPrimaryKey(true)
                                                                                                                    -    .withAutoID(false)
                                                                                                                    -    .build();
                                                                                                                    -
                                                                                                                    -FieldType vector = FieldType.newBuilder()
                                                                                                                    -    .withName("vector")
                                                                                                                    -    .withDataType(DataType.FloatVector)
                                                                                                                    -    .withDimension(768)
                                                                                                                    -    .build();
                                                                                                                    -
                                                                                                                    -FieldType scalar1 = FieldType.newBuilder()
                                                                                                                    -    .withName("scalar_1")
                                                                                                                    -    .withDataType(DataType.VarChar)
                                                                                                                    -    .withMaxLength(512)
                                                                                                                    -    .build();
                                                                                                                    -
                                                                                                                    -FieldType scalar2 = FieldType.newBuilder()
                                                                                                                    -    .withName("scalar_2")
                                                                                                                    -    .withDataType(DataType.Int64)
                                                                                                                    -    .build();
                                                                                                                    -
                                                                                                                    -CollectionSchemaParam schema = CollectionSchemaParam.newBuilder()
                                                                                                                    -    .withEnableDynamicField(true)
                                                                                                                    -    .addFieldType(id)
                                                                                                                    -    .addFieldType(vector)
                                                                                                                    -    .addFieldType(scalar1)
                                                                                                                    -    .addFieldType(scalar2)
                                                                                                                    -    .build();
                                                                                                                    -
                                                                                                                    -// Create a collection with the given schema
                                                                                                                    -milvusClient.createCollection(CreateCollectionParam.newBuilder()
                                                                                                                    -    .withCollectionName("quick_setup")
                                                                                                                    -    .withSchema(schema)
                                                                                                                    -    .build()
                                                                                                                    -);
                                                                                                                    -

                                                                                                                    Importar datos

                                                                                                                    Para importar los datos preparados, debe crear un trabajo de importación como se indica a continuación:

                                                                                                                    -
                                                                                                                    export MILVUS_URI="localhost:19530"
                                                                                                                    +    

                                                                                                                    Para importar los datos preparados, debe crear una tarea de importación como se indica a continuación:

                                                                                                                    + +
                                                                                                                    from pymilvus.bulk_writer import bulk_import
                                                                                                                    +
                                                                                                                    +url = f"http://127.0.0.1:19530"
                                                                                                                    +
                                                                                                                    +# Bulk-insert data from a set of JSON files already uploaded to the MinIO server
                                                                                                                    +resp = bulk_import(
                                                                                                                    +    url=url,
                                                                                                                    +    collection_name="quick_setup",
                                                                                                                    +    files=[['a1e18323-a658-4d1b-95a7-9907a4391bcf/1.parquet'],
                                                                                                                    +           ['a1e18323-a658-4d1b-95a7-9907a4391bcf/2.parquet'],
                                                                                                                    +           ['a1e18323-a658-4d1b-95a7-9907a4391bcf/3.parquet'],
                                                                                                                    +           ['a1e18323-a658-4d1b-95a7-9907a4391bcf/4.parquet'],
                                                                                                                    +           ['a1e18323-a658-4d1b-95a7-9907a4391bcf/5.parquet'],
                                                                                                                    +           ['a1e18323-a658-4d1b-95a7-9907a4391bcf/6.parquet'],
                                                                                                                    +           ['a1e18323-a658-4d1b-95a7-9907a4391bcf/7.parquet'],
                                                                                                                    +           ['a1e18323-a658-4d1b-95a7-9907a4391bcf/8.parquet'],
                                                                                                                    +           ['a1e18323-a658-4d1b-95a7-9907a4391bcf/9.parquet'],
                                                                                                                    +           ['a1e18323-a658-4d1b-95a7-9907a4391bcf/10.parquet']],
                                                                                                                    +)
                                                                                                                    +
                                                                                                                    +job_id = resp.json()['data']['jobId']
                                                                                                                    +print(job_id)
                                                                                                                    +
                                                                                                                    +
                                                                                                                    private static String bulkImport(List<List<String>> batchFiles) throws InterruptedException {
                                                                                                                    +    MilvusImportRequest milvusImportRequest = MilvusImportRequest.builder()
                                                                                                                    +            .collectionName("quick_setup")
                                                                                                                    +            .files(batchFiles)
                                                                                                                    +            .build();
                                                                                                                    +    String bulkImportResult = BulkImport.bulkImport("http://localhost:19530", milvusImportRequest);
                                                                                                                    +    System.out.println(bulkImportResult);
                                                                                                                    +
                                                                                                                    +    JsonObject bulkImportObject = new Gson().fromJson(bulkImportResult, JsonObject.class);
                                                                                                                    +    String jobId = bulkImportObject.getAsJsonObject("data").get("jobId").getAsString();
                                                                                                                    +    System.out.println("Create a bulkInert task, job id: " + jobId);
                                                                                                                    +    return jobId;
                                                                                                                    +}
                                                                                                                    +
                                                                                                                    +public static void main(String[] args) throws Exception {
                                                                                                                    +    List<List<String>> batchFiles = uploadData();
                                                                                                                    +    String jobId = bulkImport(batchFiles);
                                                                                                                    +}
                                                                                                                    +
                                                                                                                    +
                                                                                                                    export MILVUS_URI="localhost:19530"
                                                                                                                     
                                                                                                                     curl --request POST "http://${MILVUS_URI}/v2/vectordb/jobs/import/create" \
                                                                                                                     --header "Content-Type: application/json" \
                                                                                                                    @@ -159,7 +130,7 @@ curl --request POST "http://[
                                                                                                                         "/d1782fa1-6b65-4ff3-b05a-43a436342445/1.json"
                                                                                                                     ],
                                                                                                                    @@ -174,7 +145,7 @@ curl --request POST "http://{
                                                                                                                    +
                                                                                                                    {
                                                                                                                         "code": 200,
                                                                                                                         "data": {
                                                                                                                             "jobId": "448707763884413158"
                                                                                                                    @@ -196,16 +167,67 @@ curl --request POST "http://
                                                                                                                           
                                                                                                                    -    

                                                                                                                    Una vez obtenido un ID de trabajo de importación, puede comprobar el progreso de la importación de la siguiente manera:

                                                                                                                    -
                                                                                                                    export MILVUS_URI="localhost:19530"
                                                                                                                    +    

                                                                                                                    Una vez que obtenga un ID de trabajo de importación, puede comprobar el progreso de la importación de la siguiente manera:

                                                                                                                    + +
                                                                                                                    import json
                                                                                                                    +from pymilvus.bulk_writer import get_import_progress
                                                                                                                    +
                                                                                                                    +url = f"http://127.0.0.1:19530"
                                                                                                                    +
                                                                                                                    +# Get bulk-insert job progress
                                                                                                                    +resp = get_import_progress(
                                                                                                                    +    url=url,
                                                                                                                    +    job_id="453265736269038336",
                                                                                                                    +)
                                                                                                                    +
                                                                                                                    +print(json.dumps(resp.json(), indent=4))
                                                                                                                    +
                                                                                                                    +
                                                                                                                    private static void getImportProgress(String jobId) {
                                                                                                                    +    while (true) {
                                                                                                                    +        System.out.println("Wait 5 second to check bulkInsert job state...");
                                                                                                                    +        try {
                                                                                                                    +            TimeUnit.SECONDS.sleep(5);
                                                                                                                    +        } catch (InterruptedException e) {
                                                                                                                    +            break;
                                                                                                                    +        }
                                                                                                                    +
                                                                                                                    +        MilvusDescribeImportRequest request = MilvusDescribeImportRequest.builder()
                                                                                                                    +                .jobId(jobId)
                                                                                                                    +                .build();
                                                                                                                    +        String getImportProgressResult = BulkImport.getImportProgress("http://localhost:19530", request);
                                                                                                                     
                                                                                                                    -curl --request POST "http://${MILVUS_URI}/v2/vectordb/jobs/import/get_progress" \
                                                                                                                    +        JsonObject getImportProgressObject = new Gson().fromJson(getImportProgressResult, JsonObject.class);
                                                                                                                    +        String state = getImportProgressObject.getAsJsonObject("data").get("state").getAsString();
                                                                                                                    +        String progress = getImportProgressObject.getAsJsonObject("data").get("progress").getAsString();
                                                                                                                    +        if ("Failed".equals(state)) {
                                                                                                                    +            String reason = getImportProgressObject.getAsJsonObject("data").get("reason").getAsString();
                                                                                                                    +            System.out.printf("The job %s failed, reason: %s%n", jobId, reason);
                                                                                                                    +            break;
                                                                                                                    +        } else if ("Completed".equals(state)) {
                                                                                                                    +            System.out.printf("The job %s completed%n", jobId);
                                                                                                                    +            break;
                                                                                                                    +        } else {
                                                                                                                    +            System.out.printf("The job %s is running, state:%s progress:%s%n", jobId, state, progress);
                                                                                                                    +        }
                                                                                                                    +    }
                                                                                                                    +}
                                                                                                                    +
                                                                                                                    +public static void main(String[] args) throws Exception {
                                                                                                                    +    List<List<String>> batchFiles = uploadData();
                                                                                                                    +    String jobId = bulkImport(batchFiles);
                                                                                                                    +    getImportProgress(jobId);
                                                                                                                    +}
                                                                                                                    +
                                                                                                                    +
                                                                                                                    export MILVUS_URI="localhost:19530"
                                                                                                                    +
                                                                                                                    +curl --request POST "http://${MILVUS_URI}/v2/vectordb/jobs/import/describe" \
                                                                                                                     --header "Content-Type: application/json" \
                                                                                                                     --data-raw '{
                                                                                                                         "jobId": "449839014328146739"
                                                                                                                     }'
                                                                                                                     
                                                                                                                    -

                                                                                                                    La posible respuesta es la siguiente:

                                                                                                                    +

                                                                                                                    La posible respuesta es la siguiente

                                                                                                                    {
                                                                                                                         "code": 200,
                                                                                                                         "data": {
                                                                                                                    @@ -256,7 +278,32 @@ curl --request POST "http://export MILVUS_URI="localhost:19530"
                                                                                                                    +
                                                                                                                    +
                                                                                                                    import json
                                                                                                                    +from pymilvus.bulk_writer import list_import_jobs
                                                                                                                    +
                                                                                                                    +url = f"http://127.0.0.1:19530"
                                                                                                                    +
                                                                                                                    +# List bulk-insert jobs
                                                                                                                    +resp = list_import_jobs(
                                                                                                                    +    url=url,
                                                                                                                    +    collection_name="quick_setup",
                                                                                                                    +)
                                                                                                                    +
                                                                                                                    +print(json.dumps(resp.json(), indent=4))
                                                                                                                    +
                                                                                                                    +
                                                                                                                    private static void listImportJobs() {
                                                                                                                    +    MilvusListImportJobsRequest listImportJobsRequest = MilvusListImportJobsRequest.builder().collectionName("quick_setup").build();
                                                                                                                    +    String listImportJobsResult = BulkImport.listImportJobs("http://localhost:19530", listImportJobsRequest);
                                                                                                                    +    System.out.println(listImportJobsResult);
                                                                                                                    +}
                                                                                                                    +
                                                                                                                    +public static void main(String[] args) throws Exception {
                                                                                                                    +    listImportJobs();
                                                                                                                    +}
                                                                                                                    +
                                                                                                                    +
                                                                                                                    export MILVUS_URI="localhost:19530"
                                                                                                                     
                                                                                                                     curl --request POST "http://${MILVUS_URI}/v2/vectordb/jobs/import/list" \
                                                                                                                     --header "Content-Type: application/json" \
                                                                                                                    @@ -265,7 +312,7 @@ curl --request POST "http://

                                                                                                                    Los valores posibles son los siguientes:

                                                                                                                    -
                                                                                                                    {
                                                                                                                    +
                                                                                                                    {
                                                                                                                         "code": 200,
                                                                                                                         "data": {
                                                                                                                             "records": [
                                                                                                                    @@ -279,3 +326,76 @@ curl --request POST "http://
                                                                                                                    +

                                                                                                                    Limitaciones

                                                                                                                      +
                                                                                                                    • El tamaño de cada archivo de importación no debe superar los 16 GB.

                                                                                                                    • +
                                                                                                                    • El número máximo de solicitudes de importación está limitado a 1024.

                                                                                                                    • +
                                                                                                                    • El número máximo de ficheros por solicitud de importación no debe exceder de 1024.

                                                                                                                    • +
                                                                                                                    • Sólo se puede especificar un nombre de partición en una petición de importación. Si no se especifica ningún nombre de partición, los datos se insertarán en la partición por defecto. Además, no se puede establecer un nombre de partición en la petición de importación si se ha establecido la Clave de Partición en la colección destino.

                                                                                                                    • +
                                                                                                                    +

                                                                                                                    Restricciones

                                                                                                                    Antes de importar datos, asegúrese de que ha reconocido las restricciones relativas a los siguientes comportamientos de Milvus:

                                                                                                                    +
                                                                                                                      +
                                                                                                                    • Restricciones relativas al comportamiento Cargar:

                                                                                                                      +
                                                                                                                        +
                                                                                                                      • Si una colección ya se ha cargado antes de una importación, puede utilizar la función refresh_load para cargar los datos recién importados una vez finalizada la importación.
                                                                                                                      • +
                                                                                                                    • +
                                                                                                                    • Restricciones relativas a los comportamientos de consulta y búsqueda:

                                                                                                                      +
                                                                                                                        +
                                                                                                                      • Antes de que el estado del trabajo de importación sea Completado, se garantiza que los datos recién importados sean invisibles para las consultas y búsquedas.

                                                                                                                      • +
                                                                                                                      • Una vez completado el trabajo,

                                                                                                                        +
                                                                                                                          +
                                                                                                                        • Si la colección no está cargada, puede utilizar la función load para cargar los datos recién importados.

                                                                                                                        • +
                                                                                                                        • Si la colección ya está cargada, puede llamar a load(is_refresh=True) para cargar los datos importados.

                                                                                                                        • +
                                                                                                                      • +
                                                                                                                    • +
                                                                                                                    • Restricciones relativas al comportamiento de eliminación:

                                                                                                                      +
                                                                                                                        +
                                                                                                                      • Antes de que el estado del trabajo de importación sea Completado, el borrado no está garantizado y puede o no tener éxito.

                                                                                                                      • +
                                                                                                                      • El borrado después de que el estado del trabajo sea Completado está garantizado.

                                                                                                                      • +
                                                                                                                    • +
                                                                                                                    +

                                                                                                                    Recomendaciones

                                                                                                                    Le recomendamos encarecidamente que utilice la función de importación de varios archivos, que le permite cargar varios archivos en una única solicitud. Este método no sólo simplifica el proceso de importación, sino que también aumenta significativamente el rendimiento de la importación. Mientras tanto, al consolidar sus cargas, puede reducir el tiempo dedicado a la gestión de datos y hacer que su flujo de trabajo sea más eficiente.

                                                                                                                    diff --git a/localization/v2.4.x/site/es/userGuide/data-import/prepare-source-data.json b/localization/v2.4.x/site/es/userGuide/data-import/prepare-source-data.json index 467737367..b79bdd397 100644 --- a/localization/v2.4.x/site/es/userGuide/data-import/prepare-source-data.json +++ b/localization/v2.4.x/site/es/userGuide/data-import/prepare-source-data.json @@ -1 +1 @@ -{"codeList":["from pymilvus import MilvusClient, DataType\n\n# You need to work out a collection schema out of your dataset.\nschema = MilvusClient.create_schema(\n auto_id=False,\n enable_dynamic_field=True\n)\n\nschema.add_field(field_name=\"id\", datatype=DataType.INT64, is_primary=True)\nschema.add_field(field_name=\"vector\", datatype=DataType.FLOAT_VECTOR, dim=768)\nschema.add_field(field_name=\"scalar_1\", datatype=DataType.VARCHAR, max_length=512)\nschema.add_field(field_name=\"scalar_2\", datatype=DataType.INT64)\n\nschema.verify()\n","import io.milvus.grpc.DataType;\nimport io.milvus.param.collection.CollectionSchemaParam;\nimport io.milvus.param.collection.FieldType;\n\n// Define schema for the target collection\nFieldType id = FieldType.newBuilder()\n .withName(\"id\")\n .withDataType(DataType.Int64)\n .withPrimaryKey(true)\n .withAutoID(false)\n .build();\n\nFieldType vector = FieldType.newBuilder()\n .withName(\"vector\")\n .withDataType(DataType.FloatVector)\n .withDimension(768)\n .build();\n\nFieldType scalar1 = FieldType.newBuilder()\n .withName(\"scalar_1\")\n .withDataType(DataType.VarChar)\n .withMaxLength(512)\n .build();\n\nFieldType scalar2 = FieldType.newBuilder()\n .withName(\"scalar_2\")\n .withDataType(DataType.Int64)\n .build();\n\nCollectionSchemaParam schema = CollectionSchemaParam.newBuilder()\n .withEnableDynamicField(true)\n .addFieldType(id)\n .addFieldType(vector)\n .addFieldType(scalar1)\n .addFieldType(scalar2)\n .build();\n","from pymilvus.bulk_writer import LocalBulkWriter, BulkFileType\n# Use `from pymilvus import LocalBulkWriter, BulkFileType` \n# when you use pymilvus earlier than 2.4.2 \n\nwriter = LocalBulkWriter(\n schema=schema,\n local_path='.',\n segment_size=512 * 1024 * 1024, # Default value\n file_type=BulkFileType.PARQUET\n)\n","import io.milvus.bulkwriter.LocalBulkWriter;\nimport io.milvus.bulkwriter.LocalBulkWriterParam;\nimport io.milvus.bulkwriter.common.clientenum.BulkFileType;\n\nLocalBulkWriterParam localBulkWriterParam = LocalBulkWriterParam.newBuilder()\n .withCollectionSchema(schema)\n .withLocalPath(\".\")\n .withChunkSize(512 * 1024 * 1024)\n .withFileType(BulkFileType.PARQUET)\n .build();\n\nLocalBulkWriter localBulkWriter = new LocalBulkWriter(localBulkWriterParam);\n","from pymilvus.bulk_writer import RemoteBulkWriter\n# Use `from pymilvus import RemoteBulkWriter` \n# when you use pymilvus earlier than 2.4.2 \n\n# Third-party constants\nACCESS_KEY=\"minioadmin\"\nSECRET_KEY=\"minioadmin\"\nBUCKET_NAME=\"milvus-bucket\"\n\n# Connections parameters to access the remote bucket\nconn = RemoteBulkWriter.S3ConnectParam(\n endpoint=\"localhost:9000\", # the default MinIO service started along with Milvus\n access_key=ACCESS_KEY,\n secret_key=SECRET_KEY,\n bucket_name=BUCKET_NAME,\n secure=False\n)\n","import io.milvus.bulkwriter.common.clientenum.BulkFileType;\nimport io.milvus.bulkwriter.connect.S3ConnectParam;\nimport io.milvus.bulkwriter.connect.StorageConnectParam;\n\nString ACCESS_KEY = \"minioadmin\";\nString SECRET_KEY = \"minioadmin\";\nString BUCKET_NAME = \"milvus-bucket\";\n\nStorageConnectParam storageConnectParam = S3ConnectParam.newBuilder()\n .withEndpoint(MINIO_URI)\n .withAccessKey(ACCESS_KEY)\n .withSecretKey(SECRET_KEY)\n .withBucketName(BUCKET_NAME)\n .build();\n","from pymilvus.bulk_writer import BulkFileType\n# Use `from pymilvus import BulkFileType` \n# when you use pymilvus earlier than 2.4.2 \n\nwriter = RemoteBulkWriter(\n schema=schema,\n remote_path=\"/\",\n connect_param=conn,\n file_type=BulkFileType.PARQUET\n)\n","import io.milvus.bulkwriter.RemoteBulkWriter;\nimport io.milvus.bulkwriter.RemoteBulkWriterParam;\n\nRemoteBulkWriterParam remoteBulkWriterParam = RemoteBulkWriterParam.newBuilder()\n .withCollectionSchema(schema)\n .withConnectParam(storageConnectParam)\n .withChunkSize(512 * 1024 * 1024)\n .withRemotePath(\"/\")\n .withFileType(BulkFileType.PARQUET)\n .build();\n\nRemoteBulkWriter remoteBulkWriter = new RemoteBulkWriter(remoteBulkWriterParam);\n","import random\nimport string\n\ndef generate_random_str(length=5):\n letters = string.ascii_uppercase\n digits = string.digits\n \n return ''.join(random.choices(letters + digits, k=length))\n\nfor i in range(10000):\n writer.append_row({\n \"id\": i, \n \"vector\": [random.uniform(-1, 1) for _ in range(768)],\n \"scalar_1\": generate_random_str(random.randint(1, 20)),\n \"scalar_2\": random.randint(0, 100)\n })\n \nwriter.commit()\n","import com.alibaba.fastjson.JSONObject;\n\nfor (int i = 0; i < 10000; i++) {\n JSONObject json = new JSONObject();\n json.put(\"id\", i);\n json.put(\"vector\", get_random_vector(768));\n json.put(\"scalar_1\", get_random_string(20));\n json.put(\"scalar_2\", (long) (Math.random() * 100));\n\n // localBulkWriter.appendRow(json);\n remoteBulkWriter.appendRow(json);\n}\n\n// localBulkWriter.commit(false);\nremoteBulkWriter.commit(false);\n","import random\nimport string\n\ndef generate_random_string(length=5):\n letters = string.ascii_uppercase\n digits = string.digits\n \n return ''.join(random.choices(letters + digits, k=length))\n\nfor i in range(10000):\n writer.append_row({\n \"id\": i, \n \"vector\":[random.uniform(-1, 1) for _ in range(768)],\n \"scalar_1\": generate_random_string(),\n \"scalar_2\": random.randint(0, 100),\n \"dynamic_field_1\": random.choice([True, False]),\n \"dynamic_field_2\": random.randint(0, 100)\n })\n \nwriter.commit()\n","for (int i = 0; i < 10000; i++) {\n JSONObject json = new JSONObject();\n json.put(\"id\", i);\n json.put(\"vector\", get_random_vector(768));\n json.put(\"scalar_1\", get_random_string(20));\n json.put(\"scalar_2\", (long) (Math.random() * 100));\n json.put(\"dynamic_field_1\", get_random_boolean());\n json.put(\"dynamic_field_2\", (long) (Math.random() * 100));\n\n // localBulkWriter.appendRow(json);\n remoteBulkWriter.appendRow(json);\n}\n\n// localBulkWriter.commit(false);\nremoteBulkWriter.commit(false);\n","print(writer.batch_files)\n\n# [['d4220a9e-45be-4ccb-8cb5-bf09304b9f23/1.parquet'],\n# ['d4220a9e-45be-4ccb-8cb5-bf09304b9f23/2.parquet']]\n","// localBulkWriter.getBatchFiles();\nremoteBulkWriter.getBatchFiles();\n\n// \n\n// Close the BulkWriter\ntry {\n localBulkWriter.close();\n remoteBulkWriter.close(); \n} catch (Exception e) {\n // TODO: handle exception\n e.printStackTrace();\n}\n","# JSON\n├── folder\n│ └── 45ae1139-1d87-4aff-85f5-0039111f9e6b\n│ └── 1.json \n\n# Parquet\n├── folder\n│ └── 45ae1139-1d87-4aff-85f5-0039111f9e6b\n│ └── 1.parquet \n"],"headingContent":"","anchorList":[{"label":"Preparar los datos de origen","href":"Prepare-Source-Data","type":1,"isActive":false},{"label":"Antes de empezar","href":"Before-you-start","type":2,"isActive":false},{"label":"Configuración de BulkWriter","href":"Set-up-BulkWriter","type":2,"isActive":false},{"label":"Empezar a escribir","href":"Start-writing","type":2,"isActive":false},{"label":"Verificar los resultados","href":"Verify-the-results","type":2,"isActive":false}]} \ No newline at end of file +{"codeList":["from pymilvus import MilvusClient, DataType\n\n# You need to work out a collection schema out of your dataset.\nschema = MilvusClient.create_schema(\n auto_id=False,\n enable_dynamic_field=True\n)\n\nDIM = 512\n\nschema.add_field(field_name=\"id\", datatype=DataType.INT64, is_primary=True),\nschema.add_field(field_name=\"bool\", datatype=DataType.BOOL),\nschema.add_field(field_name=\"int8\", datatype=DataType.INT8),\nschema.add_field(field_name=\"int16\", datatype=DataType.INT16),\nschema.add_field(field_name=\"int32\", datatype=DataType.INT32),\nschema.add_field(field_name=\"int64\", datatype=DataType.INT64),\nschema.add_field(field_name=\"float\", datatype=DataType.FLOAT),\nschema.add_field(field_name=\"double\", datatype=DataType.DOUBLE),\nschema.add_field(field_name=\"varchar\", datatype=DataType.VARCHAR, max_length=512),\nschema.add_field(field_name=\"json\", datatype=DataType.JSON),\nschema.add_field(field_name=\"array_str\", datatype=DataType.ARRAY, max_capacity=100, element_type=DataType.VARCHAR, max_length=128)\nschema.add_field(field_name=\"array_int\", datatype=DataType.ARRAY, max_capacity=100, element_type=DataType.INT64)\nschema.add_field(field_name=\"float_vector\", datatype=DataType.FLOAT_VECTOR, dim=DIM),\nschema.add_field(field_name=\"binary_vector\", datatype=DataType.BINARY_VECTOR, dim=DIM),\nschema.add_field(field_name=\"float16_vector\", datatype=DataType.FLOAT16_VECTOR, dim=DIM),\n# schema.add_field(field_name=\"bfloat16_vector\", datatype=DataType.BFLOAT16_VECTOR, dim=DIM),\nschema.add_field(field_name=\"sparse_vector\", datatype=DataType.SPARSE_FLOAT_VECTOR)\n\nschema.verify()\n\nprint(schema)\n","import com.google.gson.Gson;\nimport com.google.gson.JsonObject;\nimport io.milvus.bulkwriter.BulkImport;\nimport io.milvus.bulkwriter.RemoteBulkWriter;\nimport io.milvus.bulkwriter.RemoteBulkWriterParam;\nimport io.milvus.bulkwriter.common.clientenum.BulkFileType;\nimport io.milvus.bulkwriter.common.clientenum.CloudStorage;\nimport io.milvus.bulkwriter.connect.S3ConnectParam;\nimport io.milvus.bulkwriter.connect.StorageConnectParam;\nimport io.milvus.bulkwriter.request.describe.MilvusDescribeImportRequest;\nimport io.milvus.bulkwriter.request.import_.MilvusImportRequest;\nimport io.milvus.bulkwriter.request.list.MilvusListImportJobsRequest;\nimport io.milvus.common.utils.Float16Utils;\nimport io.milvus.v2.client.ConnectConfig;\nimport io.milvus.v2.client.MilvusClientV2;\nimport io.milvus.v2.common.DataType;\nimport io.milvus.v2.service.collection.request.*;\n\nimport java.io.IOException;\nimport java.nio.ByteBuffer;\nimport java.util.*;\nimport java.util.concurrent.TimeUnit;\n\nprivate static final String MINIO_ENDPOINT = CloudStorage.MINIO.getEndpoint(\"http://127.0.0.1:9000\");\nprivate static final String BUCKET_NAME = \"a-bucket\";\nprivate static final String ACCESS_KEY = \"minioadmin\";\nprivate static final String SECRET_KEY = \"minioadmin\";\n\nprivate static final Integer DIM = 512;\nprivate static final Gson GSON_INSTANCE = new Gson();\n\nprivate static CreateCollectionReq.CollectionSchema createSchema() {\n CreateCollectionReq.CollectionSchema schema = CreateCollectionReq.CollectionSchema.builder()\n .enableDynamicField(true)\n .build();\n schema.addField(AddFieldReq.builder()\n .fieldName(\"id\")\n .dataType(io.milvus.v2.common.DataType.Int64)\n .isPrimaryKey(Boolean.TRUE)\n .autoID(false)\n .build());\n schema.addField(AddFieldReq.builder()\n .fieldName(\"bool\")\n .dataType(DataType.Bool)\n .build());\n schema.addField(AddFieldReq.builder()\n .fieldName(\"int8\")\n .dataType(DataType.Int8)\n .build());\n schema.addField(AddFieldReq.builder()\n .fieldName(\"int16\")\n .dataType(DataType.Int16)\n .build());\n schema.addField(AddFieldReq.builder()\n .fieldName(\"int32\")\n .dataType(DataType.Int32)\n .build());\n schema.addField(AddFieldReq.builder()\n .fieldName(\"int64\")\n .dataType(DataType.Int64)\n .build());\n schema.addField(AddFieldReq.builder()\n .fieldName(\"float\")\n .dataType(DataType.Float)\n .build());\n schema.addField(AddFieldReq.builder()\n .fieldName(\"double\")\n .dataType(DataType.Double)\n .build());\n schema.addField(AddFieldReq.builder()\n .fieldName(\"varchar\")\n .dataType(DataType.VarChar)\n .maxLength(512)\n .build());\n schema.addField(AddFieldReq.builder()\n .fieldName(\"json\")\n .dataType(io.milvus.v2.common.DataType.JSON)\n .build());\n schema.addField(AddFieldReq.builder()\n .fieldName(\"array_int\")\n .dataType(io.milvus.v2.common.DataType.Array)\n .maxCapacity(100)\n .elementType(io.milvus.v2.common.DataType.Int64)\n .build());\n schema.addField(AddFieldReq.builder()\n .fieldName(\"array_str\")\n .dataType(io.milvus.v2.common.DataType.Array)\n .maxCapacity(100)\n .elementType(io.milvus.v2.common.DataType.VarChar)\n .maxLength(128)\n .build());\n schema.addField(AddFieldReq.builder()\n .fieldName(\"float_vector\")\n .dataType(io.milvus.v2.common.DataType.FloatVector)\n .dimension(DIM)\n .build());\n schema.addField(AddFieldReq.builder()\n .fieldName(\"binary_vector\")\n .dataType(io.milvus.v2.common.DataType.BinaryVector)\n .dimension(DIM)\n .build());\n schema.addField(AddFieldReq.builder()\n .fieldName(\"float16_vector\")\n .dataType(io.milvus.v2.common.DataType.Float16Vector)\n .dimension(DIM)\n .build());\n schema.addField(AddFieldReq.builder()\n .fieldName(\"sparse_vector\")\n .dataType(io.milvus.v2.common.DataType.SparseFloatVector)\n .build());\n \n return schema;\n}\n","from pymilvus.bulk_writer import LocalBulkWriter, BulkFileType\n# Use `from pymilvus import LocalBulkWriter, BulkFileType` \n# when you use pymilvus earlier than 2.4.2 \n\nwriter = LocalBulkWriter(\n schema=schema,\n local_path='.',\n segment_size=512 * 1024 * 1024, # Default value\n file_type=BulkFileType.PARQUET\n)\n","import io.milvus.bulkwriter.LocalBulkWriter;\nimport io.milvus.bulkwriter.LocalBulkWriterParam;\nimport io.milvus.bulkwriter.common.clientenum.BulkFileType;\n\nLocalBulkWriterParam localBulkWriterParam = LocalBulkWriterParam.newBuilder()\n .withCollectionSchema(schema)\n .withLocalPath(\".\")\n .withChunkSize(512 * 1024 * 1024)\n .withFileType(BulkFileType.PARQUET)\n .build();\n\nLocalBulkWriter localBulkWriter = new LocalBulkWriter(localBulkWriterParam);\n","from pymilvus.bulk_writer import RemoteBulkWriter\n# Use `from pymilvus import RemoteBulkWriter` \n# when you use pymilvus earlier than 2.4.2 \n\n# Third-party constants\nACCESS_KEY=\"minioadmin\"\nSECRET_KEY=\"minioadmin\"\nBUCKET_NAME=\"a-bucket\"\n\n# Connections parameters to access the remote bucket\nconn = RemoteBulkWriter.S3ConnectParam(\n endpoint=\"localhost:9000\", # the default MinIO service started along with Milvus\n access_key=ACCESS_KEY,\n secret_key=SECRET_KEY,\n bucket_name=BUCKET_NAME,\n secure=False\n)\n\nfrom pymilvus.bulk_writer import BulkFileType\n# Use `from pymilvus import BulkFileType` \n# when you use pymilvus earlier than 2.4.2 \n\nwriter = RemoteBulkWriter(\n schema=schema,\n remote_path=\"/\",\n connect_param=conn,\n file_type=BulkFileType.PARQUET\n)\n\nprint('bulk writer created.')\n","private static RemoteBulkWriter createRemoteBulkWriter(CreateCollectionReq.CollectionSchema collectionSchema) throws IOException {\n StorageConnectParam connectParam = S3ConnectParam.newBuilder()\n .withEndpoint(MINIO_ENDPOINT)\n .withBucketName(BUCKET_NAME)\n .withAccessKey(ACCESS_KEY)\n .withSecretKey(SECRET_KEY)\n .build();\n RemoteBulkWriterParam bulkWriterParam = RemoteBulkWriterParam.newBuilder()\n .withCollectionSchema(collectionSchema)\n .withRemotePath(\"/\")\n .withConnectParam(connectParam)\n .withFileType(BulkFileType.PARQUET)\n .build();\n return new RemoteBulkWriter(bulkWriterParam);\n}\n","from pymilvus.bulk_writer import BulkFileType\n# Use `from pymilvus import BulkFileType` \n# when you use pymilvus earlier than 2.4.2 \n\nwriter = RemoteBulkWriter(\n schema=schema,\n remote_path=\"/\",\n connect_param=conn,\n file_type=BulkFileType.PARQUET\n)\n","import io.milvus.bulkwriter.RemoteBulkWriter;\nimport io.milvus.bulkwriter.RemoteBulkWriterParam;\n\nRemoteBulkWriterParam remoteBulkWriterParam = RemoteBulkWriterParam.newBuilder()\n .withCollectionSchema(schema)\n .withConnectParam(storageConnectParam)\n .withChunkSize(512 * 1024 * 1024)\n .withRemotePath(\"/\")\n .withFileType(BulkFileType.PARQUET)\n .build();\n\nRemoteBulkWriter remoteBulkWriter = new RemoteBulkWriter(remoteBulkWriterParam);\n","import random, string, json\nimport numpy as np\nimport tensorflow as tf\n\ndef generate_random_str(length=5):\n letters = string.ascii_uppercase\n digits = string.digits\n \n return ''.join(random.choices(letters + digits, k=length))\n\n# optional input for binary vector:\n# 1. list of int such as [1, 0, 1, 1, 0, 0, 1, 0]\n# 2. numpy array of uint8\ndef gen_binary_vector(to_numpy_arr):\n raw_vector = [random.randint(0, 1) for i in range(DIM)]\n if to_numpy_arr:\n return np.packbits(raw_vector, axis=-1)\n return raw_vector\n\n# optional input for float vector:\n# 1. list of float such as [0.56, 1.859, 6.55, 9.45]\n# 2. numpy array of float32\ndef gen_float_vector(to_numpy_arr):\n raw_vector = [random.random() for _ in range(DIM)]\n if to_numpy_arr:\n return np.array(raw_vector, dtype=\"float32\")\n return raw_vector\n\n# # optional input for bfloat16 vector:\n# # 1. list of float such as [0.56, 1.859, 6.55, 9.45]\n# # 2. numpy array of bfloat16\n# def gen_bf16_vector(to_numpy_arr):\n# raw_vector = [random.random() for _ in range(DIM)]\n# if to_numpy_arr:\n# return tf.cast(raw_vector, dtype=tf.bfloat16).numpy()\n# return raw_vector\n\n# optional input for float16 vector:\n# 1. list of float such as [0.56, 1.859, 6.55, 9.45]\n# 2. numpy array of float16\ndef gen_fp16_vector(to_numpy_arr):\n raw_vector = [random.random() for _ in range(DIM)]\n if to_numpy_arr:\n return np.array(raw_vector, dtype=np.float16)\n return raw_vector\n\n# optional input for sparse vector:\n# only accepts dict like {2: 13.23, 45: 0.54} or {\"indices\": [1, 2], \"values\": [0.1, 0.2]}\n# note: no need to sort the keys\ndef gen_sparse_vector(pair_dict: bool):\n raw_vector = {}\n dim = random.randint(2, 20)\n if pair_dict:\n raw_vector[\"indices\"] = [i for i in range(dim)]\n raw_vector[\"values\"] = [random.random() for _ in range(dim)]\n else:\n for i in range(dim):\n raw_vector[i] = random.random()\n return raw_vector\n\nfor i in range(10000):\n writer.append_row({\n \"id\": np.int64(i),\n \"bool\": True if i % 3 == 0 else False,\n \"int8\": np.int8(i%128),\n \"int16\": np.int16(i%1000),\n \"int32\": np.int32(i%100000),\n \"int64\": np.int64(i),\n \"float\": np.float32(i/3),\n \"double\": np.float64(i/7),\n \"varchar\": f\"varchar_{i}\",\n \"json\": json.dumps({\"dummy\": i, \"ok\": f\"name_{i}\"}),\n \"array_str\": np.array([f\"str_{k}\" for k in range(5)], np.dtype(\"str\")),\n \"array_int\": np.array([k for k in range(10)], np.dtype(\"int64\")),\n \"float_vector\": gen_float_vector(True),\n \"binary_vector\": gen_binary_vector(True),\n \"float16_vector\": gen_fp16_vector(True),\n # \"bfloat16_vector\": gen_bf16_vector(True),\n \"sparse_vector\": gen_sparse_vector(True),\n f\"dynamic_{i}\": i,\n })\n if (i+1)%1000 == 0:\n writer.commit()\n print('committed')\n\nprint(writer.batch_files)\n","private static byte[] genBinaryVector() {\n Random ran = new Random();\n int byteCount = DIM / 8;\n ByteBuffer vector = ByteBuffer.allocate(byteCount);\n for (int i = 0; i < byteCount; ++i) {\n vector.put((byte) ran.nextInt(Byte.MAX_VALUE));\n }\n return vector.array();\n}\n\nprivate static List genFloatVector() {\n Random ran = new Random();\n List vector = new ArrayList<>();\n for (int i = 0; i < DIM; ++i) {\n vector.add(ran.nextFloat());\n }\n return vector;\n}\n\nprivate static byte[] genFloat16Vector() {\n List originalVector = genFloatVector();\n return Float16Utils.f32VectorToFp16Buffer(originalVector).array();\n}\n\nprivate static SortedMap genSparseVector() {\n Random ran = new Random();\n SortedMap sparse = new TreeMap<>();\n int dim = ran.nextInt(18) + 2; // [2, 20)\n for (int i = 0; i < dim; ++i) {\n sparse.put((long)ran.nextInt(1000000), ran.nextFloat());\n }\n return sparse;\n}\n\nprivate static List genStringArray(int length) {\n List arr = new ArrayList<>();\n for (int i = 0; i < length; i++) {\n arr.add(\"str_\" + i);\n }\n return arr;\n}\n\nprivate static List genIntArray(int length) {\n List arr = new ArrayList<>();\n for (long i = 0; i < length; i++) {\n arr.add(i);\n }\n return arr;\n}\n\nprivate static RemoteBulkWriter createRemoteBulkWriter(CreateCollectionReq.CollectionSchema collectionSchema) throws IOException {\n StorageConnectParam connectParam = S3ConnectParam.newBuilder()\n .withEndpoint(MINIO_ENDPOINT)\n .withBucketName(BUCKET_NAME)\n .withAccessKey(ACCESS_KEY)\n .withSecretKey(SECRET_KEY)\n .build();\n RemoteBulkWriterParam bulkWriterParam = RemoteBulkWriterParam.newBuilder()\n .withCollectionSchema(collectionSchema)\n .withRemotePath(\"/\")\n .withConnectParam(connectParam)\n .withFileType(BulkFileType.PARQUET)\n .build();\n return new RemoteBulkWriter(bulkWriterParam);\n}\n\nprivate static List> uploadData() throws Exception {\n CreateCollectionReq.CollectionSchema collectionSchema = createSchema();\n try (RemoteBulkWriter remoteBulkWriter = createRemoteBulkWriter(collectionSchema)) {\n for (int i = 0; i < 10000; ++i) {\n JsonObject rowObject = new JsonObject();\n\n rowObject.addProperty(\"id\", i);\n rowObject.addProperty(\"bool\", i % 3 == 0);\n rowObject.addProperty(\"int8\", i % 128);\n rowObject.addProperty(\"int16\", i % 1000);\n rowObject.addProperty(\"int32\", i % 100000);\n rowObject.addProperty(\"int64\", i);\n rowObject.addProperty(\"float\", i / 3);\n rowObject.addProperty(\"double\", i / 7);\n rowObject.addProperty(\"varchar\", \"varchar_\" + i);\n rowObject.addProperty(\"json\", String.format(\"{\\\"dummy\\\": %s, \\\"ok\\\": \\\"name_%s\\\"}\", i, i));\n rowObject.add(\"array_str\", GSON_INSTANCE.toJsonTree(genStringArray(5)));\n rowObject.add(\"array_int\", GSON_INSTANCE.toJsonTree(genIntArray(10)));\n rowObject.add(\"float_vector\", GSON_INSTANCE.toJsonTree(genFloatVector()));\n rowObject.add(\"binary_vector\", GSON_INSTANCE.toJsonTree(genBinaryVector()));\n rowObject.add(\"float16_vector\", GSON_INSTANCE.toJsonTree(genFloat16Vector()));\n rowObject.add(\"sparse_vector\", GSON_INSTANCE.toJsonTree(genSparseVector()));\n rowObject.addProperty(\"dynamic\", \"dynamic_\" + i);\n\n remoteBulkWriter.appendRow(rowObject);\n\n if ((i+1)%1000 == 0) {\n remoteBulkWriter.commit(false);\n }\n }\n\n List> batchFiles = remoteBulkWriter.getBatchFiles();\n System.out.println(batchFiles);\n return batchFiles;\n } catch (Exception e) {\n throw e;\n }\n}\n\npublic static void main(String[] args) throws Exception {\n List> batchFiles = uploadData();\n}\n","print(writer.batch_files)\n\n# [['d4220a9e-45be-4ccb-8cb5-bf09304b9f23/1.parquet'],\n# ['d4220a9e-45be-4ccb-8cb5-bf09304b9f23/2.parquet']]\n","// localBulkWriter.getBatchFiles();\nremoteBulkWriter.getBatchFiles();\n\n// \n\n// Close the BulkWriter\ntry {\n localBulkWriter.close();\n remoteBulkWriter.close(); \n} catch (Exception e) {\n // TODO: handle exception\n e.printStackTrace();\n}\n","# JSON\n├── folder\n│ └── 45ae1139-1d87-4aff-85f5-0039111f9e6b\n│ └── 1.json \n\n# Parquet\n├── folder\n│ └── 45ae1139-1d87-4aff-85f5-0039111f9e6b\n│ └── 1.parquet \n"],"headingContent":"Prepare Source Data","anchorList":[{"label":"Preparar los datos de origen","href":"Prepare-Source-Data","type":1,"isActive":false},{"label":"Antes de empezar","href":"Before-you-start","type":2,"isActive":false},{"label":"Configuración de BulkWriter","href":"Set-up-BulkWriter","type":2,"isActive":false},{"label":"Empezar a escribir","href":"Start-writing","type":2,"isActive":false},{"label":"Comprobar los resultados","href":"Verify-the-results","type":2,"isActive":false}]} \ No newline at end of file diff --git a/localization/v2.4.x/site/es/userGuide/data-import/prepare-source-data.md b/localization/v2.4.x/site/es/userGuide/data-import/prepare-source-data.md index 32516b8f0..6841b2686 100644 --- a/localization/v2.4.x/site/es/userGuide/data-import/prepare-source-data.md +++ b/localization/v2.4.x/site/es/userGuide/data-import/prepare-source-data.md @@ -68,49 +68,143 @@ schema = MilvusClient.create_schema( enable_dynamic_field=True ) -schema.add_field(field_name="id", datatype=DataType.INT64, is_primary=True) -schema.add_field(field_name="vector", datatype=DataType.FLOAT_VECTOR, dim=768) -schema.add_field(field_name="scalar_1", datatype=DataType.VARCHAR, max_length=512) -schema.add_field(field_name="scalar_2", datatype=DataType.INT64) +DIM = 512 + +schema.add_field(field_name="id", datatype=DataType.INT64, is_primary=True), +schema.add_field(field_name="bool", datatype=DataType.BOOL), +schema.add_field(field_name="int8", datatype=DataType.INT8), +schema.add_field(field_name="int16", datatype=DataType.INT16), +schema.add_field(field_name="int32", datatype=DataType.INT32), +schema.add_field(field_name="int64", datatype=DataType.INT64), +schema.add_field(field_name="float", datatype=DataType.FLOAT), +schema.add_field(field_name="double", datatype=DataType.DOUBLE), +schema.add_field(field_name="varchar", datatype=DataType.VARCHAR, max_length=512), +schema.add_field(field_name="json", datatype=DataType.JSON), +schema.add_field(field_name="array_str", datatype=DataType.ARRAY, max_capacity=100, element_type=DataType.VARCHAR, max_length=128) +schema.add_field(field_name="array_int", datatype=DataType.ARRAY, max_capacity=100, element_type=DataType.INT64) +schema.add_field(field_name="float_vector", datatype=DataType.FLOAT_VECTOR, dim=DIM), +schema.add_field(field_name="binary_vector", datatype=DataType.BINARY_VECTOR, dim=DIM), +schema.add_field(field_name="float16_vector", datatype=DataType.FLOAT16_VECTOR, dim=DIM), +# schema.add_field(field_name="bfloat16_vector", datatype=DataType.BFLOAT16_VECTOR, dim=DIM), +schema.add_field(field_name="sparse_vector", datatype=DataType.SPARSE_FLOAT_VECTOR) schema.verify() + +print(schema)
                                                                                                                    -
                                                                                                                    import io.milvus.grpc.DataType;
                                                                                                                    -import io.milvus.param.collection.CollectionSchemaParam;
                                                                                                                    -import io.milvus.param.collection.FieldType;
                                                                                                                    -
                                                                                                                    -// Define schema for the target collection
                                                                                                                    -FieldType id = FieldType.newBuilder()
                                                                                                                    -        .withName("id")
                                                                                                                    -        .withDataType(DataType.Int64)
                                                                                                                    -        .withPrimaryKey(true)
                                                                                                                    -        .withAutoID(false)
                                                                                                                    -        .build();
                                                                                                                    +
                                                                                                                    import com.google.gson.Gson;
                                                                                                                    +import com.google.gson.JsonObject;
                                                                                                                    +import io.milvus.bulkwriter.BulkImport;
                                                                                                                    +import io.milvus.bulkwriter.RemoteBulkWriter;
                                                                                                                    +import io.milvus.bulkwriter.RemoteBulkWriterParam;
                                                                                                                    +import io.milvus.bulkwriter.common.clientenum.BulkFileType;
                                                                                                                    +import io.milvus.bulkwriter.common.clientenum.CloudStorage;
                                                                                                                    +import io.milvus.bulkwriter.connect.S3ConnectParam;
                                                                                                                    +import io.milvus.bulkwriter.connect.StorageConnectParam;
                                                                                                                    +import io.milvus.bulkwriter.request.describe.MilvusDescribeImportRequest;
                                                                                                                    +import io.milvus.bulkwriter.request.import_.MilvusImportRequest;
                                                                                                                    +import io.milvus.bulkwriter.request.list.MilvusListImportJobsRequest;
                                                                                                                    +import io.milvus.common.utils.Float16Utils;
                                                                                                                    +import io.milvus.v2.client.ConnectConfig;
                                                                                                                    +import io.milvus.v2.client.MilvusClientV2;
                                                                                                                    +import io.milvus.v2.common.DataType;
                                                                                                                    +import io.milvus.v2.service.collection.request.*;
                                                                                                                     
                                                                                                                    -FieldType vector = FieldType.newBuilder()
                                                                                                                    -        .withName("vector")
                                                                                                                    -        .withDataType(DataType.FloatVector)
                                                                                                                    -        .withDimension(768)
                                                                                                                    -        .build();
                                                                                                                    +import java.io.IOException;
                                                                                                                    +import java.nio.ByteBuffer;
                                                                                                                    +import java.util.*;
                                                                                                                    +import java.util.concurrent.TimeUnit;
                                                                                                                     
                                                                                                                    -FieldType scalar1 = FieldType.newBuilder()
                                                                                                                    -        .withName("scalar_1")
                                                                                                                    -        .withDataType(DataType.VarChar)
                                                                                                                    -        .withMaxLength(512)
                                                                                                                    -        .build();
                                                                                                                    +private static final String MINIO_ENDPOINT = CloudStorage.MINIO.getEndpoint("http://127.0.0.1:9000");
                                                                                                                    +private static final String BUCKET_NAME = "a-bucket";
                                                                                                                    +private static final String ACCESS_KEY = "minioadmin";
                                                                                                                    +private static final String SECRET_KEY = "minioadmin";
                                                                                                                     
                                                                                                                    -FieldType scalar2 = FieldType.newBuilder()
                                                                                                                    -        .withName("scalar_2")
                                                                                                                    -        .withDataType(DataType.Int64)
                                                                                                                    -        .build();
                                                                                                                    +private static final Integer DIM = 512;
                                                                                                                    +private static final Gson GSON_INSTANCE = new Gson();
                                                                                                                     
                                                                                                                    -CollectionSchemaParam schema = CollectionSchemaParam.newBuilder()
                                                                                                                    -        .withEnableDynamicField(true)
                                                                                                                    -        .addFieldType(id)
                                                                                                                    -        .addFieldType(vector)
                                                                                                                    -        .addFieldType(scalar1)
                                                                                                                    -        .addFieldType(scalar2)
                                                                                                                    +private static CreateCollectionReq.CollectionSchema createSchema() {
                                                                                                                    +    CreateCollectionReq.CollectionSchema schema = CreateCollectionReq.CollectionSchema.builder()
                                                                                                                    +        .enableDynamicField(true)
                                                                                                                             .build();
                                                                                                                    +    schema.addField(AddFieldReq.builder()
                                                                                                                    +            .fieldName("id")
                                                                                                                    +            .dataType(io.milvus.v2.common.DataType.Int64)
                                                                                                                    +            .isPrimaryKey(Boolean.TRUE)
                                                                                                                    +            .autoID(false)
                                                                                                                    +            .build());
                                                                                                                    +    schema.addField(AddFieldReq.builder()
                                                                                                                    +            .fieldName("bool")
                                                                                                                    +            .dataType(DataType.Bool)
                                                                                                                    +            .build());
                                                                                                                    +    schema.addField(AddFieldReq.builder()
                                                                                                                    +            .fieldName("int8")
                                                                                                                    +            .dataType(DataType.Int8)
                                                                                                                    +            .build());
                                                                                                                    +    schema.addField(AddFieldReq.builder()
                                                                                                                    +            .fieldName("int16")
                                                                                                                    +            .dataType(DataType.Int16)
                                                                                                                    +            .build());
                                                                                                                    +    schema.addField(AddFieldReq.builder()
                                                                                                                    +            .fieldName("int32")
                                                                                                                    +            .dataType(DataType.Int32)
                                                                                                                    +            .build());
                                                                                                                    +    schema.addField(AddFieldReq.builder()
                                                                                                                    +            .fieldName("int64")
                                                                                                                    +            .dataType(DataType.Int64)
                                                                                                                    +            .build());
                                                                                                                    +    schema.addField(AddFieldReq.builder()
                                                                                                                    +            .fieldName("float")
                                                                                                                    +            .dataType(DataType.Float)
                                                                                                                    +            .build());
                                                                                                                    +    schema.addField(AddFieldReq.builder()
                                                                                                                    +            .fieldName("double")
                                                                                                                    +            .dataType(DataType.Double)
                                                                                                                    +            .build());
                                                                                                                    +    schema.addField(AddFieldReq.builder()
                                                                                                                    +            .fieldName("varchar")
                                                                                                                    +            .dataType(DataType.VarChar)
                                                                                                                    +            .maxLength(512)
                                                                                                                    +            .build());
                                                                                                                    +    schema.addField(AddFieldReq.builder()
                                                                                                                    +            .fieldName("json")
                                                                                                                    +            .dataType(io.milvus.v2.common.DataType.JSON)
                                                                                                                    +            .build());
                                                                                                                    +    schema.addField(AddFieldReq.builder()
                                                                                                                    +            .fieldName("array_int")
                                                                                                                    +            .dataType(io.milvus.v2.common.DataType.Array)
                                                                                                                    +            .maxCapacity(100)
                                                                                                                    +            .elementType(io.milvus.v2.common.DataType.Int64)
                                                                                                                    +            .build());
                                                                                                                    +    schema.addField(AddFieldReq.builder()
                                                                                                                    +            .fieldName("array_str")
                                                                                                                    +            .dataType(io.milvus.v2.common.DataType.Array)
                                                                                                                    +            .maxCapacity(100)
                                                                                                                    +            .elementType(io.milvus.v2.common.DataType.VarChar)
                                                                                                                    +            .maxLength(128)
                                                                                                                    +            .build());
                                                                                                                    +    schema.addField(AddFieldReq.builder()
                                                                                                                    +            .fieldName("float_vector")
                                                                                                                    +            .dataType(io.milvus.v2.common.DataType.FloatVector)
                                                                                                                    +            .dimension(DIM)
                                                                                                                    +            .build());
                                                                                                                    +    schema.addField(AddFieldReq.builder()
                                                                                                                    +            .fieldName("binary_vector")
                                                                                                                    +            .dataType(io.milvus.v2.common.DataType.BinaryVector)
                                                                                                                    +            .dimension(DIM)
                                                                                                                    +            .build());
                                                                                                                    +    schema.addField(AddFieldReq.builder()
                                                                                                                    +            .fieldName("float16_vector")
                                                                                                                    +            .dataType(io.milvus.v2.common.DataType.Float16Vector)
                                                                                                                    +            .dimension(DIM)
                                                                                                                    +            .build());
                                                                                                                    +    schema.addField(AddFieldReq.builder()
                                                                                                                    +            .fieldName("sparse_vector")
                                                                                                                    +            .dataType(io.milvus.v2.common.DataType.SparseFloatVector)
                                                                                                                    +            .build());
                                                                                                                    +    
                                                                                                                    +    return schema;
                                                                                                                    +}
                                                                                                                     

                                                                                                                    Configuración de BulkWriter

                                                                                                                    -
                                                                                                                    import io.milvus.bulkwriter.common.clientenum.BulkFileType;
                                                                                                                    -import io.milvus.bulkwriter.connect.S3ConnectParam;
                                                                                                                    -import io.milvus.bulkwriter.connect.StorageConnectParam;
                                                                                                                     
                                                                                                                    -String ACCESS_KEY = "minioadmin";
                                                                                                                    -String SECRET_KEY = "minioadmin";
                                                                                                                    -String BUCKET_NAME = "milvus-bucket";
                                                                                                                    +from pymilvus.bulk_writer import BulkFileType
                                                                                                                    +# Use `from pymilvus import BulkFileType` 
                                                                                                                    +# when you use pymilvus earlier than 2.4.2 
                                                                                                                     
                                                                                                                    -StorageConnectParam storageConnectParam = S3ConnectParam.newBuilder()
                                                                                                                    -    .withEndpoint(MINIO_URI)
                                                                                                                    -    .withAccessKey(ACCESS_KEY)
                                                                                                                    -    .withSecretKey(SECRET_KEY)
                                                                                                                    -    .withBucketName(BUCKET_NAME)
                                                                                                                    -    .build();
                                                                                                                    +writer = RemoteBulkWriter(
                                                                                                                    +    schema=schema,
                                                                                                                    +    remote_path="/",
                                                                                                                    +    connect_param=conn,
                                                                                                                    +    file_type=BulkFileType.PARQUET
                                                                                                                    +)
                                                                                                                    +
                                                                                                                    +print('bulk writer created.')
                                                                                                                    +
                                                                                                                    +
                                                                                                                    private static RemoteBulkWriter createRemoteBulkWriter(CreateCollectionReq.CollectionSchema collectionSchema) throws IOException {
                                                                                                                    +    StorageConnectParam connectParam = S3ConnectParam.newBuilder()
                                                                                                                    +            .withEndpoint(MINIO_ENDPOINT)
                                                                                                                    +            .withBucketName(BUCKET_NAME)
                                                                                                                    +            .withAccessKey(ACCESS_KEY)
                                                                                                                    +            .withSecretKey(SECRET_KEY)
                                                                                                                    +            .build();
                                                                                                                    +    RemoteBulkWriterParam bulkWriterParam = RemoteBulkWriterParam.newBuilder()
                                                                                                                    +            .withCollectionSchema(collectionSchema)
                                                                                                                    +            .withRemotePath("/")
                                                                                                                    +            .withConnectParam(connectParam)
                                                                                                                    +            .withFileType(BulkFileType.PARQUET)
                                                                                                                    +            .build();
                                                                                                                    +    return new RemoteBulkWriter(bulkWriterParam);
                                                                                                                    +}
                                                                                                                     

                                                                                                                    Una vez que los parámetros de conexión están listos, puede hacer referencia a ellos en el RemoteBulkWriter de la siguiente manera:

                                                                                                                    @@ -273,82 +381,203 @@ writer = RemoteBulkWriter(

                                                                                                                    A modo de demostración, el siguiente código añade datos generados aleatoriamente.

                                                                                                                    -
                                                                                                                    import random
                                                                                                                    -import string
                                                                                                                    +
                                                                                                                    import random, string, json
                                                                                                                    +import numpy as np
                                                                                                                    +import tensorflow as tf
                                                                                                                     
                                                                                                                    -def generate_random_str(length=5):
                                                                                                                    -    letters = string.ascii_uppercase
                                                                                                                    -    digits = string.digits
                                                                                                                    +def generate_random_str(length=5):
                                                                                                                    +    letters = string.ascii_uppercase
                                                                                                                    +    digits = string.digits
                                                                                                                         
                                                                                                                         return ''.join(random.choices(letters + digits, k=length))
                                                                                                                     
                                                                                                                    -for i in range(10000):
                                                                                                                    -    writer.append_row({
                                                                                                                    -        "id": i, 
                                                                                                                    -        "vector": [random.uniform(-1, 1) for _ in range(768)],
                                                                                                                    -        "scalar_1": generate_random_str(random.randint(1, 20)),
                                                                                                                    -        "scalar_2": random.randint(0, 100)
                                                                                                                    -    })
                                                                                                                    -    
                                                                                                                    -writer.commit()
                                                                                                                    -
                                                                                                                    -
                                                                                                                    import com.alibaba.fastjson.JSONObject;
                                                                                                                    +# optional input for binary vector:
                                                                                                                    +# 1. list of int such as [1, 0, 1, 1, 0, 0, 1, 0]
                                                                                                                    +# 2. numpy array of uint8
                                                                                                                    +def gen_binary_vector(to_numpy_arr):
                                                                                                                    +    raw_vector = [random.randint(0, 1) for i in range(DIM)]
                                                                                                                    +    if to_numpy_arr:
                                                                                                                    +        return np.packbits(raw_vector, axis=-1)
                                                                                                                    +    return raw_vector
                                                                                                                     
                                                                                                                    -for (int i = 0; i < 10000; i++) {
                                                                                                                    -    JSONObject json = new JSONObject();
                                                                                                                    -    json.put("id", i);
                                                                                                                    -    json.put("vector", get_random_vector(768));
                                                                                                                    -    json.put("scalar_1", get_random_string(20));
                                                                                                                    -    json.put("scalar_2", (long) (Math.random() * 100));
                                                                                                                    +# optional input for float vector:
                                                                                                                    +# 1. list of float such as [0.56, 1.859, 6.55, 9.45]
                                                                                                                    +# 2. numpy array of float32
                                                                                                                    +def gen_float_vector(to_numpy_arr):
                                                                                                                    +    raw_vector = [random.random() for _ in range(DIM)]
                                                                                                                    +    if to_numpy_arr:
                                                                                                                    +        return np.array(raw_vector, dtype="float32")
                                                                                                                    +    return raw_vector
                                                                                                                     
                                                                                                                    -    // localBulkWriter.appendRow(json);
                                                                                                                    -    remoteBulkWriter.appendRow(json);
                                                                                                                    -}
                                                                                                                    +# # optional input for bfloat16 vector:
                                                                                                                    +# # 1. list of float such as [0.56, 1.859, 6.55, 9.45]
                                                                                                                    +# # 2. numpy array of bfloat16
                                                                                                                    +# def gen_bf16_vector(to_numpy_arr):
                                                                                                                    +#     raw_vector = [random.random() for _ in range(DIM)]
                                                                                                                    +#     if to_numpy_arr:
                                                                                                                    +#         return tf.cast(raw_vector, dtype=tf.bfloat16).numpy()
                                                                                                                    +#     return raw_vector
                                                                                                                     
                                                                                                                    -// localBulkWriter.commit(false);
                                                                                                                    -remoteBulkWriter.commit(false);
                                                                                                                    -
                                                                                                                    -

                                                                                                                    Dado que el esquema definido permite campos dinámicos, también se pueden incluir campos no definidos por el esquema en los datos a insertar, como se indica a continuación.

                                                                                                                    - -
                                                                                                                    import random
                                                                                                                    -import string
                                                                                                                    +# optional input for float16 vector:
                                                                                                                    +# 1. list of float such as [0.56, 1.859, 6.55, 9.45]
                                                                                                                    +# 2. numpy array of float16
                                                                                                                    +def gen_fp16_vector(to_numpy_arr):
                                                                                                                    +    raw_vector = [random.random() for _ in range(DIM)]
                                                                                                                    +    if to_numpy_arr:
                                                                                                                    +        return np.array(raw_vector, dtype=np.float16)
                                                                                                                    +    return raw_vector
                                                                                                                     
                                                                                                                    -def generate_random_string(length=5):
                                                                                                                    -    letters = string.ascii_uppercase
                                                                                                                    -    digits = string.digits
                                                                                                                    -    
                                                                                                                    -    return ''.join(random.choices(letters + digits, k=length))
                                                                                                                    +# optional input for sparse vector:
                                                                                                                    +# only accepts dict like {2: 13.23, 45: 0.54} or {"indices": [1, 2], "values": [0.1, 0.2]}
                                                                                                                    +# note: no need to sort the keys
                                                                                                                    +def gen_sparse_vector(pair_dict: bool):
                                                                                                                    +    raw_vector = {}
                                                                                                                    +    dim = random.randint(2, 20)
                                                                                                                    +    if pair_dict:
                                                                                                                    +        raw_vector["indices"] = [i for i in range(dim)]
                                                                                                                    +        raw_vector["values"] = [random.random() for _ in range(dim)]
                                                                                                                    +    else:
                                                                                                                    +        for i in range(dim):
                                                                                                                    +            raw_vector[i] = random.random()
                                                                                                                    +    return raw_vector
                                                                                                                     
                                                                                                                     for i in range(10000):
                                                                                                                         writer.append_row({
                                                                                                                    -        "id": i, 
                                                                                                                    -        "vector":[random.uniform(-1, 1) for _ in range(768)],
                                                                                                                    -        "scalar_1": generate_random_string(),
                                                                                                                    -        "scalar_2": random.randint(0, 100),
                                                                                                                    -        "dynamic_field_1": random.choice([True, False]),
                                                                                                                    -        "dynamic_field_2": random.randint(0, 100)
                                                                                                                    +        "id": np.int64(i),
                                                                                                                    +        "bool": True if i % 3 == 0 else False,
                                                                                                                    +        "int8": np.int8(i%128),
                                                                                                                    +        "int16": np.int16(i%1000),
                                                                                                                    +        "int32": np.int32(i%100000),
                                                                                                                    +        "int64": np.int64(i),
                                                                                                                    +        "float": np.float32(i/3),
                                                                                                                    +        "double": np.float64(i/7),
                                                                                                                    +        "varchar": f"varchar_{i}",
                                                                                                                    +        "json": json.dumps({"dummy": i, "ok": f"name_{i}"}),
                                                                                                                    +        "array_str": np.array([f"str_{k}" for k in range(5)], np.dtype("str")),
                                                                                                                    +        "array_int": np.array([k for k in range(10)], np.dtype("int64")),
                                                                                                                    +        "float_vector": gen_float_vector(True),
                                                                                                                    +        "binary_vector": gen_binary_vector(True),
                                                                                                                    +        "float16_vector": gen_fp16_vector(True),
                                                                                                                    +        # "bfloat16_vector": gen_bf16_vector(True),
                                                                                                                    +        "sparse_vector": gen_sparse_vector(True),
                                                                                                                    +        f"dynamic_{i}": i,
                                                                                                                         })
                                                                                                                    -    
                                                                                                                    -writer.commit()
                                                                                                                    +    if (i+1)%1000 == 0:
                                                                                                                    +        writer.commit()
                                                                                                                    +        print('committed')
                                                                                                                    +
                                                                                                                    +print(writer.batch_files)
                                                                                                                     
                                                                                                                    -
                                                                                                                    for (int i = 0; i < 10000; i++) {
                                                                                                                    -    JSONObject json = new JSONObject();
                                                                                                                    -    json.put("id", i);
                                                                                                                    -    json.put("vector", get_random_vector(768));
                                                                                                                    -    json.put("scalar_1", get_random_string(20));
                                                                                                                    -    json.put("scalar_2", (long) (Math.random() * 100));
                                                                                                                    -    json.put("dynamic_field_1", get_random_boolean());
                                                                                                                    -    json.put("dynamic_field_2", (long) (Math.random() * 100));
                                                                                                                    -
                                                                                                                    -    // localBulkWriter.appendRow(json);
                                                                                                                    -    remoteBulkWriter.appendRow(json);
                                                                                                                    +
                                                                                                                    private static byte[] genBinaryVector() {
                                                                                                                    +    Random ran = new Random();
                                                                                                                    +    int byteCount = DIM / 8;
                                                                                                                    +    ByteBuffer vector = ByteBuffer.allocate(byteCount);
                                                                                                                    +    for (int i = 0; i < byteCount; ++i) {
                                                                                                                    +        vector.put((byte) ran.nextInt(Byte.MAX_VALUE));
                                                                                                                    +    }
                                                                                                                    +    return vector.array();
                                                                                                                    +}
                                                                                                                    +
                                                                                                                    +private static List<Float> genFloatVector() {
                                                                                                                    +    Random ran = new Random();
                                                                                                                    +    List<Float> vector = new ArrayList<>();
                                                                                                                    +    for (int i = 0; i < DIM; ++i) {
                                                                                                                    +        vector.add(ran.nextFloat());
                                                                                                                    +    }
                                                                                                                    +    return vector;
                                                                                                                    +}
                                                                                                                    +
                                                                                                                    +private static byte[] genFloat16Vector() {
                                                                                                                    +    List<Float> originalVector = genFloatVector();
                                                                                                                    +    return Float16Utils.f32VectorToFp16Buffer(originalVector).array();
                                                                                                                     }
                                                                                                                     
                                                                                                                    -// localBulkWriter.commit(false);
                                                                                                                    -remoteBulkWriter.commit(false);
                                                                                                                    +private static SortedMap<Long, Float> genSparseVector() {
                                                                                                                    +    Random ran = new Random();
                                                                                                                    +    SortedMap<Long, Float> sparse = new TreeMap<>();
                                                                                                                    +    int dim = ran.nextInt(18) + 2; // [2, 20)
                                                                                                                    +    for (int i = 0; i < dim; ++i) {
                                                                                                                    +        sparse.put((long)ran.nextInt(1000000), ran.nextFloat());
                                                                                                                    +    }
                                                                                                                    +    return sparse;
                                                                                                                    +}
                                                                                                                    +
                                                                                                                    +private static List<String> genStringArray(int length) {
                                                                                                                    +    List<String> arr = new ArrayList<>();
                                                                                                                    +    for (int i = 0; i < length; i++) {
                                                                                                                    +        arr.add("str_" + i);
                                                                                                                    +    }
                                                                                                                    +    return arr;
                                                                                                                    +}
                                                                                                                    +
                                                                                                                    +private static List<Long> genIntArray(int length) {
                                                                                                                    +    List<Long> arr = new ArrayList<>();
                                                                                                                    +    for (long i = 0; i < length; i++) {
                                                                                                                    +        arr.add(i);
                                                                                                                    +    }
                                                                                                                    +    return arr;
                                                                                                                    +}
                                                                                                                    +
                                                                                                                    +private static RemoteBulkWriter createRemoteBulkWriter(CreateCollectionReq.CollectionSchema collectionSchema) throws IOException {
                                                                                                                    +    StorageConnectParam connectParam = S3ConnectParam.newBuilder()
                                                                                                                    +            .withEndpoint(MINIO_ENDPOINT)
                                                                                                                    +            .withBucketName(BUCKET_NAME)
                                                                                                                    +            .withAccessKey(ACCESS_KEY)
                                                                                                                    +            .withSecretKey(SECRET_KEY)
                                                                                                                    +            .build();
                                                                                                                    +    RemoteBulkWriterParam bulkWriterParam = RemoteBulkWriterParam.newBuilder()
                                                                                                                    +            .withCollectionSchema(collectionSchema)
                                                                                                                    +            .withRemotePath("/")
                                                                                                                    +            .withConnectParam(connectParam)
                                                                                                                    +            .withFileType(BulkFileType.PARQUET)
                                                                                                                    +            .build();
                                                                                                                    +    return new RemoteBulkWriter(bulkWriterParam);
                                                                                                                    +}
                                                                                                                    +
                                                                                                                    +private static List<List<String>> uploadData() throws Exception {
                                                                                                                    +    CreateCollectionReq.CollectionSchema collectionSchema = createSchema();
                                                                                                                    +    try (RemoteBulkWriter remoteBulkWriter = createRemoteBulkWriter(collectionSchema)) {
                                                                                                                    +        for (int i = 0; i < 10000; ++i) {
                                                                                                                    +            JsonObject rowObject = new JsonObject();
                                                                                                                    +
                                                                                                                    +            rowObject.addProperty("id", i);
                                                                                                                    +            rowObject.addProperty("bool", i % 3 == 0);
                                                                                                                    +            rowObject.addProperty("int8", i % 128);
                                                                                                                    +            rowObject.addProperty("int16", i % 1000);
                                                                                                                    +            rowObject.addProperty("int32", i % 100000);
                                                                                                                    +            rowObject.addProperty("int64", i);
                                                                                                                    +            rowObject.addProperty("float", i / 3);
                                                                                                                    +            rowObject.addProperty("double", i / 7);
                                                                                                                    +            rowObject.addProperty("varchar", "varchar_" + i);
                                                                                                                    +            rowObject.addProperty("json", String.format("{\"dummy\": %s, \"ok\": \"name_%s\"}", i, i));
                                                                                                                    +            rowObject.add("array_str", GSON_INSTANCE.toJsonTree(genStringArray(5)));
                                                                                                                    +            rowObject.add("array_int", GSON_INSTANCE.toJsonTree(genIntArray(10)));
                                                                                                                    +            rowObject.add("float_vector", GSON_INSTANCE.toJsonTree(genFloatVector()));
                                                                                                                    +            rowObject.add("binary_vector", GSON_INSTANCE.toJsonTree(genBinaryVector()));
                                                                                                                    +            rowObject.add("float16_vector", GSON_INSTANCE.toJsonTree(genFloat16Vector()));
                                                                                                                    +            rowObject.add("sparse_vector", GSON_INSTANCE.toJsonTree(genSparseVector()));
                                                                                                                    +            rowObject.addProperty("dynamic", "dynamic_" + i);
                                                                                                                    +
                                                                                                                    +            remoteBulkWriter.appendRow(rowObject);
                                                                                                                    +
                                                                                                                    +            if ((i+1)%1000 == 0) {
                                                                                                                    +                remoteBulkWriter.commit(false);
                                                                                                                    +            }
                                                                                                                    +        }
                                                                                                                    +
                                                                                                                    +        List<List<String>> batchFiles = remoteBulkWriter.getBatchFiles();
                                                                                                                    +        System.out.println(batchFiles);
                                                                                                                    +        return batchFiles;
                                                                                                                    +    } catch (Exception e) {
                                                                                                                    +        throw e;
                                                                                                                    +    }
                                                                                                                    +}
                                                                                                                    +
                                                                                                                    +public static void main(String[] args) throws Exception {
                                                                                                                    +    List<List<String>> batchFiles = uploadData();
                                                                                                                    +}
                                                                                                                     
                                                                                                                    -

                                                                                                                    Verificar los resultados

                                                                                                                    Para comprobar los resultados, puede obtener la ruta de salida real imprimiendo el método getBatchFiles() del escritor.

                                                                                                                    diff --git a/localization/v2.4.x/site/es/userGuide/manage-indexes/index-vector-fields.md b/localization/v2.4.x/site/es/userGuide/manage-indexes/index-vector-fields.md index 2143ad444..ad866bdb7 100644 --- a/localization/v2.4.x/site/es/userGuide/manage-indexes/index-vector-fields.md +++ b/localization/v2.4.x/site/es/userGuide/manage-indexes/index-vector-fields.md @@ -38,9 +38,9 @@ title: Indexar campos vectoriales >

                                                                                                                    Aprovechando los metadatos almacenados en un archivo de índice, Milvus organiza sus datos en una estructura especializada, facilitando la rápida recuperación de la información solicitada durante las búsquedas o consultas.

                                                                                                                    -

                                                                                                                    Milvus proporciona varios tipos de índices y métricas para ordenar los valores de campo para realizar búsquedas de similitud eficientes. La siguiente tabla enumera los tipos de índices y métricas soportados para diferentes tipos de campos vectoriales. Para más detalles, consulte Índice en memoria y métricas de similitud.

                                                                                                                    +

                                                                                                                    Milvus proporciona varios tipos de índices y métricas para ordenar los valores de los campos con el fin de realizar búsquedas de similitud eficientes. La siguiente tabla enumera los tipos de índices y métricas soportados para diferentes tipos de campos vectoriales. Actualmente, Milvus soporta varios tipos de datos vectoriales, incluyendo incrustaciones en coma flotante (a menudo conocidas como vectores en coma flotante o vectores densos), incrustaciones binarias (también conocidas como vectores binarios) e incrustaciones dispersas (también conocidas como vectores dispersos). Para obtener más información, consulte Índice en memoria y métricas de similitud.

                                                                                                                    + Incrustaciones en coma flotante Incrustaciones binarias Incrustaciones dispersas
                                                                                                                    @@ -78,7 +78,7 @@ title: Indexar campos vectoriales - + diff --git a/localization/v2.4.x/site/fr/adminGuide/configure-docker.json b/localization/v2.4.x/site/fr/adminGuide/configure-docker.json index 505f96bc5..be0b3bd25 100644 --- a/localization/v2.4.x/site/fr/adminGuide/configure-docker.json +++ b/localization/v2.4.x/site/fr/adminGuide/configure-docker.json @@ -1 +1 @@ -{"codeList":["$ wget https://raw.githubusercontent.com/milvus-io/milvus/v2.4.15/configs/milvus.yaml\n","# For Milvus standalone\n$ wget https://github.com/milvus-io/milvus/releases/download/v2.4.15/milvus-standalone-docker-compose.yml -O docker-compose.yml\n","...\n standalone:\n container_name: milvus-standalone\n image: milvusdb/milvus:v2.2.13\n command: [\"milvus\", \"run\", \"standalone\"]\n environment:\n ETCD_ENDPOINTS: etcd:2379\n MINIO_ADDRESS: minio:9000\n volumes:\n - /local/path/to/your/milvus.yaml:/milvus/configs/milvus.yaml # Map the local path to the container path\n - ${DOCKER_VOLUME_DIRECTORY:-.}/volumes/milvus:/var/lib/milvus\n ports:\n - \"19530:19530\"\n - \"9091:9091\"\n depends_on:\n - \"etcd\"\n - \"minio\"\n...\n","$ sudo docker compose up -d\n"],"headingContent":"Configure Milvus with Docker Compose","anchorList":[{"label":"Configurer Milvus avec Docker Compose","href":"Configure-Milvus-with-Docker-Compose","type":1,"isActive":false},{"label":"Télécharger un fichier de configuration","href":"Download-a-configuration-file","type":2,"isActive":false},{"label":"Modifier le fichier de configuration","href":"Modify-the-configuration-file","type":2,"isActive":false},{"label":"Télécharger un fichier d'installation","href":"Download-an-installation-file","type":2,"isActive":false},{"label":"Modifier le fichier d'installation","href":"Modify-the-installation-file","type":2,"isActive":false},{"label":"Démarrer Milvus","href":"Start-Milvus","type":2,"isActive":false},{"label":"Prochaines étapes","href":"Whats-next","type":2,"isActive":false}]} \ No newline at end of file +{"codeList":["$ wget https://raw.githubusercontent.com/milvus-io/milvus/v2.4.17/configs/milvus.yaml\n","# For Milvus standalone\n$ wget https://github.com/milvus-io/milvus/releases/download/v2.4.17/milvus-standalone-docker-compose.yml -O docker-compose.yml\n","...\n standalone:\n container_name: milvus-standalone\n image: milvusdb/milvus:v2.2.13\n command: [\"milvus\", \"run\", \"standalone\"]\n environment:\n ETCD_ENDPOINTS: etcd:2379\n MINIO_ADDRESS: minio:9000\n volumes:\n - /local/path/to/your/milvus.yaml:/milvus/configs/milvus.yaml # Map the local path to the container path\n - ${DOCKER_VOLUME_DIRECTORY:-.}/volumes/milvus:/var/lib/milvus\n ports:\n - \"19530:19530\"\n - \"9091:9091\"\n depends_on:\n - \"etcd\"\n - \"minio\"\n...\n","$ sudo docker compose up -d\n"],"headingContent":"Configure Milvus with Docker Compose","anchorList":[{"label":"Configurer Milvus avec Docker Compose","href":"Configure-Milvus-with-Docker-Compose","type":1,"isActive":false},{"label":"Télécharger un fichier de configuration","href":"Download-a-configuration-file","type":2,"isActive":false},{"label":"Modifier le fichier de configuration","href":"Modify-the-configuration-file","type":2,"isActive":false},{"label":"Télécharger un fichier d'installation","href":"Download-an-installation-file","type":2,"isActive":false},{"label":"Modifier le fichier d'installation","href":"Modify-the-installation-file","type":2,"isActive":false},{"label":"Démarrer Milvus","href":"Start-Milvus","type":2,"isActive":false},{"label":"Prochaines étapes","href":"Whats-next","type":2,"isActive":false}]} \ No newline at end of file diff --git a/localization/v2.4.x/site/fr/adminGuide/configure-docker.md b/localization/v2.4.x/site/fr/adminGuide/configure-docker.md index 74585fb8e..266f861c2 100644 --- a/localization/v2.4.x/site/fr/adminGuide/configure-docker.md +++ b/localization/v2.4.x/site/fr/adminGuide/configure-docker.md @@ -38,8 +38,8 @@ Dans la version actuelle, tous les paramètres ne prennent effet qu'après le re d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z" > -

                                                                                                                    Téléchargez milvus.yaml directement ou à l'aide de la commande suivante.

                                                                                                                    -
                                                                                                                    $ wget https://raw.githubusercontent.com/milvus-io/milvus/v2.4.15/configs/milvus.yaml
                                                                                                                    +    

                                                                                                                    Téléchargez milvus.yaml directement ou à l'aide de la commande suivante.

                                                                                                                    +
                                                                                                                    $ wget https://raw.githubusercontent.com/milvus-io/milvus/v2.4.17/configs/milvus.yaml
                                                                                                                     

                                                                                                                    Modifier le fichier de configuration

                                                                                                                    Téléchargez le fichier d'installation de Milvus standalone et enregistrez-le sous docker-compose.yml.

                                                                                                                    +

                                                                                                                    Téléchargez le fichier d'installation de Milvus standalone et enregistrez-le sous docker-compose.yml.

                                                                                                                    Vous pouvez également exécuter la commande suivante.

                                                                                                                    # For Milvus standalone
                                                                                                                    -$ wget https://github.com/milvus-io/milvus/releases/download/v2.4.15/milvus-standalone-docker-compose.yml -O docker-compose.yml
                                                                                                                    +$ wget https://github.com/milvus-io/milvus/releases/download/v2.4.17/milvus-standalone-docker-compose.yml -O docker-compose.yml
                                                                                                                     

                                                                                                                    Modifier le fichier d'installation

                                                                                                                    Cette rubrique décrit comment mettre à niveau votre Milvus à l'aide de Docker Compose.

                                                                                                                    -

                                                                                                                    Dans les cas normaux, vous pouvez mettre à niveau Milvus en modifiant son image. Cependant, vous devez migrer les métadonnées avant toute mise à niveau de la version 2.1.x à la version 2.4.15.

                                                                                                                    +

                                                                                                                    Dans les cas normaux, vous pouvez mettre à niveau Milvus en modifiant son image. Cependant, vous devez migrer les métadonnées avant toute mise à niveau de la version 2.1.x à la version 2.4.17.

                                                                                                                    Mise à niveau de Milvus en modifiant son image

                                                                                                                  • Exécutez les commandes suivantes pour effectuer la mise à niveau.

                                                                                                                    docker compose down
                                                                                                                    @@ -105,7 +105,7 @@ cmd:
                                                                                                                       runWithBackup: true
                                                                                                                     config:
                                                                                                                       sourceVersion: 2.1.4   # Specify your milvus version
                                                                                                                    -  targetVersion: 2.4.15
                                                                                                                    +  targetVersion: 2.4.17
                                                                                                                       backupFilePath: /tmp/migration.bak
                                                                                                                     metastore:
                                                                                                                       type: etcd
                                                                                                                    diff --git a/localization/v2.4.x/site/fr/adminGuide/upgrade_milvus_cluster-helm.json b/localization/v2.4.x/site/fr/adminGuide/upgrade_milvus_cluster-helm.json
                                                                                                                    index 6c70ecd49..f27a598ad 100644
                                                                                                                    --- a/localization/v2.4.x/site/fr/adminGuide/upgrade_milvus_cluster-helm.json
                                                                                                                    +++ b/localization/v2.4.x/site/fr/adminGuide/upgrade_milvus_cluster-helm.json
                                                                                                                    @@ -1 +1 @@
                                                                                                                    -{"codeList":["$ helm repo update\n$ helm search repo zilliztech/milvus --versions\n","helm repo add zilliztech https://zilliztech.github.io/milvus-helm\nhelm repo update\n# upgrade existing helm release\nhelm upgrade my-release zilliztech/milvus\n","NAME                    CHART VERSION   APP VERSION             DESCRIPTION                                       \nzilliztech/milvus       4.1.34          2.4.5                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.33          2.4.4                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.32          2.4.3                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.31          2.4.1                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.30          2.4.1                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.29          2.4.0                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.24          2.3.11                  Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.23          2.3.10                  Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.22          2.3.10                  Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.21          2.3.10                  Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.20          2.3.10                  Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.18          2.3.10                  Milvus is an open-source vector database built ... \nzilliztech/milvus       4.1.18          2.3.9                   Milvus is an open-source vector database built ...                                       \nzilliztech/milvus       4.1.17          2.3.8                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.16          2.3.7                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.15          2.3.5                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.14          2.3.6                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.13          2.3.5                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.12          2.3.5                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.11          2.3.4                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.10          2.3.3                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.9           2.3.3                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.8           2.3.2                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.7           2.3.2                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.6           2.3.1                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.5           2.3.1                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.4           2.3.1                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.3           2.3.1                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.2           2.3.1                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.1           2.3.0                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.0           2.3.0                   Milvus is an open-source vector database built ...\n","sh rollingUpdate.sh -n default -i my-release -o update -t 2.4.15 -w 'milvusdb/milvus:v2.4.15'\n","helm repo update\nhelm upgrade my-release zilliztech/milvus --reuse-values --version=4.1.24 # use the helm chart version here\n","NAME                NAMESPACE   REVISION    UPDATED                                 STATUS      CHART           APP VERSION    \nnew-release         default     1           2022-11-21 15:41:25.51539 +0800 CST     deployed    milvus-3.2.18   2.1.4 \n","NAME                                             READY   STATUS      RESTARTS   AGE\nmy-release-etcd-0                               1/1     Running     0          21m\nmy-release-etcd-1                               1/1     Running     0          21m\nmy-release-etcd-2                               1/1     Running     0          21m\nmy-release-milvus-datacoord-664c58798d-fl75s    1/1     Running     0          21m\nmy-release-milvus-datanode-5f75686c55-xfg2r     1/1     Running     0          21m\nmy-release-milvus-indexcoord-5f98b97589-2l48r   1/1     Running     0          21m\nmy-release-milvus-indexnode-857b4ddf98-vmd75    1/1     Running     0          21m\nmy-release-milvus-proxy-6c548f787f-scspp        1/1     Running     0          21m\nmy-release-milvus-querycoord-c454f44cd-dwmwq    1/1     Running     0          21m\nmy-release-milvus-querynode-76bb4946d-lbrz6     1/1     Running     0          21m\nmy-release-milvus-rootcoord-7764c5b686-62msm    1/1     Running     0          21m\nmy-release-minio-0                              1/1     Running     0          21m\nmy-release-minio-1                              1/1     Running     0          21m\nmy-release-minio-2                              1/1     Running     0          21m\nmy-release-minio-3                              1/1     Running     0          21m\nmy-release-pulsar-bookie-0                      1/1     Running     0          21m\nmy-release-pulsar-bookie-1                      1/1     Running     0          21m\nmy-release-pulsar-bookie-2                      1/1     Running     0          21m\nmy-release-pulsar-bookie-init-tjxpj             0/1     Completed   0          21m\nmy-release-pulsar-broker-0                      1/1     Running     0          21m\nmy-release-pulsar-proxy-0                       1/1     Running     0          21m\nmy-release-pulsar-pulsar-init-c8vvc             0/1     Completed   0          21m\nmy-release-pulsar-recovery-0                    1/1     Running     0          21m\nmy-release-pulsar-zookeeper-0                   1/1     Running     0          21m\nmy-release-pulsar-zookeeper-1                   1/1     Running     0          20m\nmy-release-pulsar-zookeeper-2                   1/1     Running     0          20m\n","$ kubectl get pods my-release-milvus-proxy-6c548f787f-scspp -o=jsonpath='{$.spec.containers[0].image}'\n# milvusdb/milvus:v2.1.4\n","./migrate.sh -i my-release -s 2.1.4 -t 2.2.0\n","./migrate.sh -i my-release -n milvus -s 2.1.4 -t 2.2.0\n","./migrate.sh -i my-release -n milvus -s 2.1.4 -t 2.2.0 -r by-dev\n","./migrate.sh -i my-release -n milvus -s 2.1.4 -t 2.2.0 -r by-dev -w milvusdb/milvus:v2.2.0\n","./migrate.sh -i my-release -n milvus -s 2.1.4 -t 2.2.0 -w milvusdb/milvus:v2.2.0 -d true\n","./migrate.sh -i my-release -n milvus -s 2.1.4 -t 2.2.0 -r by-dev -o rollback -w milvusdb/milvus:v2.1.4\n./migrate.sh -i my-release -n milvus -s 2.1.4 -t 2.2.0 -r by-dev -o migrate -w milvusdb/milvus:v2.2.0\n"],"headingContent":"Upgrade Milvus Cluster with Helm Chart","anchorList":[{"label":"Mise à niveau du cluster Milvus avec les cartes Helm","href":"Upgrade-Milvus-Cluster-with-Helm-Chart","type":1,"isActive":false},{"label":"Vérification de la carte Milvus Helm","href":"Check-Milvus-Helm-Chart","type":2,"isActive":false},{"label":"Effectuer une mise à niveau continue","href":"Conduct-a-rolling-upgrade","type":2,"isActive":false},{"label":"Mise à niveau de Milvus à l'aide de Helm","href":"Upgrade-Milvus-using-Helm","type":2,"isActive":false},{"label":"Migrer les métadonnées","href":"Migrate-the-metadata","type":2,"isActive":false}]}
                                                                                                                    \ No newline at end of file
                                                                                                                    +{"codeList":["$ helm repo update zilliztech\n$ helm search repo zilliztech/milvus --versions\n","helm repo add zilliztech https://zilliztech.github.io/milvus-helm\nhelm repo update\n# upgrade existing helm release\nhelm upgrade my-release zilliztech/milvus --reset-then-reuse-values\n","NAME                    CHART VERSION   APP VERSION             DESCRIPTION                                       \nzilliztech/milvus       4.1.34          2.4.5                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.33          2.4.4                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.32          2.4.3                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.31          2.4.1                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.30          2.4.1                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.29          2.4.0                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.24          2.3.11                  Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.23          2.3.10                  Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.22          2.3.10                  Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.21          2.3.10                  Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.20          2.3.10                  Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.18          2.3.10                  Milvus is an open-source vector database built ... \nzilliztech/milvus       4.1.18          2.3.9                   Milvus is an open-source vector database built ...                                       \nzilliztech/milvus       4.1.17          2.3.8                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.16          2.3.7                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.15          2.3.5                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.14          2.3.6                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.13          2.3.5                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.12          2.3.5                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.11          2.3.4                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.10          2.3.3                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.9           2.3.3                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.8           2.3.2                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.7           2.3.2                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.6           2.3.1                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.5           2.3.1                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.4           2.3.1                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.3           2.3.1                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.2           2.3.1                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.1           2.3.0                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.0           2.3.0                   Milvus is an open-source vector database built ...\n","sh rollingUpdate.sh -n default -i my-release -o update -t 2.4.17 -w 'milvusdb/milvus:v2.4.17'\n","helm repo update zilliztech\nhelm upgrade my-release zilliztech/milvus --reset-then-reuse-values --version=4.1.24 # use the helm chart version here\n","NAME                NAMESPACE   REVISION    UPDATED                                 STATUS      CHART           APP VERSION    \nnew-release         default     1           2022-11-21 15:41:25.51539 +0800 CST     deployed    milvus-3.2.18   2.1.4 \n","NAME                                             READY   STATUS      RESTARTS   AGE\nmy-release-etcd-0                               1/1     Running     0          21m\nmy-release-etcd-1                               1/1     Running     0          21m\nmy-release-etcd-2                               1/1     Running     0          21m\nmy-release-milvus-datacoord-664c58798d-fl75s    1/1     Running     0          21m\nmy-release-milvus-datanode-5f75686c55-xfg2r     1/1     Running     0          21m\nmy-release-milvus-indexcoord-5f98b97589-2l48r   1/1     Running     0          21m\nmy-release-milvus-indexnode-857b4ddf98-vmd75    1/1     Running     0          21m\nmy-release-milvus-proxy-6c548f787f-scspp        1/1     Running     0          21m\nmy-release-milvus-querycoord-c454f44cd-dwmwq    1/1     Running     0          21m\nmy-release-milvus-querynode-76bb4946d-lbrz6     1/1     Running     0          21m\nmy-release-milvus-rootcoord-7764c5b686-62msm    1/1     Running     0          21m\nmy-release-minio-0                              1/1     Running     0          21m\nmy-release-minio-1                              1/1     Running     0          21m\nmy-release-minio-2                              1/1     Running     0          21m\nmy-release-minio-3                              1/1     Running     0          21m\nmy-release-pulsar-bookie-0                      1/1     Running     0          21m\nmy-release-pulsar-bookie-1                      1/1     Running     0          21m\nmy-release-pulsar-bookie-2                      1/1     Running     0          21m\nmy-release-pulsar-bookie-init-tjxpj             0/1     Completed   0          21m\nmy-release-pulsar-broker-0                      1/1     Running     0          21m\nmy-release-pulsar-proxy-0                       1/1     Running     0          21m\nmy-release-pulsar-pulsar-init-c8vvc             0/1     Completed   0          21m\nmy-release-pulsar-recovery-0                    1/1     Running     0          21m\nmy-release-pulsar-zookeeper-0                   1/1     Running     0          21m\nmy-release-pulsar-zookeeper-1                   1/1     Running     0          20m\nmy-release-pulsar-zookeeper-2                   1/1     Running     0          20m\n","$ kubectl get pods my-release-milvus-proxy-6c548f787f-scspp -o=jsonpath='{$.spec.containers[0].image}'\n# milvusdb/milvus:v2.1.4\n","./migrate.sh -i my-release -s 2.1.4 -t 2.2.0\n","./migrate.sh -i my-release -n milvus -s 2.1.4 -t 2.2.0\n","./migrate.sh -i my-release -n milvus -s 2.1.4 -t 2.2.0 -r by-dev\n","./migrate.sh -i my-release -n milvus -s 2.1.4 -t 2.2.0 -r by-dev -w milvusdb/milvus:v2.2.0\n","./migrate.sh -i my-release -n milvus -s 2.1.4 -t 2.2.0 -w milvusdb/milvus:v2.2.0 -d true\n","./migrate.sh -i my-release -n milvus -s 2.1.4 -t 2.2.0 -r by-dev -o rollback -w milvusdb/milvus:v2.1.4\n./migrate.sh -i my-release -n milvus -s 2.1.4 -t 2.2.0 -r by-dev -o migrate -w milvusdb/milvus:v2.2.0\n"],"headingContent":"Upgrade Milvus Cluster with Helm Chart","anchorList":[{"label":"Mise à niveau du cluster Milvus avec les cartes Helm","href":"Upgrade-Milvus-Cluster-with-Helm-Chart","type":1,"isActive":false},{"label":"Conditions préalables","href":"Prerequisites","type":2,"isActive":false},{"label":"Vérifier la carte Milvus Helm","href":"Check-Milvus-Helm-Chart","type":2,"isActive":false},{"label":"Effectuer une mise à niveau continue","href":"Conduct-a-rolling-upgrade","type":2,"isActive":false},{"label":"Mise à niveau de Milvus à l'aide de Helm","href":"Upgrade-Milvus-using-Helm","type":2,"isActive":false},{"label":"Migrer les métadonnées","href":"Migrate-the-metadata","type":2,"isActive":false}]}
                                                                                                                    \ No newline at end of file
                                                                                                                    diff --git a/localization/v2.4.x/site/fr/adminGuide/upgrade_milvus_cluster-helm.md b/localization/v2.4.x/site/fr/adminGuide/upgrade_milvus_cluster-helm.md
                                                                                                                    index 5ae101910..d47a3e5c1 100644
                                                                                                                    --- a/localization/v2.4.x/site/fr/adminGuide/upgrade_milvus_cluster-helm.md
                                                                                                                    +++ b/localization/v2.4.x/site/fr/adminGuide/upgrade_milvus_cluster-helm.md
                                                                                                                    @@ -24,7 +24,29 @@ title: Mise à niveau du cluster Milvus avec les cartes Helm
                                                                                                                             >
                                                                                                                           
                                                                                                                         

                                                                                                                    Ce guide décrit comment mettre à niveau votre cluster Milvus avec les cartes Milvus Helm.

                                                                                                                    -

                                                                                                                    Vérification de la carte Milvus Helm

                                                                                                                      +
                                                                                                                    • Version de Helm >= 3.14.0
                                                                                                                    • +
                                                                                                                    • Version de Kubernetes >= 1.20.0
                                                                                                                    • +
                                                                                                                    +
                                                                                                                    +

                                                                                                                    Depuis la version 4.2.21 de la carte Milvus-Helm, nous avons introduit la carte pulsar-v3.x comme dépendance. Pour une compatibilité ascendante, veuillez mettre à jour votre helm vers la version 3.14 ou une version plus récente, et assurez-vous d'ajouter l'option --reset-then-reuse-values chaque fois que vous utilisez helm upgrade.

                                                                                                                    +
                                                                                                                    +

                                                                                                                    Vérifier la carte Milvus Helm

                                                                                                                    Exécutez les commandes suivantes pour vérifier les nouvelles versions de Milvus.

                                                                                                                    -
                                                                                                                    $ helm repo update
                                                                                                                    +
                                                                                                                    $ helm repo update zilliztech
                                                                                                                     $ helm search repo zilliztech/milvus --versions
                                                                                                                     
                                                                                                                    @@ -48,7 +70,7 @@ $ helm search repo zilliztech/milvus --versions
                                                                                                                    helm repo add zilliztech https://zilliztech.github.io/milvus-helm
                                                                                                                     helm repo update
                                                                                                                     # upgrade existing helm release
                                                                                                                    -helm upgrade my-release zilliztech/milvus
                                                                                                                    +helm upgrade my-release zilliztech/milvus --reset-then-reuse-values
                                                                                                                     

                                                                                                                    Le répertoire archivé est toujours disponible pour les cartes jusqu'à la version 4.0.31. Pour les versions ultérieures, utilisez plutôt le nouveau repo.

                                                                                                                    @@ -86,10 +108,10 @@ zilliztech/milvus 4.1.1 2.3.0 Milvus is an ope zilliztech/milvus 4.1.0 2.3.0 Milvus is an open-source vector database built ...

                                                                                                                    Vous pouvez choisir le chemin de mise à niveau pour votre Milvus comme suit :

                                                                                                                    -
                                                                                                                    - [Effectuer une mise à niveau continue](#conduct-a-rolling-upgrade) de Milvus v2.2.3 et versions ultérieures vers v2.4.15.
                                                                                                                    +
                                                                                                                    - [Effectuer une mise à niveau continue](#conduct-a-rolling-upgrade) de Milvus v2.2.3 et versions ultérieures vers v2.4.17.

                                                                                                                    Effectuer une mise à niveau continue

                                                                                                                    Depuis Milvus 2.2.3, vous pouvez configurer les coordinateurs Milvus pour qu'ils fonctionnent en mode actif-veille et activer la fonction de mise à niveau continue pour eux, afin que Milvus puisse répondre aux demandes entrantes pendant les mises à niveau des coordinateurs. Dans les versions précédentes, les coordinateurs doivent être supprimés puis créés au cours d'une mise à niveau, ce qui peut entraîner certains temps d'arrêt du service.

                                                                                                                    +

                                                                                                                    Depuis Milvus 2.2.3, vous pouvez configurer les coordinateurs Milvus pour qu'ils fonctionnent en mode actif-veille et activer la fonction de mise à niveau continue pour eux, afin que Milvus puisse répondre aux demandes entrantes pendant les mises à niveau des coordinateurs. Dans les versions précédentes, les coordinateurs doivent être supprimés puis créés lors d'une mise à niveau, ce qui peut entraîner certains temps d'arrêt du service.

                                                                                                                    Les mises à niveau en continu exigent que les coordinateurs fonctionnent en mode actif-veille. Vous pouvez utiliser le script que nous fournissons pour configurer les coordinateurs afin qu'ils travaillent en mode veille active et lancer la mise à jour continue.

                                                                                                                    Basé sur les capacités de mise à jour continue fournies par Kubernetes, le script ci-dessus applique une mise à jour ordonnée des déploiements en fonction de leurs dépendances. En outre, Milvus met en œuvre un mécanisme garantissant que ses composants restent compatibles avec ceux qui en dépendent pendant la mise à niveau, ce qui réduit considérablement les temps d'arrêt potentiels des services.

                                                                                                                    Le script s'applique uniquement à la mise à niveau de Milvus installé avec Helm. Le tableau suivant répertorie les drapeaux de commande disponibles dans les scripts.

                                                                                                                    @@ -123,8 +145,8 @@ zilliztech/milvus 4.1.0 2.3.0 Milvus is an ope
                                                                                                                  • Tipos métricosTipos de índiceTipos de índices
                                                                                                                    oFonctionnementupdateFaux
                                                                                                                    -

                                                                                                                    Une fois que vous vous êtes assuré que tous les déploiements de votre instance Milvus sont dans leur état normal, vous pouvez exécuter la commande suivante pour mettre à niveau l'instance Milvus vers la version 2.4.15. Vous pouvez exécuter la commande suivante pour mettre à niveau l'instance Milvus vers la version 2.4.15.

                                                                                                                    -
                                                                                                                    sh rollingUpdate.sh -n default -i my-release -o update -t 2.4.15 -w 'milvusdb/milvus:v2.4.15'
                                                                                                                    +

                                                                                                                    Une fois que vous vous êtes assuré que tous les déploiements de votre instance Milvus sont dans leur état normal, vous pouvez exécuter la commande suivante pour mettre à niveau l'instance Milvus vers la version 2.4.17. Vous pouvez exécuter la commande suivante pour mettre à niveau l'instance Milvus vers la version 2.4.17.

                                                                                                                    +
                                                                                                                    sh rollingUpdate.sh -n default -i my-release -o update -t 2.4.17 -w 'milvusdb/milvus:v2.4.17'
                                                                                                                     
                                                                                                                      @@ -150,8 +172,8 @@ zilliztech/milvus 4.1.0 2.3.0 Milvus is an ope >

                                                                                                                      Pour mettre à niveau Milvus à partir d'une version mineure antérieure à la v2.2.3 vers la dernière version, exécutez les commandes suivantes :

                                                                                                                      -
                                                                                                                      helm repo update
                                                                                                                      -helm upgrade my-release zilliztech/milvus --reuse-values --version=4.1.24 # use the helm chart version here
                                                                                                                      +
                                                                                                                      helm repo update zilliztech
                                                                                                                      +helm upgrade my-release zilliztech/milvus --reset-then-reuse-values --version=4.1.24 # use the helm chart version here
                                                                                                                       

                                                                                                                      Utilisez la version du diagramme Helm dans la commande précédente. Pour plus d'informations sur la manière d'obtenir la version du tableau Helm, reportez-vous à la section Vérifier la version de Milvus.

                                                                                                                      Migrer les métadonnées

                                                                                                                      Une fois que vous avez mis à niveau votre opérateur Milvus vers la dernière version, vous avez le choix entre les options suivantes :

                                                                                                                      Effectuer une mise à niveau continue

                                                                                                                    Dans le fichier de configuration ci-dessus, définissez spec.components.enableRollingUpdate comme true et spec.components.image comme la version souhaitée de Milvus.

                                                                                                                    Par défaut, Milvus effectue une mise à niveau continue pour les coordinateurs de manière ordonnée, c'est-à-dire qu'il remplace les images des pods des coordinateurs l'une après l'autre. Pour réduire le temps de mise à niveau, envisagez de définir spec.components.imageUpdateMode sur all afin que Milvus remplace toutes les images de pods en même temps.

                                                                                                                    @@ -88,7 +88,7 @@ spec: components: enableRollingUpdate: true imageUpdateMode: all - image: milvusdb/milvus:v2.4.15 + image: milvusdb/milvus:v2.4.17

                                                                                                                    Vous pouvez définir spec.components.imageUpdateMode sur rollingDowngrade pour que Milvus remplace les images de pods coordinateurs par une version inférieure.

                                                                                                                    apiVersion: milvus.io/v1beta1
                                                                                                                    @@ -101,8 +101,8 @@ spec:
                                                                                                                         imageUpdateMode: rollingDowngrade
                                                                                                                         image: milvusdb/milvus:<some-old-version>
                                                                                                                     
                                                                                                                    -

                                                                                                                    Enregistrez ensuite votre configuration dans un fichier YAML (par exemple, milvusupgrade.yml) et appliquez ce fichier de configuration à votre instance Milvus comme suit :

                                                                                                                    -
                                                                                                                    kubectl apply -f milvusupgrade.yml
                                                                                                                    +

                                                                                                                    Enregistrez ensuite votre configuration sous forme de fichier YAML (par exemple, milvusupgrade.yml) et patchez ce fichier de configuration sur votre instance Milvus comme suit :

                                                                                                                    +
                                                                                                                    kubectl patch -f milvusupgrade.yml
                                                                                                                     

                                                                                                                    Mettre à niveau Milvus en changeant son image

                                                                                                                    Exécutez ensuite ce qui suit pour effectuer la mise à niveau :

                                                                                                                    -
                                                                                                                    kubectl apply -f milvusupgrade.yaml
                                                                                                                    +
                                                                                                                    kubectl patch -f milvusupgrade.yaml
                                                                                                                     

                                                                                                                    Migrer les métadonnées

                                                                                                                    Depuis Milvus 2.2.0, les métadonnées sont incompatibles avec celles des versions précédentes. Les exemples suivants supposent une mise à niveau de Milvus 2.1.4 vers Milvus 2.4.15.

                                                                                                                    -

                                                                                                                    1. Création d'un fichier .yaml pour la migration des métadonnées

                                                                                                                    Créer un fichier de migration des métadonnées. Voici un exemple. Vous devez spécifier les fichiers name, sourceVersion, et targetVersion dans le fichier de configuration. L'exemple suivant définit name en my-release-upgrade, sourceVersion en v2.1.4, et targetVersion en v2.4.15. Cela signifie que votre cluster Milvus sera mis à niveau de la v2.1.4 à la v2.4.15.

                                                                                                                    +

                                                                                                                    Depuis Milvus 2.2.0, les métadonnées sont incompatibles avec celles des versions précédentes. Les exemples suivants supposent une mise à niveau de Milvus 2.1.4 vers Milvus 2.4.17.

                                                                                                                    +

                                                                                                                    1. Création d'un fichier .yaml pour la migration des métadonnées

                                                                                                                    Créer un fichier de migration des métadonnées. Voici un exemple. Vous devez spécifier les fichiers name, sourceVersion, et targetVersion dans le fichier de configuration. L'exemple suivant définit name en my-release-upgrade, sourceVersion en v2.1.4, et targetVersion en v2.4.17. Cela signifie que votre cluster Milvus sera mis à niveau de la v2.1.4 à la v2.4.17.

                                                                                                                    apiVersion: milvus.io/v1beta1
                                                                                                                     kind: MilvusUpgrade
                                                                                                                     metadata:
                                                                                                                    @@ -159,17 +159,17 @@ spec:
                                                                                                                         namespace: default
                                                                                                                         name: my-release
                                                                                                                       sourceVersion: "v2.1.4"
                                                                                                                    -  targetVersion: "v2.4.15"
                                                                                                                    +  targetVersion: "v2.4.17"
                                                                                                                       # below are some omit default values:
                                                                                                                    -  # targetImage: "milvusdb/milvus:v2.4.15"
                                                                                                                    +  # targetImage: "milvusdb/milvus:v2.4.17"
                                                                                                                       # toolImage: "milvusdb/meta-migration:v2.2.0"
                                                                                                                       # operation: upgrade
                                                                                                                       # rollbackIfFailed: true
                                                                                                                       # backupPVC: ""
                                                                                                                       # maxRetry: 3
                                                                                                                     
                                                                                                                    -

                                                                                                                    2. Appliquer la nouvelle configuration

                                                                                                                    Exécutez la commande suivante pour appliquer la nouvelle configuration.

                                                                                                                    -
                                                                                                                    $ kubectl apply -f https://github.com/zilliztech/milvus-operator/blob/main/config/samples/beta/milvusupgrade.yaml
                                                                                                                    +

                                                                                                                    2. Appliquer la nouvelle configuration

                                                                                                                    Exécutez la commande suivante pour créer la nouvelle configuration.

                                                                                                                    +
                                                                                                                    $ kubectl create -f https://github.com/zilliztech/milvus-operator/blob/main/config/samples/beta/milvusupgrade.yaml
                                                                                                                     

                                                                                                                    3. Vérifier l'état de la migration des métadonnées

                                                                                                                    Exécutez la commande suivante pour vérifier l'état de la migration des métadonnées.

                                                                                                                    kubectl describe milvus release-name
                                                                                                                    diff --git a/localization/v2.4.x/site/fr/adminGuide/upgrade_milvus_standalone-docker.json b/localization/v2.4.x/site/fr/adminGuide/upgrade_milvus_standalone-docker.json
                                                                                                                    index dbd41b6d4..a71282b54 100644
                                                                                                                    --- a/localization/v2.4.x/site/fr/adminGuide/upgrade_milvus_standalone-docker.json
                                                                                                                    +++ b/localization/v2.4.x/site/fr/adminGuide/upgrade_milvus_standalone-docker.json
                                                                                                                    @@ -1 +1 @@
                                                                                                                    -{"codeList":["...\nstandalone:\n  container_name: milvus-standalone\n  image: milvusdb/milvus:v2.4.15\n","docker compose down\ndocker compose up -d\n","docker stop \n","# migration.yaml\ncmd:\n  # Option: run/backup/rollback\n  type: run\n  runWithBackup: true\nconfig:\n  sourceVersion: 2.1.4   # Specify your milvus version\n  targetVersion: 2.4.15\n  backupFilePath: /tmp/migration.bak\nmetastore:\n  type: etcd\netcd:\n  endpoints:\n    - milvus-etcd:2379  # Use the etcd container name\n  rootPath: by-dev # The root path where data is stored in etcd\n  metaSubPath: meta\n  kvSubPath: kv\n","# Suppose your docker-compose run with the default milvus network,\n# and you put migration.yaml in the same directory with docker-compose.yaml.\ndocker run --rm -it --network milvus -v $(pwd)/migration.yaml:/milvus/configs/migration.yaml milvusdb/meta-migration:v2.2.0 /milvus/bin/meta-migration -config=/milvus/configs/migration.yaml\n","// Run the following only after update the milvus image tag in the docker-compose.yaml\ndocker compose down\ndocker compose up -d\n"],"headingContent":"Upgrade Milvus Standalone with Docker Compose","anchorList":[{"label":"Mise à niveau de Milvus Standalone avec Docker Compose","href":"Upgrade-Milvus-Standalone-with-Docker-Compose","type":1,"isActive":false},{"label":"Mettre à niveau Milvus en modifiant son image","href":"Upgrade-Milvus-by-changing-its-image","type":2,"isActive":false},{"label":"Migration des métadonnées","href":"Migrate-the-metadata","type":2,"isActive":false},{"label":"Suite de l'article","href":"Whats-next","type":2,"isActive":false}]}
                                                                                                                    \ No newline at end of file
                                                                                                                    +{"codeList":["...\nstandalone:\n  container_name: milvus-standalone\n  image: milvusdb/milvus:v2.4.17\n","docker compose down\ndocker compose up -d\n","docker stop \n","# migration.yaml\ncmd:\n  # Option: run/backup/rollback\n  type: run\n  runWithBackup: true\nconfig:\n  sourceVersion: 2.1.4   # Specify your milvus version\n  targetVersion: 2.4.17\n  backupFilePath: /tmp/migration.bak\nmetastore:\n  type: etcd\netcd:\n  endpoints:\n    - milvus-etcd:2379  # Use the etcd container name\n  rootPath: by-dev # The root path where data is stored in etcd\n  metaSubPath: meta\n  kvSubPath: kv\n","# Suppose your docker-compose run with the default milvus network,\n# and you put migration.yaml in the same directory with docker-compose.yaml.\ndocker run --rm -it --network milvus -v $(pwd)/migration.yaml:/milvus/configs/migration.yaml milvusdb/meta-migration:v2.2.0 /milvus/bin/meta-migration -config=/milvus/configs/migration.yaml\n","// Run the following only after update the milvus image tag in the docker-compose.yaml\ndocker compose down\ndocker compose up -d\n"],"headingContent":"Upgrade Milvus Standalone with Docker Compose","anchorList":[{"label":"Mise à niveau de Milvus Standalone avec Docker Compose","href":"Upgrade-Milvus-Standalone-with-Docker-Compose","type":1,"isActive":false},{"label":"Mettre à niveau Milvus en modifiant son image","href":"Upgrade-Milvus-by-changing-its-image","type":2,"isActive":false},{"label":"Migration des métadonnées","href":"Migrate-the-metadata","type":2,"isActive":false},{"label":"Suite de l'article","href":"Whats-next","type":2,"isActive":false}]}
                                                                                                                    \ No newline at end of file
                                                                                                                    diff --git a/localization/v2.4.x/site/fr/adminGuide/upgrade_milvus_standalone-docker.md b/localization/v2.4.x/site/fr/adminGuide/upgrade_milvus_standalone-docker.md
                                                                                                                    index 7251baedf..f8cb8fe74 100644
                                                                                                                    --- a/localization/v2.4.x/site/fr/adminGuide/upgrade_milvus_standalone-docker.md
                                                                                                                    +++ b/localization/v2.4.x/site/fr/adminGuide/upgrade_milvus_standalone-docker.md
                                                                                                                    @@ -24,7 +24,7 @@ title: Mise à niveau de Milvus Standalone avec Docker Compose
                                                                                                                             >
                                                                                                                           
                                                                                                                         

                                                                                                                    Cette rubrique décrit comment mettre à niveau votre Milvus à l'aide de Docker Compose.

                                                                                                                    -

                                                                                                                    Dans les cas normaux, vous pouvez mettre à niveau Milvus en modifiant son image. Cependant, vous devez migrer les métadonnées avant toute mise à niveau de la version 2.1.x à la version 2.4.15.

                                                                                                                    +

                                                                                                                    Dans les cas normaux, vous pouvez mettre à niveau Milvus en modifiant son image. Cependant, vous devez migrer les métadonnées avant toute mise à niveau de la version 2.1.x à la version 2.4.17.

                                                                                                                    Pour des raisons de sécurité, Milvus met à niveau son MinIO vers RELEASE.2023-03-20T20-16-18Z avec la publication de la v2.2.5. Avant toute mise à niveau à partir des versions précédentes de Milvus Standalone installées à l'aide de Docker Compose, vous devez créer un déploiement MinIO Single-Node Single-Drive et migrer les paramètres et le contenu MinIO existants vers le nouveau déploiement. Pour plus de détails, reportez-vous à ce guide.

                                                                                                                    @@ -49,7 +49,7 @@ title: Mise à niveau de Milvus Standalone avec Docker Compose
                                                                                                                    ...
                                                                                                                     standalone:
                                                                                                                       container_name: milvus-standalone
                                                                                                                    -  image: milvusdb/milvus:v2.4.15
                                                                                                                    +  image: milvusdb/milvus:v2.4.17
                                                                                                                     
                                                                                                                  • Exécutez les commandes suivantes pour effectuer la mise à niveau.

                                                                                                                    docker compose down
                                                                                                                    @@ -83,7 +83,7 @@ cmd:
                                                                                                                       runWithBackup: true
                                                                                                                     config:
                                                                                                                       sourceVersion: 2.1.4   # Specify your milvus version
                                                                                                                    -  targetVersion: 2.4.15
                                                                                                                    +  targetVersion: 2.4.17
                                                                                                                       backupFilePath: /tmp/migration.bak
                                                                                                                     metastore:
                                                                                                                       type: etcd
                                                                                                                    @@ -124,7 +124,7 @@ docker compose up -d
                                                                                                                     
                                                                                                                  • Vous pouvez également apprendre à
                                                                                                                  • -
                                                                                                                  • Si vous êtes prêt à déployer votre cluster sur des nuages :
                                                                                                                      +
                                                                                                                    • Si vous êtes prêt à déployer votre cluster sur des clouds :
                                                                                                                      • Apprendre à déployer Milvus sur Amazon EKS avec Terraform
                                                                                                                      • Apprendre à déployer le cluster Milvus sur GCP avec Kubernetes
                                                                                                                      • Apprendre à déployer Milvus sur Microsoft Azure avec Kubernetes
                                                                                                                      • diff --git a/localization/v2.4.x/site/fr/adminGuide/upgrade_milvus_standalone-helm.json b/localization/v2.4.x/site/fr/adminGuide/upgrade_milvus_standalone-helm.json index 1d2f1b109..bc37b7658 100644 --- a/localization/v2.4.x/site/fr/adminGuide/upgrade_milvus_standalone-helm.json +++ b/localization/v2.4.x/site/fr/adminGuide/upgrade_milvus_standalone-helm.json @@ -1 +1 @@ -{"codeList":["$ helm repo update\n$ helm search repo zilliztech/milvus --versions\n","helm repo add zilliztech https://zilliztech.github.io/milvus-helm\nhelm repo update\n# upgrade existing helm release\nhelm upgrade my-release zilliztech/milvus\n","NAME CHART VERSION APP VERSION DESCRIPTION \nzilliztech/milvus 4.1.34 2.4.5 Milvus is an open-source vector database built ...\nzilliztech/milvus 4.1.33 2.4.4 Milvus is an open-source vector database built ...\nzilliztech/milvus 4.1.32 2.4.3 Milvus is an open-source vector database built ...\nzilliztech/milvus 4.1.31 2.4.1 Milvus is an open-source vector database built ...\nzilliztech/milvus 4.1.30 2.4.1 Milvus is an open-source vector database built ...\nzilliztech/milvus 4.1.29 2.4.0 Milvus is an open-source vector database built ...\nzilliztech/milvus 4.1.24 2.3.11 Milvus is an open-source vector database built ...\nzilliztech/milvus 4.1.23 2.3.10 Milvus is an open-source vector database built ...\nzilliztech/milvus 4.1.22 2.3.10 Milvus is an open-source vector database built ...\nzilliztech/milvus 4.1.21 2.3.10 Milvus is an open-source vector database built ...\nzilliztech/milvus 4.1.20 2.3.10 Milvus is an open-source vector database built ...\nzilliztech/milvus 4.1.18 2.3.10 Milvus is an open-source vector database built ... \nzilliztech/milvus 4.1.18 2.3.9 Milvus is an open-source vector database built ... \nzilliztech/milvus 4.1.17 2.3.8 Milvus is an open-source vector database built ...\nzilliztech/milvus 4.1.16 2.3.7 Milvus is an open-source vector database built ...\nzilliztech/milvus 4.1.15 2.3.5 Milvus is an open-source vector database built ...\nzilliztech/milvus 4.1.14 2.3.6 Milvus is an open-source vector database built ...\nzilliztech/milvus 4.1.13 2.3.5 Milvus is an open-source vector database built ...\nzilliztech/milvus 4.1.12 2.3.5 Milvus is an open-source vector database built ...\nzilliztech/milvus 4.1.11 2.3.4 Milvus is an open-source vector database built ...\nzilliztech/milvus 4.1.10 2.3.3 Milvus is an open-source vector database built ...\nzilliztech/milvus 4.1.9 2.3.3 Milvus is an open-source vector database built ...\nzilliztech/milvus 4.1.8 2.3.2 Milvus is an open-source vector database built ...\nzilliztech/milvus 4.1.7 2.3.2 Milvus is an open-source vector database built ...\nzilliztech/milvus 4.1.6 2.3.1 Milvus is an open-source vector database built ...\nzilliztech/milvus 4.1.5 2.3.1 Milvus is an open-source vector database built ...\nzilliztech/milvus 4.1.4 2.3.1 Milvus is an open-source vector database built ...\nzilliztech/milvus 4.1.3 2.3.1 Milvus is an open-source vector database built ...\nzilliztech/milvus 4.1.2 2.3.1 Milvus is an open-source vector database built ...\nzilliztech/milvus 4.1.1 2.3.0 Milvus is an open-source vector database built ...\nzilliztech/milvus 4.1.0 2.3.0 Milvus is an open-source vector database built ...\n","sh rollingUpdate.sh -n default -i my-release -o update -t 2.4.15 -w 'milvusdb/milvus:v2.4.15'\n","helm repo update\nhelm upgrade my-release milvus/milvus --reuse-values --version=4.1.24 # use the helm chart version here\n","NAME NAMESPACE REVISION UPDATED STATUS CHART APP VERSION \nmy-release default 1 2022-11-21 15:41:25.51539 +0800 CST deployed milvus-3.2.18 2.1.4\n","NAME READY STATUS RESTARTS AGE\nmy-release-etcd-0 1/1 Running 0 84s\nmy-release-milvus-standalone-75c599fffc-6rwlj 1/1 Running 0 84s\nmy-release-minio-744dd9586f-qngzv 1/1 Running 0 84s\n","$ kubectl get pods my-release-milvus-proxy-6c548f787f-scspp -o=jsonpath='{$.spec.containers[0].image}'\n# milvusdb/milvus:v2.1.4\n","./migrate.sh -i my-release -s 2.1.4 -t 2.4.15\n","./migrate.sh -i my-release -n milvus -s 2.1.4 -t 2.4.15\n","./migrate.sh -i my-release -n milvus -s 2.1.4 -t 2.4.15 -r by-dev\n","./migrate.sh -i my-release -n milvus -s 2.1.4 -t 2.4.15 -r by-dev -w milvusdb/milvus:v2.4.15\n","./migrate.sh -i my-release -n milvus -s 2.1.4 -t 2.4.15 -w milvusdb/milvus:v2.4.15 -d true\n","./migrate.sh -i my-release -n milvus -s 2.1.4 -t 2.4.15 -r by-dev -o rollback -w milvusdb/milvus:v2.1.1\n./migrate.sh -i my-release -n milvus -s 2.1.4 -t 2.4.15 -r by-dev -o migrate -w milvusdb/milvus:v2.4.15\n"],"headingContent":"Upgrade Milvus Standalone with Helm Chart","anchorList":[{"label":"Mise à niveau de Milvus Standalone avec les cartes Helm","href":"Upgrade-Milvus-Standalone-with-Helm-Chart","type":1,"isActive":false},{"label":"Vérifier la version de Milvus","href":"Check-the-Milvus-version","type":2,"isActive":false},{"label":"Effectuer une mise à niveau continue","href":"Conduct-a-rolling-upgrade","type":2,"isActive":false},{"label":"Mise à niveau de Milvus à l'aide de Helm","href":"Upgrade-Milvus-using-Helm","type":2,"isActive":false},{"label":"Migrer les métadonnées","href":"Migrate-the-metadata","type":2,"isActive":false}]} \ No newline at end of file +{"codeList":["$ helm repo update\n$ helm search repo zilliztech/milvus --versions\n","helm repo add zilliztech https://zilliztech.github.io/milvus-helm\nhelm repo update zilliztech\n# upgrade existing helm release\nhelm upgrade my-release zilliztech/milvus --reset-then-reuse-values\n","NAME CHART VERSION APP VERSION DESCRIPTION \nzilliztech/milvus 4.1.34 2.4.5 Milvus is an open-source vector database built ...\nzilliztech/milvus 4.1.33 2.4.4 Milvus is an open-source vector database built ...\nzilliztech/milvus 4.1.32 2.4.3 Milvus is an open-source vector database built ...\nzilliztech/milvus 4.1.31 2.4.1 Milvus is an open-source vector database built ...\nzilliztech/milvus 4.1.30 2.4.1 Milvus is an open-source vector database built ...\nzilliztech/milvus 4.1.29 2.4.0 Milvus is an open-source vector database built ...\nzilliztech/milvus 4.1.24 2.3.11 Milvus is an open-source vector database built ...\nzilliztech/milvus 4.1.23 2.3.10 Milvus is an open-source vector database built ...\nzilliztech/milvus 4.1.22 2.3.10 Milvus is an open-source vector database built ...\nzilliztech/milvus 4.1.21 2.3.10 Milvus is an open-source vector database built ...\nzilliztech/milvus 4.1.20 2.3.10 Milvus is an open-source vector database built ...\nzilliztech/milvus 4.1.18 2.3.10 Milvus is an open-source vector database built ... \nzilliztech/milvus 4.1.18 2.3.9 Milvus is an open-source vector database built ... \nzilliztech/milvus 4.1.17 2.3.8 Milvus is an open-source vector database built ...\nzilliztech/milvus 4.1.16 2.3.7 Milvus is an open-source vector database built ...\nzilliztech/milvus 4.1.15 2.3.5 Milvus is an open-source vector database built ...\nzilliztech/milvus 4.1.14 2.3.6 Milvus is an open-source vector database built ...\nzilliztech/milvus 4.1.13 2.3.5 Milvus is an open-source vector database built ...\nzilliztech/milvus 4.1.12 2.3.5 Milvus is an open-source vector database built ...\nzilliztech/milvus 4.1.11 2.3.4 Milvus is an open-source vector database built ...\nzilliztech/milvus 4.1.10 2.3.3 Milvus is an open-source vector database built ...\nzilliztech/milvus 4.1.9 2.3.3 Milvus is an open-source vector database built ...\nzilliztech/milvus 4.1.8 2.3.2 Milvus is an open-source vector database built ...\nzilliztech/milvus 4.1.7 2.3.2 Milvus is an open-source vector database built ...\nzilliztech/milvus 4.1.6 2.3.1 Milvus is an open-source vector database built ...\nzilliztech/milvus 4.1.5 2.3.1 Milvus is an open-source vector database built ...\nzilliztech/milvus 4.1.4 2.3.1 Milvus is an open-source vector database built ...\nzilliztech/milvus 4.1.3 2.3.1 Milvus is an open-source vector database built ...\nzilliztech/milvus 4.1.2 2.3.1 Milvus is an open-source vector database built ...\nzilliztech/milvus 4.1.1 2.3.0 Milvus is an open-source vector database built ...\nzilliztech/milvus 4.1.0 2.3.0 Milvus is an open-source vector database built ...\n","sh rollingUpdate.sh -n default -i my-release -o update -t 2.4.17 -w 'milvusdb/milvus:v2.4.17'\n","helm repo update\nhelm upgrade my-release milvus/milvus --reset-then-reuse-values --version=4.1.24 # use the helm chart version here\n","NAME NAMESPACE REVISION UPDATED STATUS CHART APP VERSION \nmy-release default 1 2022-11-21 15:41:25.51539 +0800 CST deployed milvus-3.2.18 2.1.4\n","NAME READY STATUS RESTARTS AGE\nmy-release-etcd-0 1/1 Running 0 84s\nmy-release-milvus-standalone-75c599fffc-6rwlj 1/1 Running 0 84s\nmy-release-minio-744dd9586f-qngzv 1/1 Running 0 84s\n","$ kubectl get pods my-release-milvus-proxy-6c548f787f-scspp -o=jsonpath='{$.spec.containers[0].image}'\n# milvusdb/milvus:v2.1.4\n","./migrate.sh -i my-release -s 2.1.4 -t 2.4.17\n","./migrate.sh -i my-release -n milvus -s 2.1.4 -t 2.4.17\n","./migrate.sh -i my-release -n milvus -s 2.1.4 -t 2.4.17 -r by-dev\n","./migrate.sh -i my-release -n milvus -s 2.1.4 -t 2.4.17 -r by-dev -w milvusdb/milvus:v2.4.17\n","./migrate.sh -i my-release -n milvus -s 2.1.4 -t 2.4.17 -w milvusdb/milvus:v2.4.17 -d true\n","./migrate.sh -i my-release -n milvus -s 2.1.4 -t 2.4.17 -r by-dev -o rollback -w milvusdb/milvus:v2.1.1\n./migrate.sh -i my-release -n milvus -s 2.1.4 -t 2.4.17 -r by-dev -o migrate -w milvusdb/milvus:v2.4.17\n"],"headingContent":"Upgrade Milvus Standalone with Helm Chart","anchorList":[{"label":"Mise à niveau de Milvus Standalone avec la carte Helm","href":"Upgrade-Milvus-Standalone-with-Helm-Chart","type":1,"isActive":false},{"label":"Conditions préalables","href":"Prerequisites","type":2,"isActive":false},{"label":"Vérifier la version de Milvus","href":"Check-the-Milvus-version","type":2,"isActive":false},{"label":"Effectuer une mise à niveau continue","href":"Conduct-a-rolling-upgrade","type":2,"isActive":false},{"label":"Mise à niveau de Milvus à l'aide de Helm","href":"Upgrade-Milvus-using-Helm","type":2,"isActive":false},{"label":"Migrer les métadonnées","href":"Migrate-the-metadata","type":2,"isActive":false}]} \ No newline at end of file diff --git a/localization/v2.4.x/site/fr/adminGuide/upgrade_milvus_standalone-helm.md b/localization/v2.4.x/site/fr/adminGuide/upgrade_milvus_standalone-helm.md index 52047ee53..e4643b08f 100644 --- a/localization/v2.4.x/site/fr/adminGuide/upgrade_milvus_standalone-helm.md +++ b/localization/v2.4.x/site/fr/adminGuide/upgrade_milvus_standalone-helm.md @@ -5,10 +5,10 @@ order: 1 group: upgrade_milvus_standalone-operator.md related_key: upgrade Milvus Standalone summary: Découvrez comment mettre à jour Milvus standalone avec Helm Chart. -title: Mise à niveau de Milvus Standalone avec les cartes Helm +title: Mise à niveau de Milvus Standalone avec la carte Helm --- -

                                                                                                                        Mise à niveau de Milvus Standalone avec les cartes Helm

                                                                                                                        Ce guide décrit comment mettre à niveau votre Milvus autonome avec les cartes Milvus Helm.

                                                                                                                        +

                                                                                                                        Conditions préalables

                                                                                                                          +
                                                                                                                        • Version de Helm >= 3.14.0
                                                                                                                        • +
                                                                                                                        • Version de Kubernetes >= 1.20.0
                                                                                                                        • +
                                                                                                                        +
                                                                                                                        +

                                                                                                                        Depuis la version 4.2.21 de la carte Milvus-Helm, nous avons introduit la carte pulsar-v3.x comme dépendance. Pour une compatibilité ascendante, veuillez mettre à jour votre helm vers la version 3.14 ou une version plus récente, et assurez-vous d'ajouter l'option --reset-then-reuse-values chaque fois que vous utilisez helm upgrade.

                                                                                                                        +

                                                                                                                        Vérifier la version de Milvus

                                                                                                                  • Le répertoire archivé est toujours disponible pour les cartes jusqu'à la version 4.0.31. Pour les versions ultérieures, utilisez plutôt le nouveau repo.

                                                                                                                    @@ -86,10 +108,10 @@ zilliztech/milvus 4.1.1 2.3.0 Milvus is an ope zilliztech/milvus 4.1.0 2.3.0 Milvus is an open-source vector database built ...
                                                                                                                  • Vous pouvez choisir le chemin de mise à niveau pour votre Milvus comme suit :

                                                                                                                    -
                                                                                                                    - [Effectuer une mise à niveau continue](#conduct-a-rolling-upgrade) de Milvus v2.2.3 et versions ultérieures vers v2.4.15.
                                                                                                                    +
                                                                                                                    - [Effectuer une mise à niveau continue](#conduct-a-rolling-upgrade) de Milvus v2.2.3 et versions ultérieures vers v2.4.17.

                                                                                                                    Effectuer une mise à niveau continue

                                                                                                                      @@ -152,7 +174,7 @@ zilliztech/milvus 4.1.0 2.3.0 Milvus is an ope

                                                                                                                      Pour mettre à niveau Milvus à partir d'une version mineure antérieure à la v2.2.3 vers la dernière version, exécutez les commandes suivantes :

                                                                                                                      helm repo update
                                                                                                                      -helm upgrade my-release milvus/milvus --reuse-values --version=4.1.24 # use the helm chart version here
                                                                                                                      +helm upgrade my-release milvus/milvus --reset-then-reuse-values --version=4.1.24 # use the helm chart version here
                                                                                                                       

                                                                                                                      Utilisez la version du diagramme Helm dans la commande précédente. Pour plus d'informations sur la manière d'obtenir la version du tableau Helm, reportez-vous à la section Vérifier la version de Milvus.

                                                                                                                      Migrer les métadonnées

                                                                                                                    -

                                                                                                                    2. Mise à niveau de Milvus de la version 2.1.x à la version 2.4.15

                                                                                                                    Les commandes suivantes supposent que vous mettez à niveau Milvus de la version 2.1.4 à la version 2.4.15. Modifiez-les pour obtenir les versions qui répondent à vos besoins.

                                                                                                                    +

                                                                                                                    2. Mise à niveau de Milvus de la version 2.1.x à la version 2.4.17

                                                                                                                    Les commandes suivantes supposent que vous mettez à niveau Milvus de la version 2.1.4 à la version 2.4.17. Modifiez-les pour obtenir les versions qui répondent à vos besoins.

                                                                                                                    1. Spécifiez le nom de l'instance Milvus, la version source de Milvus et la version cible de Milvus.

                                                                                                                      -
                                                                                                                      ./migrate.sh -i my-release -s 2.1.4 -t 2.4.15
                                                                                                                      +
                                                                                                                      ./migrate.sh -i my-release -s 2.1.4 -t 2.4.17
                                                                                                                       
                                                                                                                    2. Spécifiez l'espace de noms avec -n si votre Milvus n'est pas installé dans l'espace de noms K8s par défaut.

                                                                                                                      -
                                                                                                                      ./migrate.sh -i my-release -n milvus -s 2.1.4 -t 2.4.15
                                                                                                                      +
                                                                                                                      ./migrate.sh -i my-release -n milvus -s 2.1.4 -t 2.4.17
                                                                                                                       
                                                                                                                    3. Spécifiez le chemin d'accès à la racine avec -r si votre Milvus est installé avec le chemin d'accès personnalisé rootpath.

                                                                                                                      -
                                                                                                                      ./migrate.sh -i my-release -n milvus -s 2.1.4 -t 2.4.15 -r by-dev
                                                                                                                      +
                                                                                                                      ./migrate.sh -i my-release -n milvus -s 2.1.4 -t 2.4.17 -r by-dev
                                                                                                                       
                                                                                                                    4. Spécifier la balise d'image avec -w si votre Milvus est installé avec une balise personnalisée image.

                                                                                                                      -
                                                                                                                      ./migrate.sh -i my-release -n milvus -s 2.1.4 -t 2.4.15 -r by-dev -w milvusdb/milvus:v2.4.15
                                                                                                                      +
                                                                                                                      ./migrate.sh -i my-release -n milvus -s 2.1.4 -t 2.4.17 -r by-dev -w milvusdb/milvus:v2.4.17
                                                                                                                       
                                                                                                                    5. Définissez -d true si vous souhaitez supprimer automatiquement le pod de migration une fois la migration terminée.

                                                                                                                      -
                                                                                                                      ./migrate.sh -i my-release -n milvus -s 2.1.4 -t 2.4.15 -w milvusdb/milvus:v2.4.15 -d true
                                                                                                                      +
                                                                                                                      ./migrate.sh -i my-release -n milvus -s 2.1.4 -t 2.4.17 -w milvusdb/milvus:v2.4.17 -d true
                                                                                                                       
                                                                                                                    6. Revenir en arrière et migrer à nouveau si la migration échoue.

                                                                                                                      -
                                                                                                                      ./migrate.sh -i my-release -n milvus -s 2.1.4 -t 2.4.15 -r by-dev -o rollback -w milvusdb/milvus:v2.1.1
                                                                                                                      -./migrate.sh -i my-release -n milvus -s 2.1.4 -t 2.4.15 -r by-dev -o migrate -w milvusdb/milvus:v2.4.15
                                                                                                                      +
                                                                                                                      ./migrate.sh -i my-release -n milvus -s 2.1.4 -t 2.4.17 -r by-dev -o rollback -w milvusdb/milvus:v2.1.1
                                                                                                                      +./migrate.sh -i my-release -n milvus -s 2.1.4 -t 2.4.17 -r by-dev -o migrate -w milvusdb/milvus:v2.4.17
                                                                                                                       
                                                                                                                    diff --git a/localization/v2.4.x/site/fr/adminGuide/upgrade_milvus_standalone-operator.json b/localization/v2.4.x/site/fr/adminGuide/upgrade_milvus_standalone-operator.json index 603c234c8..dfe4f7e1d 100644 --- a/localization/v2.4.x/site/fr/adminGuide/upgrade_milvus_standalone-operator.json +++ b/localization/v2.4.x/site/fr/adminGuide/upgrade_milvus_standalone-operator.json @@ -1 +1 @@ -{"codeList":["helm repo add zilliztech-milvus-operator https://zilliztech.github.io/milvus-operator/\nhelm repo update zilliztech-milvus-operator\nhelm -n milvus-operator upgrade milvus-operator zilliztech-milvus-operator/milvus-operator\n","apiVersion: milvus.io/v1beta1\nkind: Milvus\nmetadata:\n name: my-release\nspec:\n components:\n enableRollingUpdate: true\n imageUpdateMode: rollingUpgrade # Default value, can be omitted\n image: milvusdb/milvus:v2.4.15\n","apiVersion: milvus.io/v1beta1\nkind: Milvus\nmetadata:\n name: my-release\nspec:\n components:\n enableRollingUpdate: true\n imageUpdateMode: all\n image: milvusdb/milvus:v2.4.15\n","apiVersion: milvus.io/v1beta1\nkind: Milvus\nmetadata:\n name: my-release\nspec:\n components:\n enableRollingUpdate: true\n imageUpdateMode: rollingDowngrade\n image: milvusdb/milvus:\n","kubectl apply -f milvusupgrade.yml\n","apiVersion: milvus.io/v1beta1\nkind: Milvus\nmetadata:\n name: my-release\nlabels:\n app: milvus\nspec:\n # Omit other fields ...\n components:\n image: milvusdb/milvus:v2.4.15\n","kubectl apply -f milvusupgrade.yaml\n","apiVersion: milvus.io/v1beta1\nkind: MilvusUpgrade\nmetadata:\n name: my-release-upgrade\nspec:\n milvus:\n namespace: default\n name: my-release\n sourceVersion: \"v2.1.4\"\n targetVersion: \"v2.4.15\"\n # below are some omit default values:\n # targetImage: \"milvusdb/milvus:v2.4.15\"\n # toolImage: \"milvusdb/meta-migration:v2.2.0\"\n # operation: upgrade\n # rollbackIfFailed: true\n # backupPVC: \"\"\n # maxRetry: 3\n","$ kubectl apply -f https://raw.githubusercontent.com/zilliztech/milvus-operator/main/config/samples/milvusupgrade.yaml\n","kubectl describe milvus release-name\n"],"headingContent":"Upgrade Milvus Standalone with Milvus Operator","anchorList":[{"label":"Mise à niveau de Milvus Standalone avec Milvus Operator","href":"Upgrade-Milvus-Standalone-with-Milvus-Operator","type":1,"isActive":false},{"label":"Mise à niveau de l'opérateur Milvus","href":"Upgrade-your-Milvus-operator","type":2,"isActive":false},{"label":"Effectuer une mise à niveau continue","href":"Conduct-a-rolling-upgrade","type":2,"isActive":false},{"label":"Mettre à niveau Milvus en changeant son image","href":"Upgrade-Milvus-by-changing-its-image","type":2,"isActive":false},{"label":"Migrer les métadonnées","href":"Migrate-the-metadata","type":2,"isActive":false}]} \ No newline at end of file +{"codeList":["helm repo add zilliztech-milvus-operator https://zilliztech.github.io/milvus-operator/\nhelm repo update zilliztech-milvus-operator\nhelm -n milvus-operator upgrade milvus-operator zilliztech-milvus-operator/milvus-operator\n","apiVersion: milvus.io/v1beta1\nkind: Milvus\nmetadata:\n name: my-release\nspec:\n components:\n enableRollingUpdate: true\n imageUpdateMode: rollingUpgrade # Default value, can be omitted\n image: milvusdb/milvus:v2.4.17\n","apiVersion: milvus.io/v1beta1\nkind: Milvus\nmetadata:\n name: my-release\nspec:\n components:\n enableRollingUpdate: true\n imageUpdateMode: all\n image: milvusdb/milvus:v2.4.17\n","apiVersion: milvus.io/v1beta1\nkind: Milvus\nmetadata:\n name: my-release\nspec:\n components:\n enableRollingUpdate: true\n imageUpdateMode: rollingDowngrade\n image: milvusdb/milvus:\n","kubectl patch -f milvusupgrade.yml\n","apiVersion: milvus.io/v1beta1\nkind: Milvus\nmetadata:\n name: my-release\nlabels:\n app: milvus\nspec:\n # Omit other fields ...\n components:\n image: milvusdb/milvus:v2.4.17\n","kubectl patch -f milvusupgrade.yaml\n","apiVersion: milvus.io/v1beta1\nkind: MilvusUpgrade\nmetadata:\n name: my-release-upgrade\nspec:\n milvus:\n namespace: default\n name: my-release\n sourceVersion: \"v2.1.4\"\n targetVersion: \"v2.4.17\"\n # below are some omit default values:\n # targetImage: \"milvusdb/milvus:v2.4.17\"\n # toolImage: \"milvusdb/meta-migration:v2.2.0\"\n # operation: upgrade\n # rollbackIfFailed: true\n # backupPVC: \"\"\n # maxRetry: 3\n","$ kubectl create -f https://raw.githubusercontent.com/zilliztech/milvus-operator/main/config/samples/milvusupgrade.yaml\n","kubectl describe milvus release-name\n"],"headingContent":"Upgrade Milvus Standalone with Milvus Operator","anchorList":[{"label":"Mise à niveau de Milvus Standalone avec Milvus Operator","href":"Upgrade-Milvus-Standalone-with-Milvus-Operator","type":1,"isActive":false},{"label":"Mise à niveau de l'opérateur Milvus","href":"Upgrade-your-Milvus-operator","type":2,"isActive":false},{"label":"Effectuer une mise à niveau continue","href":"Conduct-a-rolling-upgrade","type":2,"isActive":false},{"label":"Mettre à niveau Milvus en changeant son image","href":"Upgrade-Milvus-by-changing-its-image","type":2,"isActive":false},{"label":"Migrer les métadonnées","href":"Migrate-the-metadata","type":2,"isActive":false}]} \ No newline at end of file diff --git a/localization/v2.4.x/site/fr/adminGuide/upgrade_milvus_standalone-operator.md b/localization/v2.4.x/site/fr/adminGuide/upgrade_milvus_standalone-operator.md index f5845a6c1..f3b09b60a 100644 --- a/localization/v2.4.x/site/fr/adminGuide/upgrade_milvus_standalone-operator.md +++ b/localization/v2.4.x/site/fr/adminGuide/upgrade_milvus_standalone-operator.md @@ -46,9 +46,9 @@ helm -n milvus-operator upgrade milvus-

                                                                                                                    Une fois que vous avez mis à niveau votre opérateur Milvus vers la dernière version, vous avez le choix entre les options suivantes :

                                                                                                                    Effectuer une mise à niveau continue

                                                                                                                    Dans le fichier de configuration ci-dessus, définissez spec.components.enableRollingUpdate comme true et spec.components.image comme la version souhaitée de Milvus.

                                                                                                                    Par défaut, Milvus effectue une mise à niveau continue pour les coordinateurs de manière ordonnée, en remplaçant les images des pods des coordinateurs l'une après l'autre. Pour réduire le temps de mise à niveau, envisagez de définir spec.components.imageUpdateMode sur all afin que Milvus remplace toutes les images de pods en même temps.

                                                                                                                    @@ -88,7 +88,7 @@ spec: components: enableRollingUpdate: true imageUpdateMode: all - image: milvusdb/milvus:v2.4.15 + image: milvusdb/milvus:v2.4.17

                                                                                                                    Vous pouvez définir spec.components.imageUpdateMode sur rollingDowngrade pour que Milvus remplace les images de pods coordinateurs par une version inférieure.

                                                                                                                    apiVersion: milvus.io/v1beta1
                                                                                                                    @@ -101,8 +101,8 @@ spec:
                                                                                                                         imageUpdateMode: rollingDowngrade
                                                                                                                         image: milvusdb/milvus:<some-older-version>
                                                                                                                     
                                                                                                                    -

                                                                                                                    Enregistrez ensuite votre configuration dans un fichier YAML (par exemple, milvusupgrade.yml) et appliquez ce fichier de configuration à votre instance Milvus comme suit :

                                                                                                                    -
                                                                                                                    kubectl apply -f milvusupgrade.yml
                                                                                                                    +

                                                                                                                    Enregistrez ensuite votre configuration sous forme de fichier YAML (par exemple, milvusupgrade.yml) et patchez ce fichier de configuration sur votre instance Milvus comme suit :

                                                                                                                    +
                                                                                                                    kubectl patch -f milvusupgrade.yml
                                                                                                                     

                                                                                                                    Mettre à niveau Milvus en changeant son image

                                                                                                                    Exécutez ensuite ce qui suit pour effectuer la mise à niveau :

                                                                                                                    -
                                                                                                                    kubectl apply -f milvusupgrade.yaml
                                                                                                                    +
                                                                                                                    kubectl patch -f milvusupgrade.yaml
                                                                                                                     

                                                                                                                    Migrer les métadonnées

                                                                                                                    Depuis Milvus 2.2.0, les métadonnées sont incompatibles avec celles des versions précédentes. Les exemples suivants supposent une mise à niveau de Milvus 2.1.4 vers Milvus v2.4.15.

                                                                                                                    -

                                                                                                                    1. Création d'un fichier .yaml pour la migration des métadonnées

                                                                                                                    Créer un fichier de migration des métadonnées. Voici un exemple. Vous devez spécifier les fichiers name, sourceVersion, et targetVersion dans le fichier de configuration. L'exemple suivant définit name en my-release-upgrade, sourceVersion en v2.1.4, et targetVersion en v2.4.15. Cela signifie que votre instance Milvus sera mise à niveau de la v2.1.4 à la v2.4.15.

                                                                                                                    +

                                                                                                                    Depuis Milvus 2.2.0, les métadonnées sont incompatibles avec celles des versions précédentes. Les exemples suivants supposent une mise à niveau de Milvus 2.1.4 vers Milvus v2.4.17.

                                                                                                                    +

                                                                                                                    1. Création d'un fichier .yaml pour la migration des métadonnées

                                                                                                                    Créer un fichier de migration des métadonnées. Voici un exemple. Vous devez spécifier les fichiers name, sourceVersion, et targetVersion dans le fichier de configuration. L'exemple suivant définit name en my-release-upgrade, sourceVersion en v2.1.4, et targetVersion en v2.4.17. Cela signifie que votre instance Milvus sera mise à niveau de la v2.1.4 à la v2.4.17.

                                                                                                                    apiVersion: milvus.io/v1beta1
                                                                                                                     kind: MilvusUpgrade
                                                                                                                     metadata:
                                                                                                                    @@ -161,9 +161,9 @@ spec:
                                                                                                                         namespace: default
                                                                                                                         name: my-release
                                                                                                                       sourceVersion: "v2.1.4"
                                                                                                                    -  targetVersion: "v2.4.15"
                                                                                                                    +  targetVersion: "v2.4.17"
                                                                                                                       # below are some omit default values:
                                                                                                                    -  # targetImage: "milvusdb/milvus:v2.4.15"
                                                                                                                    +  # targetImage: "milvusdb/milvus:v2.4.17"
                                                                                                                       # toolImage: "milvusdb/meta-migration:v2.2.0"
                                                                                                                       # operation: upgrade
                                                                                                                       # rollbackIfFailed: true
                                                                                                                    @@ -171,7 +171,7 @@ spec:
                                                                                                                       # maxRetry: 3
                                                                                                                     

                                                                                                                    2. Appliquer la nouvelle configuration

                                                                                                                    Exécutez la commande suivante pour appliquer la nouvelle configuration.

                                                                                                                    -
                                                                                                                    $ kubectl apply -f https://raw.githubusercontent.com/zilliztech/milvus-operator/main/config/samples/milvusupgrade.yaml
                                                                                                                    +
                                                                                                                    $ kubectl create -f https://raw.githubusercontent.com/zilliztech/milvus-operator/main/config/samples/milvusupgrade.yaml
                                                                                                                     

                                                                                                                    3. Vérifier l'état de la migration des métadonnées

                                                                                                                    Exécutez la commande suivante pour vérifier l'état de la migration des métadonnées.

                                                                                                                    kubectl describe milvus release-name
                                                                                                                    diff --git a/localization/v2.4.x/site/fr/getstarted/run-milvus-docker/install_standalone-docker-compose.json b/localization/v2.4.x/site/fr/getstarted/run-milvus-docker/install_standalone-docker-compose.json
                                                                                                                    index feb6b8d37..41f77be74 100644
                                                                                                                    --- a/localization/v2.4.x/site/fr/getstarted/run-milvus-docker/install_standalone-docker-compose.json
                                                                                                                    +++ b/localization/v2.4.x/site/fr/getstarted/run-milvus-docker/install_standalone-docker-compose.json
                                                                                                                    @@ -1 +1 @@
                                                                                                                    -{"codeList":["# Download the configuration file\n$ wget https://github.com/milvus-io/milvus/releases/download/v2.4.15/milvus-standalone-docker-compose.yml -O docker-compose.yml\n\n# Start Milvus\n$ sudo docker-compose up -d\n\nCreating milvus-etcd  ... done\nCreating milvus-minio ... done\nCreating milvus-standalone ... done\n","$ sudo docker-compose ps\n\n      Name                     Command                  State                            Ports\n--------------------------------------------------------------------------------------------------------------------\nmilvus-etcd         etcd -advertise-client-url ...   Up             2379/tcp, 2380/tcp\nmilvus-minio        /usr/bin/docker-entrypoint ...   Up (healthy)   9000/tcp\nmilvus-standalone   /tini -- milvus run standalone   Up             0.0.0.0:19530->19530/tcp, 0.0.0.0:9091->9091/tcp\n","# Stop Milvus\n$ sudo docker-compose down\n\n# Delete service data\n$ sudo rm -rf volumes\n"],"headingContent":"Run Milvus with Docker Compose","anchorList":[{"label":"Exécuter Milvus avec Docker Compose","href":"Run-Milvus-with-Docker-Compose","type":1,"isActive":false},{"label":"Conditions préalables","href":"Prerequisites","type":2,"isActive":false},{"label":"Installer Milvus","href":"Install-Milvus","type":2,"isActive":false},{"label":"Prochaines étapes","href":"Whats-next","type":2,"isActive":false}]}
                                                                                                                    \ No newline at end of file
                                                                                                                    +{"codeList":["# Download the configuration file\n$ wget https://github.com/milvus-io/milvus/releases/download/v2.4.17/milvus-standalone-docker-compose.yml -O docker-compose.yml\n\n# Start Milvus\n$ sudo docker-compose up -d\n\nCreating milvus-etcd  ... done\nCreating milvus-minio ... done\nCreating milvus-standalone ... done\n","$ sudo docker-compose ps\n\n      Name                     Command                  State                            Ports\n--------------------------------------------------------------------------------------------------------------------\nmilvus-etcd         etcd -advertise-client-url ...   Up             2379/tcp, 2380/tcp\nmilvus-minio        /usr/bin/docker-entrypoint ...   Up (healthy)   9000/tcp\nmilvus-standalone   /tini -- milvus run standalone   Up             0.0.0.0:19530->19530/tcp, 0.0.0.0:9091->9091/tcp\n","# Stop Milvus\n$ sudo docker-compose down\n\n# Delete service data\n$ sudo rm -rf volumes\n"],"headingContent":"Run Milvus with Docker Compose","anchorList":[{"label":"Exécuter Milvus avec Docker Compose","href":"Run-Milvus-with-Docker-Compose","type":1,"isActive":false},{"label":"Conditions préalables","href":"Prerequisites","type":2,"isActive":false},{"label":"Installer Milvus","href":"Install-Milvus","type":2,"isActive":false},{"label":"Prochaines étapes","href":"Whats-next","type":2,"isActive":false}]}
                                                                                                                    \ No newline at end of file
                                                                                                                    diff --git a/localization/v2.4.x/site/fr/getstarted/run-milvus-docker/install_standalone-docker-compose.md b/localization/v2.4.x/site/fr/getstarted/run-milvus-docker/install_standalone-docker-compose.md
                                                                                                                    index a0e9c6d9d..0f3d9038c 100644
                                                                                                                    --- a/localization/v2.4.x/site/fr/getstarted/run-milvus-docker/install_standalone-docker-compose.md
                                                                                                                    +++ b/localization/v2.4.x/site/fr/getstarted/run-milvus-docker/install_standalone-docker-compose.md
                                                                                                                    @@ -57,7 +57,7 @@ title: Exécuter Milvus avec Docker Compose
                                                                                                                           
                                                                                                                         

                                                                                                                    Milvus fournit un fichier de configuration Docker Compose dans le référentiel Milvus. Pour installer Milvus à l'aide de Docker Compose, il suffit d'exécuter la commande suivante

                                                                                                                    # Download the configuration file
                                                                                                                    -$ wget https://github.com/milvus-io/milvus/releases/download/v2.4.15/milvus-standalone-docker-compose.yml -O docker-compose.yml
                                                                                                                    +$ wget https://github.com/milvus-io/milvus/releases/download/v2.4.17/milvus-standalone-docker-compose.yml -O docker-compose.yml
                                                                                                                     
                                                                                                                     # Start Milvus
                                                                                                                     $ sudo docker-compose up -d
                                                                                                                    @@ -76,7 +76,7 @@ Creating milvus-standalone ... done
                                                                                                                     
                                                                                                                    • Les conteneurs milvus-standalone, milvus-minio et milvus-etcd sont en place.
                                                                                                                      • Le conteneur milvus-etcd n'expose aucun port à l'hôte et mappe ses données sur les volumes/etcd dans le dossier actuel.
                                                                                                                      • -
                                                                                                                      • Le conteneur milvus-minio dessert les ports 9090 et 9091 localement avec les informations d'authentification par défaut et mappe ses données sur volumes/minio dans le dossier actuel.
                                                                                                                      • +
                                                                                                                      • Le conteneur milvus-minio dessert les ports 9090 et 9091 localement avec les informations d'authentification par défaut et affecte ses données aux volumes/minio dans le dossier actuel.
                                                                                                                      • Le conteneur milvus-standalone dessert les ports 19530 localement avec les paramètres par défaut et mappe ses données sur volumes/milvus dans le dossier actuel.
                                                                                                                    diff --git a/localization/v2.4.x/site/fr/getstarted/run-milvus-gpu/install_standalone-docker-compose-gpu.json b/localization/v2.4.x/site/fr/getstarted/run-milvus-gpu/install_standalone-docker-compose-gpu.json index 280eeaee3..a52890a4c 100644 --- a/localization/v2.4.x/site/fr/getstarted/run-milvus-gpu/install_standalone-docker-compose-gpu.json +++ b/localization/v2.4.x/site/fr/getstarted/run-milvus-gpu/install_standalone-docker-compose-gpu.json @@ -1 +1 @@ -{"codeList":["$ wget https://github.com/milvus-io/milvus/releases/download/v2.4.15/milvus-standalone-docker-compose-gpu.yml -O docker-compose.yml\n","...\nstandalone:\n ...\n deploy:\n resources:\n reservations:\n devices:\n - driver: nvidia\n capabilities: [\"gpu\"]\n device_ids: [\"0\"]\n...\n","...\nstandalone:\n ...\n deploy:\n resources:\n reservations:\n devices:\n - driver: nvidia\n capabilities: [\"gpu\"]\n device_ids: ['0', '1']\n...\n","$ sudo docker compose up -d\n\nCreating milvus-etcd ... done\nCreating milvus-minio ... done\nCreating milvus-standalone ... done\n","$ sudo docker compose ps\n\n Name Command State Ports\n--------------------------------------------------------------------------------------------------------------------\nmilvus-etcd etcd -advertise-client-url ... Up 2379/tcp, 2380/tcp\nmilvus-minio /usr/bin/docker-entrypoint ... Up (healthy) 9000/tcp\nmilvus-standalone /tini -- milvus run standalone Up 0.0.0.0:19530->19530/tcp, 0.0.0.0:9091->9091/tcp\n","$ CUDA_VISIBLE_DEVICES=0 ./milvus run standalone\n","$ CUDA_VISIBLE_DEVICES=0,1 ./milvus run standalone\n","# Stop Milvus\n$ sudo docker compose down\n\n# Delete service data\n$ sudo rm -rf volumes\n","docker cp :/milvus/configs/milvus.yaml milvus.yaml\n","vim milvus.yaml\n","...\ngpu:\n initMemSize: 0\n maxMemSize: 0\n...\n","docker cp milvus.yaml :/milvus/configs/milvus.yaml\n","docker stop \ndocker start \n"],"headingContent":"Run Milvus with GPU Support Using Docker Compose","anchorList":[{"label":"Exécution de Milvus avec prise en charge du GPU à l'aide de Docker Compose","href":"Run-Milvus-with-GPU-Support-Using-Docker-Compose","type":1,"isActive":false},{"label":"Conditions préalables","href":"Prerequisites","type":2,"isActive":false},{"label":"Installer Milvus","href":"Install-Milvus","type":2,"isActive":false},{"label":"Configuration du pool de mémoire","href":"Configure-memory-pool","type":2,"isActive":false},{"label":"Prochaines étapes","href":"Whats-next","type":2,"isActive":false}]} \ No newline at end of file +{"codeList":["$ wget https://github.com/milvus-io/milvus/releases/download/v2.4.17/milvus-standalone-docker-compose-gpu.yml -O docker-compose.yml\n","...\nstandalone:\n ...\n deploy:\n resources:\n reservations:\n devices:\n - driver: nvidia\n capabilities: [\"gpu\"]\n device_ids: [\"0\"]\n...\n","...\nstandalone:\n ...\n deploy:\n resources:\n reservations:\n devices:\n - driver: nvidia\n capabilities: [\"gpu\"]\n device_ids: ['0', '1']\n...\n","$ sudo docker compose up -d\n\nCreating milvus-etcd ... done\nCreating milvus-minio ... done\nCreating milvus-standalone ... done\n","$ sudo docker compose ps\n\n Name Command State Ports\n--------------------------------------------------------------------------------------------------------------------\nmilvus-etcd etcd -advertise-client-url ... Up 2379/tcp, 2380/tcp\nmilvus-minio /usr/bin/docker-entrypoint ... Up (healthy) 9000/tcp\nmilvus-standalone /tini -- milvus run standalone Up 0.0.0.0:19530->19530/tcp, 0.0.0.0:9091->9091/tcp\n","$ CUDA_VISIBLE_DEVICES=0 ./milvus run standalone\n","$ CUDA_VISIBLE_DEVICES=0,1 ./milvus run standalone\n","# Stop Milvus\n$ sudo docker compose down\n\n# Delete service data\n$ sudo rm -rf volumes\n","docker cp :/milvus/configs/milvus.yaml milvus.yaml\n","vim milvus.yaml\n","...\ngpu:\n initMemSize: 0\n maxMemSize: 0\n...\n","docker cp milvus.yaml :/milvus/configs/milvus.yaml\n","docker stop \ndocker start \n"],"headingContent":"Run Milvus with GPU Support Using Docker Compose","anchorList":[{"label":"Exécution de Milvus avec prise en charge du GPU à l'aide de Docker Compose","href":"Run-Milvus-with-GPU-Support-Using-Docker-Compose","type":1,"isActive":false},{"label":"Conditions préalables","href":"Prerequisites","type":2,"isActive":false},{"label":"Installer Milvus","href":"Install-Milvus","type":2,"isActive":false},{"label":"Configuration du pool de mémoire","href":"Configure-memory-pool","type":2,"isActive":false},{"label":"Prochaines étapes","href":"Whats-next","type":2,"isActive":false}]} \ No newline at end of file diff --git a/localization/v2.4.x/site/fr/getstarted/run-milvus-gpu/install_standalone-docker-compose-gpu.md b/localization/v2.4.x/site/fr/getstarted/run-milvus-gpu/install_standalone-docker-compose-gpu.md index 2861b282a..89e1867b3 100644 --- a/localization/v2.4.x/site/fr/getstarted/run-milvus-gpu/install_standalone-docker-compose-gpu.md +++ b/localization/v2.4.x/site/fr/getstarted/run-milvus-gpu/install_standalone-docker-compose-gpu.md @@ -59,8 +59,8 @@ title: Exécution de Milvus avec prise en charge du GPU à l'aide de Docker Comp >

                                                                                                                    Pour installer Milvus avec prise en charge du GPU à l'aide de Docker Compose, procédez comme suit.

                                                                                                                    -

                                                                                                                    1. Téléchargez et configurez le fichier YAML

                                                                                                                    Télécharger milvus-standalone-docker-compose-gpu.yml et enregistrez-le sous docker-compose.yml manuellement ou à l'aide de la commande suivante.

                                                                                                                    -
                                                                                                                    $ wget https://github.com/milvus-io/milvus/releases/download/v2.4.15/milvus-standalone-docker-compose-gpu.yml -O docker-compose.yml
                                                                                                                    +

                                                                                                                    1. Téléchargez et configurez le fichier YAML

                                                                                                                    Télécharger milvus-standalone-docker-compose-gpu.yml et enregistrez-le sous docker-compose.yml manuellement ou à l'aide de la commande suivante.

                                                                                                                    +
                                                                                                                    $ wget https://github.com/milvus-io/milvus/releases/download/v2.4.17/milvus-standalone-docker-compose-gpu.yml -O docker-compose.yml
                                                                                                                     

                                                                                                                    Vous devez apporter quelques modifications aux variables d'environnement du service autonome dans le fichier YAML, comme suit :

                                                                                                                      @@ -119,11 +119,11 @@ milvus-etcd etcd -advertise-client-url ... Up 2379/tcp, 23 milvus-minio /usr/bin/docker-entrypoint ... Up (healthy) 9000/tcp milvus-standalone /tini -- milvus run standalone Up 0.0.0.0:19530->19530/tcp, 0.0.0.0:9091->9091/tcp
                                                                                                                    -

                                                                                                                    Si vous avez affecté plusieurs périphériques GPU à Milvus dans docker-compose.yml, vous pouvez spécifier quel périphérique GPU est visible ou disponible pour l'utilisation.

                                                                                                                    +

                                                                                                                    Si vous avez affecté plusieurs périphériques GPU à Milvus dans docker-compose.yml, vous pouvez spécifier quel périphérique GPU est visible ou disponible pour utilisation.

                                                                                                                    Rendez le dispositif GPU 0 visible pour Milvus :

                                                                                                                    $ CUDA_VISIBLE_DEVICES=0 ./milvus run standalone
                                                                                                                     
                                                                                                                    -

                                                                                                                    Rendre les périphériques GPU 0 et 1 visibles par Milvus :

                                                                                                                    +

                                                                                                                    Rendre les dispositifs GPU 0 et 1 visibles par Milvus :

                                                                                                                    $ CUDA_VISIBLE_DEVICES=0,1 ./milvus run standalone
                                                                                                                     

                                                                                                                    Vous pouvez arrêter et supprimer ce conteneur comme suit.

                                                                                                                    diff --git a/localization/v2.4.x/site/fr/menuStructure/fr.json b/localization/v2.4.x/site/fr/menuStructure/fr.json index 03f015122..43fbfcaa5 100644 --- a/localization/v2.4.x/site/fr/menuStructure/fr.json +++ b/localization/v2.4.x/site/fr/menuStructure/fr.json @@ -1433,7 +1433,7 @@ "children": [] }, { - "label": "PrivéGPT", + "label": "PrivateGPT", "id": "use_milvus_in_private_gpt.md", "order": 8, "children": [] diff --git a/localization/v2.4.x/site/fr/reference/index.md b/localization/v2.4.x/site/fr/reference/index.md index 16bbd8906..b5ee564e0 100644 --- a/localization/v2.4.x/site/fr/reference/index.md +++ b/localization/v2.4.x/site/fr/reference/index.md @@ -56,11 +56,11 @@ Actuellement, un champ vectoriel ne prend en charge qu'un seul type d'index. Mil d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z" > -

                                                                                                                    Milvus prend en charge différents types d'index, qui sont classés en fonction du type d'intégration qu'ils gèrent : flottant, binaire et clairsemé.

                                                                                                                    +

                                                                                                                    Milvus prend en charge différents types d'index, classés en fonction du type d'intégration vectorielle qu'ils traitent : intégrations à virgule flottante (également appelées vecteurs à virgule flottante ou vecteurs denses), intégrations binaires (également appelées vecteurs binaires) et intégrations clairsemées (également appelées vecteurs clairsemés).

                                                                                                                    + Encastrements en virgule flottante Encastrements binaires Encastrements épars
                                                                                                                    -

                                                                                                                    Index pour les intégrations en virgule flottante

                                                                                                                    Pour les intégrations en virgule flottante à 128 dimensions, l'espace de stockage qu'elles occupent est de 128 * la taille de la virgule flottante = 512 octets. Les mesures de distance utilisées pour les enregistrements en virgule flottante sont la distance euclidienne (L2) et le produit intérieur (IP).

                                                                                                                    +

                                                                                                                    Indices pour les intégrations en virgule flottante

                                                                                                                    Pour les encastrements en virgule flottante à 128 dimensions (vecteurs), l'espace de stockage qu'ils occupent est de 128 * la taille de la virgule flottante = 512 octets. Les mesures de distance utilisées pour les enregistrements en virgule flottante sont la distance euclidienne (L2) et le produit intérieur (IP).

                                                                                                                    Ces types d'index comprennent FLAT, IVF_FLAT, IVF_PQ, IVF_SQ8, HNSW, et SCANN pour les recherches ANN basées sur l'unité centrale.

                                                                                                                    @@ -369,7 +369,7 @@ Actuellement, un champ vectoriel ne prend en charge qu'un seul type d'index. Mil -
                                                                                                                  • Plage de recherche

                                                                                                                    +
                                                                                                                  • Recherche par plage

                                                                                                                    @@ -506,7 +506,7 @@ Actuellement, un champ vectoriel ne prend en charge qu'un seul type d'index. Mil - +
                                                                                                                    ParamètreDescriptionPlageValeur par défaut
                                                                                                                    ParamètreDescription de la recherchePlage de valeurs
                                                                                                                    drop_ratio_searchProportion des petites valeurs du vecteur qui sont exclues au cours du processus de recherche. Cette option permet d'affiner le processus de recherche en spécifiant le ratio des plus petites valeurs du vecteur de la requête à ignorer. Elle permet d'équilibrer la précision de la recherche et les performances. Plus la valeur définie pour drop_ratio_search est petite, moins ces petites valeurs contribuent au résultat final. En ignorant certaines petites valeurs, les performances de la recherche peuvent être améliorées avec un impact minimal sur la précision.[0, 1]
                                                                                                                    drop_ratio_searchProportion des petites valeurs du vecteur qui sont exclues au cours du processus de recherche. Cette option permet d'affiner le processus de recherche en spécifiant le ratio des plus petites valeurs du vecteur de la requête à ignorer. Elle permet d'équilibrer la précision de la recherche et les performances. Plus la valeur définie pour drop_ratio_search est petite, moins ces petites valeurs contribuent au résultat final. En ignorant certaines petites valeurs, il est possible d'améliorer les performances de la recherche avec un impact minimal sur la précision.[0, 1]
                                                                                                                  • diff --git a/localization/v2.4.x/site/fr/reference/metric.json b/localization/v2.4.x/site/fr/reference/metric.json index 0980cd99f..90b90bef9 100644 --- a/localization/v2.4.x/site/fr/reference/metric.json +++ b/localization/v2.4.x/site/fr/reference/metric.json @@ -1 +1 @@ -{"codeList":[],"headingContent":"","anchorList":[{"label":"Métriques de similarité","href":"Similarity-Metrics","type":1,"isActive":false},{"label":"FAQ","href":"FAQ","type":2,"isActive":false},{"label":"Prochaines étapes","href":"Whats-next","type":2,"isActive":false}]} \ No newline at end of file +{"codeList":[],"headingContent":"Similarity Metrics","anchorList":[{"label":"Métriques de similarité","href":"Similarity-Metrics","type":1,"isActive":false},{"label":"FAQ","href":"FAQ","type":2,"isActive":false},{"label":"Prochaines étapes","href":"Whats-next","type":2,"isActive":false}]} \ No newline at end of file diff --git a/localization/v2.4.x/site/fr/reference/metric.md b/localization/v2.4.x/site/fr/reference/metric.md index 084918a6a..d0b37b577 100644 --- a/localization/v2.4.x/site/fr/reference/metric.md +++ b/localization/v2.4.x/site/fr/reference/metric.md @@ -1,9 +1,9 @@ --- id: metric.md summary: >- - Milvus prend en charge une variété de mesures de similarité, notamment la + Milvus prend en charge un grand nombre de mesures de similarité, notamment la distance euclidienne, le produit intérieur, Jaccard, etc. -title: Mesures de similarité +title: Métriques de similarité ---

                                                                                                                    Métriques de similarité

                                                                                                                    Dans Milvus, les métriques de similarité sont utilisées pour mesurer les similitudes entre les vecteurs. Le choix d'une bonne métrique de distance permet d'améliorer considérablement les performances de classification et de regroupement.

                                                                                                                    -

                                                                                                                    Le tableau suivant montre comment ces métriques de similarité largement utilisées s'adaptent aux différentes formes de données d'entrée et aux index Milvus.

                                                                                                                    +

                                                                                                                    Le tableau suivant montre comment ces métriques de similarité largement utilisées s'adaptent à diverses formes de données d'entrée et aux index Milvus. Actuellement, Milvus prend en charge différents types de données, y compris les incorporations à virgule flottante (souvent connues sous le nom de vecteurs à virgule flottante ou de vecteurs denses), les incorporations binaires (également connues sous le nom de vecteurs binaires) et les incorporations éparses (également connues sous le nom de vecteurs épars).

                                                                                                                    + Encastrements à virgule flottante Encastrements binaires Encastrements épars
                                                                                                                    - + @@ -82,14 +82,14 @@ title: Mesures de similarité

                                                                                                                    Il s'agit de la mesure de distance la plus couramment utilisée et elle est très utile lorsque les données sont continues.

                                                                                                                    Milvus calcule uniquement la valeur avant d'appliquer la racine carrée lorsque la distance euclidienne est choisie comme mesure de distance.
                                                                                                                    -

                                                                                                                    Produit intérieur (PI)

                                                                                                                    La distance IP entre deux embeddings est définie comme suit :

                                                                                                                    +

                                                                                                                    Produit intérieur (PI)

                                                                                                                    La distance IP entre deux intégrations vectorielles est définie comme suit :

                                                                                                                    ip IP

                                                                                                                    Le produit intérieur est plus utile si vous devez comparer des données non normalisées ou si vous vous intéressez à la magnitude et à l'angle.

                                                                                                                    -

                                                                                                                    Si vous appliquez la métrique de distance IP à des embeddings normalisés, le résultat sera équivalent au calcul de la similarité cosinus entre les embeddings.

                                                                                                                    +

                                                                                                                    Si vous appliquez la distance IP à des intégrations normalisées, le résultat sera équivalent au calcul de la similarité cosinus entre les intégrations.

                                                                                                                    Supposons que X' soit normalisé à partir de l'intégration X :

                                                                                                                    @@ -119,10 +119,10 @@ Milvus calcule uniquement la valeur avant d'appliquer la racine carrée lorsque Jaccard distance Distance de Jaccard

                                                                                                                    -

                                                                                                                    Distance de Hamming

                                                                                                                    La distance de Hamming mesure les chaînes de données binaires. La distance entre deux chaînes de même longueur est le nombre de positions de bits où les bits sont différents.

                                                                                                                    +

                                                                                                                    Distance de Hamming

                                                                                                                    La distance de Hamming mesure les chaînes de données binaires. La distance entre deux chaînes de même longueur est le nombre de positions de bits auxquelles les bits sont différents.

                                                                                                                    Par exemple, supposons qu'il y ait deux chaînes, 1101 1001 et 1001 1101.

                                                                                                                    11011001 ⊕ 10011101 = 01000100. Comme ces chaînes contiennent deux 1, la distance de Hamming, d (11011001, 10011101) = 2.

                                                                                                                    -

                                                                                                                    Similitude structurelle

                                                                                                                    Lorsqu'une structure chimique fait partie d'une structure chimique plus large, la première est appelée sous-structure et la seconde superstructure. Par exemple, l'éthanol est une sous-structure de l'acide acétique et l'acide acétique est une superstructure de l'éthanol.

                                                                                                                    +

                                                                                                                    Similitude structurelle

                                                                                                                    Lorsqu'une structure chimique fait partie d'une structure chimique plus importante, la première est appelée sous-structure et la seconde superstructure. Par exemple, l'éthanol est une sous-structure de l'acide acétique et l'acide acétique est une superstructure de l'éthanol.

                                                                                                                    La similarité structurelle est utilisée pour déterminer si deux formules chimiques sont similaires en ce sens que l'une est la superstructure ou la sous-structure de l'autre.

                                                                                                                    Pour déterminer si A est une superstructure de B, utilisez la formule suivante :

                                                                                                                    diff --git a/localization/v2.4.x/site/fr/release_notes.json b/localization/v2.4.x/site/fr/release_notes.json index 98fdf80fa..e63f897bc 100644 --- a/localization/v2.4.x/site/fr/release_notes.json +++ b/localization/v2.4.x/site/fr/release_notes.json @@ -1 +1 @@ -{"codeList":[],"headingContent":"Release Notes","anchorList":[{"label":"Notes de mise à jour","href":"Release-Notes","type":1,"isActive":false},{"label":"v2.4.15","href":"v2415","type":2,"isActive":false},{"label":"v2.4.14","href":"v2414","type":2,"isActive":false},{"label":"v2.4.13-hotfix","href":"v2413-hotfix","type":2,"isActive":false},{"label":"[Obsolète] v2.4.13","href":"Deprecated-v2413","type":2,"isActive":false},{"label":"v2.4.12","href":"v2412","type":2,"isActive":false},{"label":"v2.4.11","href":"v2411","type":2,"isActive":false},{"label":"v2.4.10","href":"v2410","type":2,"isActive":false},{"label":"v2.4.9","href":"v249","type":2,"isActive":false},{"label":"v2.4.8","href":"v248","type":2,"isActive":false},{"label":"v2.4.6","href":"v246","type":2,"isActive":false},{"label":"v2.4.5","href":"v245","type":2,"isActive":false},{"label":"v2.4.4","href":"v244","type":2,"isActive":false},{"label":"v2.4.3","href":"v243","type":2,"isActive":false},{"label":"v2.4.1","href":"v241","type":2,"isActive":false},{"label":"v2.4.0","href":"v240","type":2,"isActive":false},{"label":"v2.4.0-rc.1","href":"v240-rc1","type":2,"isActive":false}]} \ No newline at end of file +{"codeList":[],"headingContent":"Release Notes","anchorList":[{"label":"Release Notes","href":"Release-Notes","type":1,"isActive":false},{"label":"v2.4.17","href":"v2417","type":2,"isActive":false},{"label":"v2.4.15","href":"v2415","type":2,"isActive":false},{"label":"v2.4.14","href":"v2414","type":2,"isActive":false},{"label":"v2.4.13-hotfix","href":"v2413-hotfix","type":2,"isActive":false},{"label":"[Deprecated] v2.4.13","href":"Deprecated-v2413","type":2,"isActive":false},{"label":"v2.4.12","href":"v2412","type":2,"isActive":false},{"label":"v2.4.11","href":"v2411","type":2,"isActive":false},{"label":"v2.4.10","href":"v2410","type":2,"isActive":false},{"label":"v2.4.9","href":"v249","type":2,"isActive":false},{"label":"v2.4.8","href":"v248","type":2,"isActive":false},{"label":"v2.4.6","href":"v246","type":2,"isActive":false},{"label":"v2.4.5","href":"v245","type":2,"isActive":false},{"label":"v2.4.4","href":"v244","type":2,"isActive":false},{"label":"v2.4.3","href":"v243","type":2,"isActive":false},{"label":"v2.4.1","href":"v241","type":2,"isActive":false},{"label":"v2.4.0","href":"v240","type":2,"isActive":false},{"label":"v2.4.0-rc.1","href":"v240-rc1","type":2,"isActive":false}]} \ No newline at end of file diff --git a/localization/v2.4.x/site/fr/release_notes.md b/localization/v2.4.x/site/fr/release_notes.md index a455fd95a..b36b388fb 100644 --- a/localization/v2.4.x/site/fr/release_notes.md +++ b/localization/v2.4.x/site/fr/release_notes.md @@ -1,9 +1,9 @@ --- id: release_notes.md summary: Notes de mise à jour de Milvus -title: Notes de mise à jour +title: Release Notes --- -

                                                                                                                    Notes de mise à jour

                                                                                                                    Découvrez les nouveautés de Milvus ! Cette page résume les nouvelles fonctionnalités, les améliorations, les problèmes connus et les corrections de bogues de chaque version. Vous trouverez dans cette section les notes de version pour chaque version publiée après la v2.4.0. Nous vous conseillons de consulter régulièrement cette page pour prendre connaissance des mises à jour.

                                                                                                                    +

                                                                                                                    Find out what’s new in Milvus! This page summarizes new features, improvements, known issues, and bug fixes in each release. You can find the release notes for each released version after v2.4.0 in this section. We suggest that you regularly visit this page to learn about updates.

                                                                                                                    +

                                                                                                                    v2.4.17

                                                                                                                    Release Date: November 22, 2024

                                                                                                                    +
                                                                                                                    Types de métriquesTypes d'indexTypes d'indices
                                                                                                                    + + + + + + +
                                                                                                                    Milvus versionPython SDK versionJava SDK versionNode.js SDK version
                                                                                                                    2.4.172.4.92.4.82.4.9
                                                                                                                    +

                                                                                                                    Milvus 2.4.17 was a minor release aimed at critical stability enhancements. This version addressed various bugs and implemented performance optimizations to bolster system reliability.

                                                                                                                    +

                                                                                                                    Improvements

                                                                                                                      +
                                                                                                                    • Enhanced: [2.4] Prevented the generation of “null” search parameters (#37811).
                                                                                                                    • +
                                                                                                                    • Enhanced: [2.4] Removed unnecessary segment clone updates in distribution (#37797) (#37833).
                                                                                                                    • +
                                                                                                                    • Enhanced: [2.4] Provided secondary index criteria for filtering leaderview (#37777) (#37802).
                                                                                                                    • +
                                                                                                                    • Used batch processing to speed up listing collections from meta kv (#37752).
                                                                                                                    • +
                                                                                                                    • Removed collection queryable checks from health checks (#37731).
                                                                                                                    • +
                                                                                                                    • [2.4] Removed segment-level tags from monitoring metrics (#37737).
                                                                                                                    • +
                                                                                                                    • [2.4] Removed unnecessary cloning in setstate (#37736).
                                                                                                                    • +
                                                                                                                    • Added search parameters to search requests in RESTful API (#37673).
                                                                                                                    • +
                                                                                                                    • Made Milvus images with AddressSanitizer (ASAN) available (#37682).
                                                                                                                    • +
                                                                                                                    • [cp24] Tidied compaction logs (#37647).
                                                                                                                    • +
                                                                                                                    • [2.4] Invalidated the collection cache when releasing collections (#37628).
                                                                                                                    • +
                                                                                                                    • [2.4] Added CGO call metrics for load/write APIs (#37627).
                                                                                                                    • +
                                                                                                                    • Enabled node assignment policies in resource groups (#37588).
                                                                                                                    • +
                                                                                                                    • Optimized describe collection and index operations (#37605).
                                                                                                                    • +
                                                                                                                    • [2.4] Handled legacy proxy load fields requests (#37569).
                                                                                                                    • +
                                                                                                                    • [2.4] Added context tracing for query coordination queryable checks (#37534).
                                                                                                                    • +
                                                                                                                    • [2.4] Improved root coordination task scheduling policies (#37523).
                                                                                                                    • +
                                                                                                                    • Refactored createindex in the RESTful API (#37237).
                                                                                                                    • +
                                                                                                                    • [2.4] Used cancel labels for context-canceled storage operations (#37491).
                                                                                                                    • +
                                                                                                                    • [2.4] Updated the template expression proto to improve transmission efficiency (#37485).
                                                                                                                    • +
                                                                                                                    +

                                                                                                                    Bug fixes

                                                                                                                      +
                                                                                                                    • Supported upsert with autoid=true in the RESTful API and fixed associated bugs (#37766).
                                                                                                                    • +
                                                                                                                    • Ensured L0 segments were loaded to workers during channel balancing (#37758).
                                                                                                                    • +
                                                                                                                    • Fixed delegator stuck in unserviceable status (#37702).
                                                                                                                    • +
                                                                                                                    • [2.4] Stored default values when errkeynotfound was returned (#37705).
                                                                                                                    • +
                                                                                                                    • [cp24] Changed memory check from write lock to read lock (#37526).
                                                                                                                    • +
                                                                                                                    • Ensured getshardleaders retried only on retriable errors (#37687).
                                                                                                                    • +
                                                                                                                    • [cp24] Corrected varchar primary key size calculations (#37619).
                                                                                                                    • +
                                                                                                                    • Fixed channel balancing that could get stuck when increasing replica numbers (#37642).
                                                                                                                    • +
                                                                                                                    • Addressed issues where searches returned fewer results after query node recovery (#37610).
                                                                                                                    • +
                                                                                                                    • [2.4] Fixed bugs retrieving data from the wrong field for L0 segments (#37599).
                                                                                                                    • +
                                                                                                                    • Recovered loading collection’s updateTS after query coordination restarts (#37580).
                                                                                                                    • +
                                                                                                                    • [2.4] Added IP address validation to paramtable (#37500).
                                                                                                                    • +
                                                                                                                    • Fixed search/query failures caused by segments not being loaded (#37544).
                                                                                                                    • +
                                                                                                                    • Resolved watch channel issues due to timer reset misuse (#37542).
                                                                                                                    • +
                                                                                                                    • Fixed subscription leaks (#37541).
                                                                                                                    • +
                                                                                                                    • Resolved issues with excessively growing segments (#37540).
                                                                                                                    • +
                                                                                                                    • [cp24] Corrected dropped segment metrics (#37471).
                                                                                                                    • +
                                                                                                                    • Fixed repeated error codes in Milvus and Segcore (#37449).
                                                                                                                    • +
                                                                                                                    • [cp24] Separated L0 and mixed trigger intervals (#37319).
                                                                                                                    • +

                                                                                                                    v2.4.15

                                                                                                                    Date de sortie : 5 novembre 2024

                                                                                                                    +

                                                                                                                    Release Date: November 5, 2024

                                                                                                                    - +
                                                                                                                    Version de MilvusVersion du SDK PythonVersion du SDK JavaVersion du SDK Node.js
                                                                                                                    Milvus versionPython SDK versionJava SDK versionNode.js SDK version
                                                                                                                    2.4.152.4.92.4.82.4.9
                                                                                                                    -

                                                                                                                    Milvus 2.4.15 est une version critique de correction de bogues axée sur l'amélioration de la stabilité, des performances et de la compatibilité du système. Cette version a corrigé un problème majeur de blocage qui pouvait se produire lors des pannes de QueryNode et a introduit des mises à jour de compatibilité pour l'outil de sauvegarde avec la fonction de base de données. En outre, Milvus 2.4.15 a amélioré les performances et la stabilité des suppressions grâce à des optimisations significatives dans la gestion de L0. La mise à niveau vers la version 2.4.15 est fortement recommandée pour bénéficier de ces améliorations critiques.

                                                                                                                    -

                                                                                                                    Corrections de bogues critiques

                                                                                                                      -
                                                                                                                    • Résolution d'un problème de blocage si le QueryNode se bloquait lors de l'initialisation du client shard(#37354).
                                                                                                                    • -
                                                                                                                    • Reprise de l'amélioration de la prise en charge des bases de données pour l'insertion en masse(#37421).
                                                                                                                    • +

                                                                                                                      Milvus 2.4.15 was a critical bug-fix release focused on enhancing system stability, performance, and compatibility. This version addressed a major deadlock issue that could occur during QueryNode crashes and introduced compatibility updates for the backup tool with the database feature. Additionally, Milvus 2.4.15 improved delete performance and stability through significant optimizations in L0 handling. Upgrading to v2.4.15 was strongly recommended to benefit from these critical enhancements.

                                                                                                                      +

                                                                                                                      Critical bug fixes

                                                                                                                        +
                                                                                                                      • Resolved a deadlock issue if the QueryNode crashed during shard client initialization (#37354).
                                                                                                                      • +
                                                                                                                      • Reverted the enhancement to support databases for bulk insert (#37421).
                                                                                                                      -

                                                                                                                      Correction de bogues

                                                                                                                        -
                                                                                                                      • Correction d'un bogue où certaines expressions n'analysaient pas correctement les valeurs(#37342).
                                                                                                                      • -
                                                                                                                      • Amélioration du Proxy pour réessayer d'obtenir le shard leader sur les collections déchargées(#37326).
                                                                                                                      • -
                                                                                                                      • Correction d'un problème où la valeur de la métrique du nombre de lignes L0 était toujours vide(#37307).
                                                                                                                      • -
                                                                                                                      • Suppression du marquage du délai de compaction pour les scénarios de compaction mixte et L0(#37194).
                                                                                                                      • -
                                                                                                                      • Rectification de la logique de confinement de OffsetOrderedArray(#37309).
                                                                                                                      • -
                                                                                                                      • Ajout d'une vérification des ressources lors du chargement des journaux delta(#37263).
                                                                                                                      • +

                                                                                                                        Bug fixes

                                                                                                                          +
                                                                                                                        • Fixed a bug where certain expressions did not correctly parse values (#37342).
                                                                                                                        • +
                                                                                                                        • Enhanced the Proxy to retry getting the shard leader on unloaded collections (#37326).
                                                                                                                        • +
                                                                                                                        • Corrected an issue where the L0 row count metrics value was always empty (#37307).
                                                                                                                        • +
                                                                                                                        • Skipped marking compaction timeout for mixed and L0 compaction scenarios (#37194).
                                                                                                                        • +
                                                                                                                        • Rectified the containment logic of OffsetOrderedArray (#37309).
                                                                                                                        • +
                                                                                                                        • Added a check for resources when loading delta logs (#37263).
                                                                                                                        -

                                                                                                                        Améliorations

                                                                                                                          -
                                                                                                                        • Déplacement de la logique L0 en dehors du verrou delta pour de meilleures performances(#37340).
                                                                                                                        • -
                                                                                                                        • Libération des segments de croissance compactés s'ils sont présents dans la liste d'abandon(#37266).
                                                                                                                        • -
                                                                                                                        • Introduction d'un middleware pour surveiller les statistiques RPC d'entrée/sortie de la V2 RESTful(#37224, #37440).
                                                                                                                        • +

                                                                                                                          Improvements

                                                                                                                            +
                                                                                                                          • Moved L0 logic outside of the delta lock for better performance (#37340).
                                                                                                                          • +
                                                                                                                          • Released compacted growing segments if present in the dropped list (#37266).
                                                                                                                          • +
                                                                                                                          • Introduced middleware to monitor RESTful V2 input/output RPC stats (#37224, #37440).

                                                                                                                          v2.4.14

                                                                                                                          Date de publication : 31 octobre 2024

                                                                                                                          +

                                                                                                                          Release Date: October 31, 2024

                                                                                                                          - +
                                                                                                                          Version de MilvusVersion du SDK PythonVersion du SDK JavaVersion du SDK Node.js
                                                                                                                          Milvus versionPython SDK versionJava SDK versionNode.js SDK version
                                                                                                                          2.4.142.4.92.4.72.4.9
                                                                                                                          -

                                                                                                                          Milvus 2.4.14 corrige un problème critique de la version 2.4.13 qui pouvait entraîner la perte des informations de collecte après snapshotKV garbage collection. Elle corrige également quelques fuites de ressources. En outre, cette version comprend de nombreuses améliorations visant à accroître la stabilité des opérations de suppression à grande échelle et les performances de compactage.

                                                                                                                          -

                                                                                                                          Fonctionnalités

                                                                                                                            -
                                                                                                                          • Prise en charge du cache de morceaux en mode mémoire(#35836)
                                                                                                                          • -
                                                                                                                          • Prise en charge de db pour bulkinsert(#37017)
                                                                                                                          • +

                                                                                                                            Milvus 2.4.14 addresses a critical issue from version 2.4.13 that could cause collection information to be lost after snapshotKV garbage collection. It also fixed a couple of resource leaks. Additionally, this release includes numerous enhancements focused on improving stability in large-scale delete operations and compaction performance.

                                                                                                                            +

                                                                                                                            Features

                                                                                                                              +
                                                                                                                            • Supported memory mode chunk cache (#35836)
                                                                                                                            • +
                                                                                                                            • Supported db for bulkinsert (#37017)
                                                                                                                            -

                                                                                                                            Améliorations

                                                                                                                              -
                                                                                                                            • Optimisation des suppressions et du compactage
                                                                                                                                -
                                                                                                                              • Activation de l'exécution parallèle des compactions l0(#36985)
                                                                                                                              • -
                                                                                                                              • Suppression du forward en battement lors de l'utilisation du direct forward(#37107)
                                                                                                                              • -
                                                                                                                              • Suppression du chargement des données delta dans le délégateur lors de l'utilisation de remoteload(#37112)
                                                                                                                              • -
                                                                                                                              • Transférer directement le delta en excluant les segments l0(#36914)
                                                                                                                              • -
                                                                                                                              • Ajout de la priorisation des tâches de compactage dans DataCoord(#36979)
                                                                                                                              • -
                                                                                                                              • Suivi des taux de suppression complexes(#36958)
                                                                                                                              • +

                                                                                                                                Improvements

                                                                                                                                  +
                                                                                                                                • Delete/Compaction Optimization +
                                                                                                                                    +
                                                                                                                                  • Enabled parallel execution of l0 compactions (#36985)
                                                                                                                                  • +
                                                                                                                                  • Batched forward delete when using direct forward (#37107)
                                                                                                                                  • +
                                                                                                                                  • Skipped loading delta data in delegater when using remoteload (#37112)
                                                                                                                                  • +
                                                                                                                                  • Directly forwarded delta excluding l0 segments (#36914)
                                                                                                                                  • +
                                                                                                                                  • Added prioritization of compaction tasks in DataCoord (#36979)
                                                                                                                                  • +
                                                                                                                                  • Tracked complex delete rates (#36958)
                                                                                                                                • -
                                                                                                                                • Refonte de CreateCollection dans l'API RESTFul(#36885)
                                                                                                                                • -
                                                                                                                                • Fusion de plusieurs opérations 'and' et 'or' en une seule opération(#36973)
                                                                                                                                • -
                                                                                                                                • Le skip load fonctionne pour toutes les branches(#37161)
                                                                                                                                • -
                                                                                                                                • Mise à jour de la dépendance Minio pour prendre en charge les identités EKS Pod(#37089)
                                                                                                                                • -
                                                                                                                                • Mise en ordre des options d'importation(#37078)
                                                                                                                                • -
                                                                                                                                • Limitation du nombre maximum de tâches d'importation(#36892)
                                                                                                                                • -
                                                                                                                                • Préallocation de la tranche de données pour éviter de réallouer la mémoire(#37044)
                                                                                                                                • -
                                                                                                                                • Empêche le DataNode de charger le bf(#37027)
                                                                                                                                • -
                                                                                                                                • Evite de limiter les opérations ddl de manière répétée(#37011)
                                                                                                                                • -
                                                                                                                                • Rendre l'élément de configuration datanode.import.maxconcurrenttasknum dynamiquement ajustable(#37103)
                                                                                                                                • -
                                                                                                                                • Utilisation de queryNode.mmap.growingMmapEnabled pour contrôler le comportement de l'index provisoire(#36391)
                                                                                                                                • -
                                                                                                                                • Remplissage des champs Level et StartPosition dans segmentLoadInfo du segment en croissance(#36911)
                                                                                                                                • -
                                                                                                                                • Forçage de l'arrêt des messages de la mémoire tampon lors de la réception du message de collecte de l'abandon(#36917)
                                                                                                                                • -
                                                                                                                                • Ajout de métriques pour querynode delete buffer info(#37097)
                                                                                                                                • -
                                                                                                                                • Ajout d'un label de nom de collection pour certaines métriques(#37159)
                                                                                                                                • -
                                                                                                                                • Utilisation d'un middleware pour observer les statistiques rpc RESTful v2 in/out(#37224)
                                                                                                                                • -
                                                                                                                                • Modification de la taille du pool de mémoire par défaut du GPU(#36969)
                                                                                                                                • -
                                                                                                                                • Mise à jour de la version de Knowhere à 2.3.12(#37132)
                                                                                                                                • -
                                                                                                                                • Permettre la suppression des données lorsque le quota disque est épuisé(#37139)
                                                                                                                                • +
                                                                                                                                • Refactored CreateCollection in RESTFul API (#36885)
                                                                                                                                • +
                                                                                                                                • Fused multiple ‘and’ and ‘or’ operations into a single op (#36973)
                                                                                                                                • +
                                                                                                                                • Made skip load work for all branches (#37161)
                                                                                                                                • +
                                                                                                                                • Upgraded Minio dependency to support EKS Pod Identities (#37089)
                                                                                                                                • +
                                                                                                                                • Tidied import options (#37078)
                                                                                                                                • +
                                                                                                                                • Limited maximum number of import jobs (#36892)
                                                                                                                                • +
                                                                                                                                • Preallocated data slice to avoid re-allocating memory (#37044)
                                                                                                                                • +
                                                                                                                                • Prevented DataNode from loading the bf (#37027)
                                                                                                                                • +
                                                                                                                                • Avoided limiting ddl operations repeatedly (#37011)
                                                                                                                                • +
                                                                                                                                • Made the configuration item datanode.import.maxconcurrenttasknum dynamically adjustable (#37103)
                                                                                                                                • +
                                                                                                                                • Used queryNode.mmap.growingMmapEnabled to control the behavior of interim index (#36391)
                                                                                                                                • +
                                                                                                                                • Populated the Level and StartPosition fields in segmentLoadInfo of growing segment (#36911)
                                                                                                                                • +
                                                                                                                                • Forced to stop buffer messages when receiving the drop collection message (#36917)
                                                                                                                                • +
                                                                                                                                • Added metrics for querynode delete buffer info (#37097)
                                                                                                                                • +
                                                                                                                                • Added collection name label for some metric (#37159)
                                                                                                                                • +
                                                                                                                                • Used middleware to observe RESTful v2 in/out rpc stats (#37224)
                                                                                                                                • +
                                                                                                                                • Changed GPU default memory pool size (#36969)
                                                                                                                                • +
                                                                                                                                • Updated Knowhere version to 2.3.12 (#37132)
                                                                                                                                • +
                                                                                                                                • Allowed deleting data when disk quota exhausted (#37139)
                                                                                                                                -

                                                                                                                                Correction de bugs

                                                                                                                                  -
                                                                                                                                • Correction des informations de collecte qui ne pouvaient pas être récupérées de metakv après un redémarrage si tous les snapshots étaient garbage collectés(#36950)
                                                                                                                                • -
                                                                                                                                • Correction du code d'erreur rpc pour éviter les tentatives invalides dans le client(#37025)
                                                                                                                                • -
                                                                                                                                • Ignore l'erreur db not found dans le centre de quotas(#36850)
                                                                                                                                • -
                                                                                                                                • Correction de la fuite de goroutine dans QueryNode en utilisant un singleton delete pool(#37225)
                                                                                                                                • -
                                                                                                                                • Correction de la fuite de collection dans le querynode(#37079)
                                                                                                                                • -
                                                                                                                                • Correction de la fuite de la tâche de compactage du clustering(#36803)
                                                                                                                                • -
                                                                                                                                • Interdiction de renommer une collection qui a un alias(#37208)
                                                                                                                                • -
                                                                                                                                • S'assurer que l'alias est mis en cache(#36808)
                                                                                                                                • -
                                                                                                                                • La recherche/requête aurait pu échouer lors de la mise à jour du cache du délégateur(#37174)
                                                                                                                                • -
                                                                                                                                • Exclusion du compactage l0 lors de l'exécution du clustering(#37142)
                                                                                                                                • -
                                                                                                                                • Referenced collection meta when loading l0 segment meta only(#37179)
                                                                                                                                • -
                                                                                                                                • Delegator aurait pu devenir inutilisable après le redémarrage de querycoord(#37100)
                                                                                                                                • -
                                                                                                                                • La partition de libération dynamique peut avoir échoué lors d'une recherche/requête(#37099)
                                                                                                                                • -
                                                                                                                                • Rectification de la valeur du quota du nombre de lignes du tampon de suppression(#37068)
                                                                                                                                • -
                                                                                                                                • Passage d'une liste de champs complète lorsque la charge partielle est activée(#37063)
                                                                                                                                • -
                                                                                                                                • Panique du noeud de requête survenant lors de l'envoi du rpc au travailleur(#36988)
                                                                                                                                • -
                                                                                                                                • Le datacoord était bloqué à l'arrêt de la progression(#36961)
                                                                                                                                • -
                                                                                                                                • Correction de l'accès hors limites dans le segment croissant lorsque les données brutes ont été remplacées par un index provisoire(#36938)
                                                                                                                                • -
                                                                                                                                • Rootcoord était bloqué à la progression de l'arrêt gracieux(#36881)
                                                                                                                                • +

                                                                                                                                  Bug fixes

                                                                                                                                    +
                                                                                                                                  • Fixed collection info that could not be recovered from metakv after restart if all snapshots were garbage collected (#36950)
                                                                                                                                  • +
                                                                                                                                  • Corrected the rpc error code to avoid invalid retry in client (#37025)
                                                                                                                                  • +
                                                                                                                                  • Ignored db not found error in quota center (#36850)
                                                                                                                                  • +
                                                                                                                                  • Fixed goroutine leakage in QueryNode by using singleton delete pool (#37225)
                                                                                                                                  • +
                                                                                                                                  • Fixed collection leak in querynode (#37079)
                                                                                                                                  • +
                                                                                                                                  • Fixed leakage of clustering compaction task (#36803)
                                                                                                                                  • +
                                                                                                                                  • Prohibited renaming a collection that had an alias (#37208)
                                                                                                                                  • +
                                                                                                                                  • Made sure alias was cached (#36808)
                                                                                                                                  • +
                                                                                                                                  • Search/query could have failed during updating delegator cache (#37174)
                                                                                                                                  • +
                                                                                                                                  • Excluded l0 compaction when clustering was executing (#37142)
                                                                                                                                  • +
                                                                                                                                  • Referenced collection meta when loading l0 segment meta only (#37179)
                                                                                                                                  • +
                                                                                                                                  • Delegator might have become unserviceable after querycoord restart (#37100)
                                                                                                                                  • +
                                                                                                                                  • Dynamic release partition might have failed search/query (#37099)
                                                                                                                                  • +
                                                                                                                                  • Rectified delete buffer row count quota value (#37068)
                                                                                                                                  • +
                                                                                                                                  • Passed full field list when partial load enabled (#37063)
                                                                                                                                  • +
                                                                                                                                  • Query node panic occurred during sending rpc to worker (#36988)
                                                                                                                                  • +
                                                                                                                                  • Datacoord got stuck at stopping progress (#36961)
                                                                                                                                  • +
                                                                                                                                  • Fixed the out-of-bounds access in the growing segment when raw data was replaced by interim index (#36938)
                                                                                                                                  • +
                                                                                                                                  • Rootcoord got stuck at graceful stop progress (#36881)

                                                                                                                                  v2.4.13-hotfix

                                                                                                                                  Date de publication : 17 octobre 2024

                                                                                                                                  +

                                                                                                                                  Release Date: October 17, 2024

                                                                                                                                  - +
                                                                                                                                  Version de MilvusVersion du SDK PythonVersion du SDK JavaVersion du SDK Node.js
                                                                                                                                  Milvus versionPython SDK versionJava SDK versionNode.js SDK version
                                                                                                                                  2.4.13-hotfix2.4.82.4.52.4.9
                                                                                                                                  -

                                                                                                                                  Milvus v2.4.13-hotfix corrige un problème critique spécifique à la v2.4.13, où Milvus peut échouer à récupérer les informations de collecte après un redémarrage si tous les instantanés MetaKV ont été ramassés(#36933). Il est conseillé aux utilisateurs qui utilisent actuellement la version 2.4.13 de mettre à niveau vers la version 2.4.13-hotfix dès que possible afin d'éviter des perturbations potentielles.

                                                                                                                                  -

                                                                                                                                  Corrections critiques

                                                                                                                                    -
                                                                                                                                  • Chargement de la clé originale si l'horodatage est MaxTimestamp(#36935)
                                                                                                                                  • +

                                                                                                                                    Milvus v2.4.13-hotfix addresses a critical issue specific to v2.4.13, where Milvus may fail to retrieve collection information after a restart if all MetaKV snapshots were garbage-collected (#36933). Users currently running v2.4.13 are advised to upgrade to v2.4.13-hotfix at the earliest opportunity to avoid potential disruptions.

                                                                                                                                    +

                                                                                                                                    Critical fixes

                                                                                                                                      +
                                                                                                                                    • Load original key if timestamp is MaxTimestamp (#36935)
                                                                                                                                    -

                                                                                                                                    [Obsolète] v2.4.13

                                                                                                                                    Date de publication : 12 octobre 2024

                                                                                                                                    +

                                                                                                                                    Release Date: October 12, 2024

                                                                                                                                    - +
                                                                                                                                    Version de MilvusVersion du SDK PythonVersion du SDK JavaVersion du SDK Node.js
                                                                                                                                    Milvus versionPython SDK versionJava SDK versionNode.js SDK version
                                                                                                                                    2.4.132.4.82.4.52.4.9
                                                                                                                                    -

                                                                                                                                    Milvus 2.4.13 introduit la charge de réplique dynamique, permettant aux utilisateurs d'ajuster le nombre de répliques de collection sans avoir à libérer et recharger la collection. Cette version corrige également plusieurs bogues critiques liés à l'importation en vrac, à l'analyse des expressions, à l'équilibrage de la charge et à la reprise sur panne. En outre, des améliorations significatives ont été apportées à l'utilisation des ressources MMAP et aux performances d'importation, améliorant ainsi l'efficacité globale du système. Nous recommandons vivement de passer à cette version pour améliorer les performances et la stabilité.

                                                                                                                                    -

                                                                                                                                    Fonctionnalités

                                                                                                                                      -
                                                                                                                                    • Ajustement dynamique des répliques pour les collections chargées(#36417)
                                                                                                                                    • -
                                                                                                                                    • MMAP de vecteurs épars dans les types de segments croissants(#36565)
                                                                                                                                    • +

                                                                                                                                      Milvus 2.4.13 introduces dynamic replica load, allowing users to adjust the number of collection replicas without needing to release and reload the collection. This version also addresses several critical bugs related to bulk importing, expression parsing, load balancing, and failure recovery. Additionally, significant improvements have been made to MMAP resource usage and import performance, enhancing overall system efficiency. We highly recommend upgrading to this release for better performance and stability.

                                                                                                                                      +

                                                                                                                                      Features

                                                                                                                                        +
                                                                                                                                      • Dynamic replica adjustment for loaded collections (#36417)
                                                                                                                                      • +
                                                                                                                                      • Sparse vector MMAP in growing segment types (#36565)
                                                                                                                                      -

                                                                                                                                      Corrections de bugs

                                                                                                                                        -
                                                                                                                                      • Correction d'un problème de performance du flush(#36741)
                                                                                                                                      • -
                                                                                                                                      • Correction d'un bogue avec les expressions JSON dans "[]"(#36722)
                                                                                                                                      • -
                                                                                                                                      • Suppression des voisins si la cible compacte n'est pas indexée(#36694)
                                                                                                                                      • -
                                                                                                                                      • Amélioration des performances pour Rocksmq lorsque le canal est plein(#36618)
                                                                                                                                      • -
                                                                                                                                      • Correction d'un problème où les erreurs pendant le désépinglage n'étaient pas reportées(#36665)
                                                                                                                                      • -
                                                                                                                                      • Résolution d'une fuite de mémoire pour les segments importés dans le gestionnaire de segments(#36631)
                                                                                                                                      • -
                                                                                                                                      • Suppression des contrôles de santé inutiles pour les noeuds de requête dans le proxy(#36553)
                                                                                                                                      • -
                                                                                                                                      • Correction d'un problème de débordement avec les expressions de termes(#36534)
                                                                                                                                      • -
                                                                                                                                      • Enregistrement de l'ID du noeud avant d'assigner des tâches pour éviter une mauvaise allocation des tâches(#36493)
                                                                                                                                      • -
                                                                                                                                      • Résolution des problèmes de course de données dans le compactage de clustering(#36499)
                                                                                                                                      • -
                                                                                                                                      • Ajout d'une vérification de la longueur maximale des tableaux de chaînes après la correspondance des types(#36497)
                                                                                                                                      • -
                                                                                                                                      • Correction des conditions de course en mode mixte ou autonome(#36459)
                                                                                                                                      • -
                                                                                                                                      • Correction du déséquilibre des segments après des opérations répétées de chargement et de déchargement(#36543)
                                                                                                                                      • -
                                                                                                                                      • Correction d'un cas où les segments ne pouvaient pas être déplacés d'un noeud d'arrêt(#36475)
                                                                                                                                      • -
                                                                                                                                      • Mise à jour correcte des informations sur les segments même si certains segments étaient manquants(#36729)
                                                                                                                                      • -
                                                                                                                                      • Empêche les transactions etcd de dépasser la limite maximale dans le KV snapshot(#36773)
                                                                                                                                      • +

                                                                                                                                        Bug fixes

                                                                                                                                          +
                                                                                                                                        • Fixed a flush performance issue (#36741)
                                                                                                                                        • +
                                                                                                                                        • Fixed a bug with JSON expressions in "[]" (#36722)
                                                                                                                                        • +
                                                                                                                                        • Removed neighbors if compact target is unindexed (#36694)
                                                                                                                                        • +
                                                                                                                                        • Improved performance for Rocksmq when channel is full (#36618)
                                                                                                                                        • +
                                                                                                                                        • Fixed an issue where errors during unpinning were not deferred (#36665)
                                                                                                                                        • +
                                                                                                                                        • Resolved a memory leak for imported segments in the segment manager (#36631)
                                                                                                                                        • +
                                                                                                                                        • Skipped unnecessary health checks for query nodes in the proxy (#36553)
                                                                                                                                        • +
                                                                                                                                        • Fixed an overflow issue with term expressions (#36534)
                                                                                                                                        • +
                                                                                                                                        • Recorded node ID before assigning tasks to prevent task misallocation (#36493)
                                                                                                                                        • +
                                                                                                                                        • Resolved data race issues in clustering compaction (#36499)
                                                                                                                                        • +
                                                                                                                                        • Added a check for string array max length after type matching (#36497)
                                                                                                                                        • +
                                                                                                                                        • Addressed race conditions in mix or standalone mode (#36459)
                                                                                                                                        • +
                                                                                                                                        • Fixed segment imbalance after repeated load and release operations (#36543)
                                                                                                                                        • +
                                                                                                                                        • Corrected a corner case where segments couldn’t be moved from a stopping node (#36475)
                                                                                                                                        • +
                                                                                                                                        • Updated segment info properly even if some segments were missing (#36729)
                                                                                                                                        • +
                                                                                                                                        • Prevented etcd transactions from exceeding the max limit in snapshot KV (#36773)
                                                                                                                                        -

                                                                                                                                        Améliorations

                                                                                                                                          -
                                                                                                                                        • Amélioration de l'estimation des ressources MMAP :
                                                                                                                                            -
                                                                                                                                          • Amélioration du code relatif au MMAP dans column.h(#36521)
                                                                                                                                          • -
                                                                                                                                          • Amélioration de l'estimation des ressources lors du chargement des collections(#36728)
                                                                                                                                          • +

                                                                                                                                            Improvements

                                                                                                                                              +
                                                                                                                                            • Enhanced MMAP resource estimation: +
                                                                                                                                                +
                                                                                                                                              • Improved MMAP-related code in column.h (#36521)
                                                                                                                                              • +
                                                                                                                                              • Refined resource estimation when loading collections (#36728)
                                                                                                                                            • -
                                                                                                                                            • Amélioration des performances :
                                                                                                                                                -
                                                                                                                                              • Amélioration de l'efficacité de l'analyse des expressions en convertissant l'Unicode en ASCII(#36676)
                                                                                                                                              • -
                                                                                                                                              • Permet la production parallèle de messages pour plusieurs sujets(#36462)
                                                                                                                                              • -
                                                                                                                                              • Réduction de la surcharge du processeur lors du calcul de la taille du fichier d'index(#36580)
                                                                                                                                              • -
                                                                                                                                              • Récupération du type de message à partir de l'en-tête pour minimiser l'unmarshalling(#36454)
                                                                                                                                              • -
                                                                                                                                              • Optimisation de la politique de sélection des répliques en fonction de la charge de travail(#36384)
                                                                                                                                              • +
                                                                                                                                              • Performance Enhancements: +
                                                                                                                                                  +
                                                                                                                                                • Improved expression parsing efficiency by converting Unicode to ASCII (#36676)
                                                                                                                                                • +
                                                                                                                                                • Enabled parallel production of messages for multiple topics (#36462)
                                                                                                                                                • +
                                                                                                                                                • Reduced CPU overhead when calculating index file size (#36580)
                                                                                                                                                • +
                                                                                                                                                • Retrieved message type from header to minimize unmarshalling (#36454)
                                                                                                                                                • +
                                                                                                                                                • Optimized workload-based replica selection policy (#36384)
                                                                                                                                              • -
                                                                                                                                              • Fractionnement des messages de la tâche de suppression pour respecter les limites de taille maximale des messages(#36574)
                                                                                                                                              • -
                                                                                                                                              • Ajout d'une nouvelle URL RESTful pour décrire les tâches d'importation(#36754)
                                                                                                                                              • -
                                                                                                                                              • Optimisation de la planification des importations et ajout d'une mesure du coût du temps(#36684)
                                                                                                                                              • -
                                                                                                                                              • Ajout d'un rapport d'équilibre pour l'équilibreur du coordinateur de requêtes(#36749)
                                                                                                                                              • -
                                                                                                                                              • Utilisation de la configuration commune du GC(#36670)
                                                                                                                                              • -
                                                                                                                                              • Ajout d'un commutateur de politique de streaming forward pour le délégateur(#36712)
                                                                                                                                              • -
                                                                                                                                              • Activation du compactage manuel pour les collections sans index(#36581)
                                                                                                                                              • -
                                                                                                                                              • Activation de l'équilibrage de charge sur les noeuds de requête avec différentes capacités de mémoire(#36625)
                                                                                                                                              • -
                                                                                                                                              • Cas unifié pour les étiquettes entrantes en utilisant metrics.label(#36616)
                                                                                                                                              • -
                                                                                                                                              • Rendre les opérations de canal de transfert/segment idempotentes(#36552)
                                                                                                                                              • -
                                                                                                                                              • Ajout de métriques pour surveiller le débit d'importation et le nombre de lignes importées(#36588)
                                                                                                                                              • -
                                                                                                                                              • Prévention de la création de plusieurs objets timer dans les cibles(#36573)
                                                                                                                                              • -
                                                                                                                                              • Mise à jour de la version des expressions et de la réponse HTTP formatée pour les expressions(#36467)
                                                                                                                                              • -
                                                                                                                                              • Amélioration du garbage collection dans le snapshot KV(#36793)
                                                                                                                                              • -
                                                                                                                                              • Ajout de la prise en charge de l'exécution de méthodes avec des paramètres de contexte(#36798)
                                                                                                                                              • +
                                                                                                                                              • Split delete task messages to fit within max message size limits (#36574)
                                                                                                                                              • +
                                                                                                                                              • Added new RESTful URL to describe import jobs (#36754)
                                                                                                                                              • +
                                                                                                                                              • Optimized import scheduling and added a time cost metric (#36684)
                                                                                                                                              • +
                                                                                                                                              • Added balance report log for query coordinator balancer (#36749)
                                                                                                                                              • +
                                                                                                                                              • Switched to using common GC configuration (#36670)
                                                                                                                                              • +
                                                                                                                                              • Added streaming forward policy switch for delegator (#36712)
                                                                                                                                              • +
                                                                                                                                              • Enabled manual compaction for collections without indexes (#36581)
                                                                                                                                              • +
                                                                                                                                              • Enabled load balancing on query nodes with varying memory capacities (#36625)
                                                                                                                                              • +
                                                                                                                                              • Unified case for inbound labels using metrics.label (#36616)
                                                                                                                                              • +
                                                                                                                                              • Made transfer channel/segment operations idempotent (#36552)
                                                                                                                                              • +
                                                                                                                                              • Added metrics to monitor import throughput and imported row count (#36588)
                                                                                                                                              • +
                                                                                                                                              • Prevented creation of multiple timer objects in targets (#36573)
                                                                                                                                              • +
                                                                                                                                              • Updated expression version and formatted HTTP response for expressions (#36467)
                                                                                                                                              • +
                                                                                                                                              • Enhanced garbage collection in snapshot KV (#36793)
                                                                                                                                              • +
                                                                                                                                              • Added support to execute methods with context parameters (#36798)

                                                                                                                                              v2.4.12

                                                                                                                                              Date de publication : 26 septembre 2024

                                                                                                                                              +

                                                                                                                                              Release Date: September 26, 2024

                                                                                                                                              - +
                                                                                                                                              Version de MilvusVersion du SDK PythonVersion du SDK JavaVersion du SDK Node.js
                                                                                                                                              Milvus versionPython SDK versionJava SDK versionNode.js SDK version
                                                                                                                                              2.4.122.4.72.4.42.4.9
                                                                                                                                              -

                                                                                                                                              Milvus 2.4.12 apporte des améliorations significatives et des corrections de bogues critiques. Cette version résout les problèmes de duplication des données et améliore la vitesse de reprise sur panne, en particulier lors de la gestion d'un grand nombre de suppressions. Cependant, il subsiste un problème connu où la reprise sur panne peut être lente lors de la suppression de quantités massives de données. Nous travaillons activement à la résolution de ce problème.

                                                                                                                                              -

                                                                                                                                              Améliorations

                                                                                                                                                -
                                                                                                                                              • Implémentation de l'arrêt en douceur pour le gestionnaire de graphe de flux(#36358)
                                                                                                                                              • -
                                                                                                                                              • Désactivation des vérifications d'index pour les champs vectoriels non chargés(#36280)
                                                                                                                                              • -
                                                                                                                                              • Filtrage des enregistrements de suppression non réussis pendant le chargement delta(#36272)
                                                                                                                                              • -
                                                                                                                                              • Amélioration de la gestion des exceptions std::stoi(#36296)
                                                                                                                                              • -
                                                                                                                                              • Désactivation des mots-clés comme noms de champs ou noms de champs dynamiques(#36108)
                                                                                                                                              • -
                                                                                                                                              • Ajout de métriques pour les entrées de suppression dans les segments L0(#36227)
                                                                                                                                              • -
                                                                                                                                              • Implémentation de la politique de transfert L0 pour supporter le chargement à distance(#36208)
                                                                                                                                              • -
                                                                                                                                              • Ajout d'une vérification du chargement du champ ANN dans le proxy(#36194)
                                                                                                                                              • -
                                                                                                                                              • Activation de la prise en charge des lignes vides(#36061)
                                                                                                                                              • -
                                                                                                                                              • Correction d'une vulnérabilité de sécurité(#36156)
                                                                                                                                              • -
                                                                                                                                              • Implémentation d'un gestionnaire de statistiques pour les mesures de taille des requêtes/réponses(#36118)
                                                                                                                                              • -
                                                                                                                                              • Correction de l'estimation de la taille des données de tableaux encodés(#36379)
                                                                                                                                              • +

                                                                                                                                                Milvus 2.4.12 introduces significant enhancements and critical bug fixes. This release addresses data duplication issues and improves failure recovery speed, particularly when handling large numbers of deletions. However, a known issue persists where failure recovery can be slow when deleting massive amounts of data. We are actively working on resolving this issue.

                                                                                                                                                +

                                                                                                                                                Improvements

                                                                                                                                                  +
                                                                                                                                                • Implemented graceful stop for flowgraph manager (#36358)
                                                                                                                                                • +
                                                                                                                                                • Disabled index checks for non-loaded vector fields (#36280)
                                                                                                                                                • +
                                                                                                                                                • Filtered out non-hit delete records during delta loading (#36272)
                                                                                                                                                • +
                                                                                                                                                • Improved error handling for std::stoi exceptions (#36296)
                                                                                                                                                • +
                                                                                                                                                • Disallowed keywords as field names or dynamic field names (#36108)
                                                                                                                                                • +
                                                                                                                                                • Added metrics for delete entries in L0 segments (#36227)
                                                                                                                                                • +
                                                                                                                                                • Implemented L0 forward policy to support remote loading (#36208)
                                                                                                                                                • +
                                                                                                                                                • Added ANN field loading check in proxy (#36194)
                                                                                                                                                • +
                                                                                                                                                • Enabled empty sparse row support (#36061)
                                                                                                                                                • +
                                                                                                                                                • Fixed a security vulnerability (#36156)
                                                                                                                                                • +
                                                                                                                                                • Implemented stats handler for request/response size metrics (#36118)
                                                                                                                                                • +
                                                                                                                                                • Corrected size estimation for encoded array data (#36379)
                                                                                                                                                -

                                                                                                                                                Correction de bogues

                                                                                                                                                  -
                                                                                                                                                • Résolution des erreurs de type de métrique pour les collections avec deux champs vectoriels(#36473)
                                                                                                                                                • -
                                                                                                                                                • Correction des problèmes de mise en mémoire tampon longue causant des échecs de réception de la file d'attente des messages(#36425)
                                                                                                                                                • -
                                                                                                                                                • Implémentation de la prise en charge du retour compact-to-segments après fractionnement(#36429)
                                                                                                                                                • -
                                                                                                                                                • Résolution des problèmes de course aux données avec la goroutine de vérification de l'ID du noeud(#36377)
                                                                                                                                                • -
                                                                                                                                                • Suppression de la vérification du type d'élément(#36324)
                                                                                                                                                • -
                                                                                                                                                • Correction des problèmes d'accès concurrents pour les segments croissants et scellés(#36288)
                                                                                                                                                • -
                                                                                                                                                • Implémentation d'un futur verrou à état(#36333)
                                                                                                                                                • -
                                                                                                                                                • Correction de l'utilisation de l'offset dans HybridSearch(#36287, #36253)
                                                                                                                                                • -
                                                                                                                                                • Résolution des fuites de segments/canaux sales sur QueryNode(#36259)
                                                                                                                                                • -
                                                                                                                                                • Correction de la gestion de la duplication de la clé primaire(#36274)
                                                                                                                                                • -
                                                                                                                                                • Mise en place d'un type de métrique dans les requêtes de recherche(#36279)
                                                                                                                                                • -
                                                                                                                                                • Correction du problème d'effacement de la métrique stored_index_files_size(#36161)
                                                                                                                                                • -
                                                                                                                                                • Correction du comportement du groupe de privilèges de lecture-écriture pour l'accès global à l'API(#36145)
                                                                                                                                                • +

                                                                                                                                                  Bug fixes

                                                                                                                                                    +
                                                                                                                                                  • Resolved metric type errors for collections with two vector fields (#36473)
                                                                                                                                                  • +
                                                                                                                                                  • Fixed long buffering issues causing message queue reception failures (#36425)
                                                                                                                                                  • +
                                                                                                                                                  • Implemented proper compact-to-segments return after split support (#36429)
                                                                                                                                                  • +
                                                                                                                                                  • Resolved data race issues with node ID check goroutine (#36377)
                                                                                                                                                  • +
                                                                                                                                                  • Removed element type check (#36324)
                                                                                                                                                  • +
                                                                                                                                                  • Fixed concurrent access issues for growing and sealed segments (#36288)
                                                                                                                                                  • +
                                                                                                                                                  • Implemented future stateful lock (#36333)
                                                                                                                                                  • +
                                                                                                                                                  • Corrected offset usage in HybridSearch (#36287, #36253)
                                                                                                                                                  • +
                                                                                                                                                  • Resolved dirty segment/channel leaks on QueryNode (#36259)
                                                                                                                                                  • +
                                                                                                                                                  • Fixed primary key duplication handling (#36274)
                                                                                                                                                  • +
                                                                                                                                                  • Enforced metric type setting in search requests (#36279)
                                                                                                                                                  • +
                                                                                                                                                  • Fixed stored_index_files_size metric clearing issue (#36161)
                                                                                                                                                  • +
                                                                                                                                                  • Corrected readwrite privilege group behavior for global API access (#36145)

                                                                                                                                                  v2.4.11

                                                                                                                                                  Date de sortie : 11 septembre 2024

                                                                                                                                                  +

                                                                                                                                                  Release Date: September 11, 2024

                                                                                                                                                  - +
                                                                                                                                                  Version de MilvusVersion du SDK PythonVersion du SDK JavaVersion du SDK Node.js
                                                                                                                                                  Milvus versionPython SDK versionJava SDK versionNode.js SDK version
                                                                                                                                                  2.4.112.4.62.4.32.4.8
                                                                                                                                                  -

                                                                                                                                                  Milvus 2.4.11 est une version de correction de bogues qui résout plusieurs problèmes critiques liés à l'index MARISA trie, au compactage et aux opérations de chargement. Cette version introduit de nouvelles fonctionnalités pour visualiser les expressions et améliorer la stabilité des suppressions. Nous recommandons à tous les utilisateurs de la série 2.4.x de passer à cette version pour bénéficier de ces améliorations et corrections.

                                                                                                                                                  -

                                                                                                                                                  Caractéristiques

                                                                                                                                                    -
                                                                                                                                                  • Ajout d'une vue statique pour les expressions en 2.4(#35954)
                                                                                                                                                  • -
                                                                                                                                                  • Implémentation de la logique de quota liée au tampon de suppression(#35997)
                                                                                                                                                  • +

                                                                                                                                                    Milvus 2.4.11 is a bug-fix release that addresses multiple critical issues related to the MARISA trie index, compaction, and loading operations. This release introduces new features to view expressions and improve delete stability. We recommend all users of the 2.4.x series to upgrade to this version to benefit from these improvements and fixes.

                                                                                                                                                    +

                                                                                                                                                    Features

                                                                                                                                                      +
                                                                                                                                                    • Added static view for expressions in 2.4 (#35954)
                                                                                                                                                    • +
                                                                                                                                                    • Implemented delete buffer related quota logic (#35997)
                                                                                                                                                    -

                                                                                                                                                    Corrections de bugs

                                                                                                                                                      -
                                                                                                                                                    • Résolution du problème d'opération de plage d'index Trie pour les comparaisons GreaterThan et GreaterThanEqual(#36126)
                                                                                                                                                    • -
                                                                                                                                                    • Correction de l'utilisation de marisa_label_order dans la construction de l'index Trie(#36060)
                                                                                                                                                    • -
                                                                                                                                                    • Amélioration de la vérification des valeurs pour trie.predictive_search (#35999)
                                                                                                                                                    • -
                                                                                                                                                    • Activation du support des expressions arithmétiques binaires sur les index inversés(#36097)
                                                                                                                                                    • -
                                                                                                                                                    • Correction d'une erreur de segment causée par Skipindex(#35908)
                                                                                                                                                    • -
                                                                                                                                                    • Résolution d'une fuite de mémoire dans le méta-cache du proxy(#36076)
                                                                                                                                                    • -
                                                                                                                                                    • Renommer le chemin du fichier mmap pour éviter les conflits de répertoire(#35975)
                                                                                                                                                    • -
                                                                                                                                                    • Amélioration de la journalisation et du nettoyage pour les tâches échouées ou en retard dans le compactage du mélange(#35967)
                                                                                                                                                    • -
                                                                                                                                                    • Correction d'un blocage logique lors d'une utilisation élevée de la mémoire par le délégateur(#36066)
                                                                                                                                                    • -
                                                                                                                                                    • Implémentation de la création de segments vides lorsque le compactage supprime toutes les insertions(#36045)
                                                                                                                                                    • -
                                                                                                                                                    • Correction de la population de la liste des champs de chargement à partir des informations de chargement de l'ancienne version dans la 2.4(#36018)
                                                                                                                                                    • -
                                                                                                                                                    • Correction de la logique de mise à jour de la configuration de traçage dans la version 2.4(#35998)
                                                                                                                                                    • -
                                                                                                                                                    • Résolution des échecs de recherche/requête lors de la libération de la partition dynamique(#36019)
                                                                                                                                                    • -
                                                                                                                                                    • Prévention de l'annulation des paramètres de repli(#36006)
                                                                                                                                                    • -
                                                                                                                                                    • Enregistrement correct des groupes de privilèges pour la validation(#35938)
                                                                                                                                                    • -
                                                                                                                                                    • Prévention d'un nettoyage erroné des nœuds de limitation de la base de données(#35992)
                                                                                                                                                    • -
                                                                                                                                                    • Résolution du problème avec les répliques ne participant pas aux requêtes après la récupération de l'échec(#35925)
                                                                                                                                                    • -
                                                                                                                                                    • Résolution de la course aux données dans le compacteur de clustering(#35958)
                                                                                                                                                    • -
                                                                                                                                                    • Correction de la référence de variable après l'opération de déplacement(#35904)
                                                                                                                                                    • -
                                                                                                                                                    • Implémentation de la vérification du comportement de chargement du saut de clé de clustering(#35899)
                                                                                                                                                    • -
                                                                                                                                                    • Garantie d'un démarrage unique des observateurs de querycoord en 2.4(#35817)
                                                                                                                                                    • +

                                                                                                                                                      Bug fixes

                                                                                                                                                        +
                                                                                                                                                      • Resolved Trie index range operation issue for GreaterThan and GreaterThanEqual comparisons (#36126)
                                                                                                                                                      • +
                                                                                                                                                      • Corrected marisa_label_order usage in Trie index construction (#36060)
                                                                                                                                                      • +
                                                                                                                                                      • Enhanced value checking for trie.predictive_search (#35999)
                                                                                                                                                      • +
                                                                                                                                                      • Enabled Binary arithmetic expression support on inverted index (#36097)
                                                                                                                                                      • +
                                                                                                                                                      • Fixed segment fault caused by Skipindex (#35908)
                                                                                                                                                      • +
                                                                                                                                                      • Resolved memory leak in proxy meta cache (#36076)
                                                                                                                                                      • +
                                                                                                                                                      • Renamed mmap file path to prevent directory conflicts (#35975)
                                                                                                                                                      • +
                                                                                                                                                      • Improved logging and cleanup for failed/timeout tasks in mix compaction (#35967)
                                                                                                                                                      • +
                                                                                                                                                      • Addressed logic deadlock during high memory usage by delegator (#36066)
                                                                                                                                                      • +
                                                                                                                                                      • Implemented empty segment creation when compaction deletes all inserts (#36045)
                                                                                                                                                      • +
                                                                                                                                                      • Corrected load field list population from old version load info in 2.4 (#36018)
                                                                                                                                                      • +
                                                                                                                                                      • Fixed tracing config update logic in 2.4 (#35998)
                                                                                                                                                      • +
                                                                                                                                                      • Resolved search/query request failures during dynamic partition release (#36019)
                                                                                                                                                      • +
                                                                                                                                                      • Prevented override of fallback parameters (#36006)
                                                                                                                                                      • +
                                                                                                                                                      • Ensured proper registration of privilege groups for validation (#35938)
                                                                                                                                                      • +
                                                                                                                                                      • Prevented mistaken cleanup of db limiter nodes (#35992)
                                                                                                                                                      • +
                                                                                                                                                      • Addressed issue with replicas not participating in queries after failure recovery (#35925)
                                                                                                                                                      • +
                                                                                                                                                      • Resolved data race in clustering compaction writer (#35958)
                                                                                                                                                      • +
                                                                                                                                                      • Fixed variable reference after move operation (#35904)
                                                                                                                                                      • +
                                                                                                                                                      • Implemented clustering key skip load behavior check (#35899)
                                                                                                                                                      • +
                                                                                                                                                      • Ensured single startup of querycoord observers in 2.4 (#35817)
                                                                                                                                                      -

                                                                                                                                                      Améliorations

                                                                                                                                                        -
                                                                                                                                                      • Mise à jour de Milvus et de la version proto vers 2.4.11(#36069)
                                                                                                                                                      • -
                                                                                                                                                      • Correction de la fuite de mémoire dans les tests unitaires et activation de l'option use_asan pour les constructions unittest(#35857)
                                                                                                                                                      • -
                                                                                                                                                      • Ajustement des limites de l0segmentsrowcount à des valeurs plus appropriées(#36015)
                                                                                                                                                      • -
                                                                                                                                                      • Modification du facteur d'estimation de la mémoire de deltalog à un(#36035)
                                                                                                                                                      • -
                                                                                                                                                      • Implémentation de slicesetequal pour les comparaisons de listes de champs de chargement(#36062)
                                                                                                                                                      • -
                                                                                                                                                      • Réduction de la fréquence des journaux pour les opérations de suppression(#35981)
                                                                                                                                                      • -
                                                                                                                                                      • Mise à jour de la version etcd vers 3.5.14(#35977)
                                                                                                                                                      • -
                                                                                                                                                      • Optimisation de la réduction de mmap-rss après l'échauffement(#35965)
                                                                                                                                                      • -
                                                                                                                                                      • Suppression de la période de refroidissement dans le limiteur de taux pour les requêtes de lecture(#35936)
                                                                                                                                                      • -
                                                                                                                                                      • Amélioration de la vérification des champs de chargement pour les collections déjà chargées(#35910)
                                                                                                                                                      • -
                                                                                                                                                      • Ajout de la prise en charge de l'abandon des rôles liés aux listes de privilèges dans la version 2.4(#35863)
                                                                                                                                                      • -
                                                                                                                                                      • Implémentation des règles depguard pour interdire l'utilisation de la bibliothèque proto obsolète(#35818)
                                                                                                                                                      • +

                                                                                                                                                        Improvements

                                                                                                                                                          +
                                                                                                                                                        • Upgraded Milvus & proto version to 2.4.11 (#36069)
                                                                                                                                                        • +
                                                                                                                                                        • Addressed memory leak in unit tests and enable use_asan option for unittest builds (#35857)
                                                                                                                                                        • +
                                                                                                                                                        • Adjusted l0segmentsrowcount limits to more appropriate values (#36015)
                                                                                                                                                        • +
                                                                                                                                                        • Modified deltalog memory estimation factor to one (#36035)
                                                                                                                                                        • +
                                                                                                                                                        • Implemented slicesetequal for load field list comparisons (#36062)
                                                                                                                                                        • +
                                                                                                                                                        • Reduced log frequency for delete operations (#35981)
                                                                                                                                                        • +
                                                                                                                                                        • Upgraded etcd version to 3.5.14 (#35977)
                                                                                                                                                        • +
                                                                                                                                                        • Optimized mmap-rss reduction after warmup (#35965)
                                                                                                                                                        • +
                                                                                                                                                        • Removed cooling off period in rate limiter for read requests (#35936)
                                                                                                                                                        • +
                                                                                                                                                        • Enhanced load field checking for previously loaded collections (#35910)
                                                                                                                                                        • +
                                                                                                                                                        • Added support for dropping roles related to privilege lists in 2.4 (#35863)
                                                                                                                                                        • +
                                                                                                                                                        • Implemented depguard rules to prohibit deprecated proto library usage (#35818)
                                                                                                                                                        -

                                                                                                                                                        Autres

                                                                                                                                                          -
                                                                                                                                                        • Mise à jour de la version de Knowhere(#36067)
                                                                                                                                                        • +

                                                                                                                                                          Others

                                                                                                                                                            +
                                                                                                                                                          • Updated Knowhere version (#36067)

                                                                                                                                                          v2.4.10

                                                                                                                                                          Date de sortie : 30 août 2024

                                                                                                                                                          +

                                                                                                                                                          Release Date: August 30, 2024

                                                                                                                                                          - +
                                                                                                                                                          Version de MilvusVersion du SDK PythonVersion du SDK JavaVersion du SDK Node.js
                                                                                                                                                          Milvus versionPython SDK versionJava SDK versionNode.js SDK version
                                                                                                                                                          2.4.102.4.62.4.32.4.6
                                                                                                                                                          -

                                                                                                                                                          Milvus 2.4.10 apporte des améliorations significatives en termes de fonctionnalité et de stabilité. Les principales caractéristiques comprennent la prise en charge des opérations d'insertion ascendante sur les collections compatibles avec AutoID, les capacités de chargement de collections partielles et diverses configurations à mémoire mappée (MMAP) pour optimiser l'utilisation de la mémoire. Cette version corrige également plusieurs bogues provoquant des paniques, des vidages de noyau et des fuites de ressources. Nous recommandons une mise à jour pour profiter pleinement de ces améliorations.

                                                                                                                                                          -

                                                                                                                                                          Fonctionnalités

                                                                                                                                                            -
                                                                                                                                                          • Upsert avec Auto ID: Prise en charge des opérations d'insertion avec génération automatique d'ID(#34633)
                                                                                                                                                          • -
                                                                                                                                                          • Chargement partiel des champs d'une collection [Beta Preview] : Permet de charger des champs spécifiques d'une collection(#35696)
                                                                                                                                                          • -
                                                                                                                                                          • Améliorations RBAC:
                                                                                                                                                              -
                                                                                                                                                            • Ajout de la prise en charge des messages RBAC pour la capture des données de changement (CDC)(#35562)
                                                                                                                                                            • -
                                                                                                                                                            • Introduction des groupes de privilèges readonly/readwrite/admin pour simplifier le processus d'attribution RBAC(#35543)
                                                                                                                                                            • -
                                                                                                                                                            • Nouvelle API pour sauvegarder et restaurer les configurations RBAC(#35513)
                                                                                                                                                            • -
                                                                                                                                                            • Rafraîchissement du cache du proxy après la restauration des métadonnées RBAC(#35636)
                                                                                                                                                            • +

                                                                                                                                                              Milvus 2.4.10 introduces significant improvements in functionality and stability. Key features include support for upsert operations on AutoID-enabled collections, partial collection loading capabilities, and various memory-mapped (MMAP) configurations to optimize memory usage. This release also addresses several bugs causing panics, core dumps, and resource leaks. We recommend upgrading to take full advantage of these improvements.

                                                                                                                                                              +

                                                                                                                                                              Features

                                                                                                                                                                +
                                                                                                                                                              • Upsert with Auto ID: Support for upsert operations with automatic ID generation (#34633)
                                                                                                                                                              • +
                                                                                                                                                              • Field Partial Load Collection [Beta Preview]: Allows loading specific fields of a collection (#35696)
                                                                                                                                                              • +
                                                                                                                                                              • RBAC Enhancements: +
                                                                                                                                                                  +
                                                                                                                                                                • Added RBAC message support for Change Data Capture (CDC) (#35562)
                                                                                                                                                                • +
                                                                                                                                                                • Introduced readonly/readwrite/admin privilege groups to simplify RBAC grant process (#35543)
                                                                                                                                                                • +
                                                                                                                                                                • New API for backing up and restoring RBAC configurations (#35513)
                                                                                                                                                                • +
                                                                                                                                                                • Refresh proxy cache after restoring RBAC metadata (#35636)
                                                                                                                                                              • -
                                                                                                                                                              • Configuration MMAP améliorée: Options de configuration plus générales pour contrôler le comportement de MMAP(#35609)
                                                                                                                                                              • -
                                                                                                                                                              • Restrictions d'accès aux bases de données: Nouvelles propriétés pour restreindre l'accès en lecture aux bases de données(#35754)
                                                                                                                                                              • +
                                                                                                                                                              • Improved MMAP Configuration: More general configuration options to control MMAP behavior (#35609)
                                                                                                                                                              • +
                                                                                                                                                              • Database Access Restrictions: New properties to restrict read access to databases (#35754)
                                                                                                                                                              -

                                                                                                                                                              Corrections de bugs

                                                                                                                                                                -
                                                                                                                                                              • Correction de l'erreur Arrow Go client don't return(#35820)
                                                                                                                                                              • -
                                                                                                                                                              • Correction de l'imprécision de la limitation de débit(#35700)
                                                                                                                                                              • -
                                                                                                                                                              • Résolution de la panique du proxy après les échecs de l'API liés à l'importation(#35559)
                                                                                                                                                              • -
                                                                                                                                                              • Correction des suppressions erronées potentielles pendant les points de contrôle du canal GC(#35708)
                                                                                                                                                              • -
                                                                                                                                                              • Correction de la panique due à des segments d'importation candidats vides(#35674)
                                                                                                                                                              • -
                                                                                                                                                              • Correction de la désallocation de mémoire mmap(#35726)
                                                                                                                                                              • -
                                                                                                                                                              • Garantie d'une surveillance correcte des canaux pour les mises à niveau de 2.2 à 2.4(#35695)
                                                                                                                                                              • -
                                                                                                                                                              • Correction de la fonction de libération de canal de DataNode sans surveillance(#35657)
                                                                                                                                                              • -
                                                                                                                                                              • Correction du nombre de partitions dans les métadonnées RootCoord(#35601)
                                                                                                                                                              • -
                                                                                                                                                              • Résolution des problèmes de mise à jour dynamique de la configuration pour certains paramètres(#35637)
                                                                                                                                                              • +

                                                                                                                                                                Bug fixes

                                                                                                                                                                  +
                                                                                                                                                                • Fixed Arrow Go client don’t return error issue (#35820)
                                                                                                                                                                • +
                                                                                                                                                                • Corrected inaccurate rate limiting (#35700)
                                                                                                                                                                • +
                                                                                                                                                                • Resolved proxy panic after import-related API failures (#35559)
                                                                                                                                                                • +
                                                                                                                                                                • Fixed potential mistaken deletions during GC channel checkpoints (#35708)
                                                                                                                                                                • +
                                                                                                                                                                • Addressed panic due to empty candidate import segments (#35674)
                                                                                                                                                                • +
                                                                                                                                                                • Corrected mmap memory deallocation (#35726)
                                                                                                                                                                • +
                                                                                                                                                                • Ensured proper channel watching for upgrades from 2.2 to 2.4 (#35695)
                                                                                                                                                                • +
                                                                                                                                                                • Fixed DataNode unwatching channel release function (#35657)
                                                                                                                                                                • +
                                                                                                                                                                • Corrected partition count in RootCoord metadata (#35601)
                                                                                                                                                                • +
                                                                                                                                                                • Resolved issues with dynamic config updates for certain parameters (#35637)
                                                                                                                                                                -

                                                                                                                                                                Améliorations

                                                                                                                                                                Performance

                                                                                                                                                                  -
                                                                                                                                                                • Optimisation de la recherche sur les champs dynamiques(#35602)
                                                                                                                                                                • -
                                                                                                                                                                • Amélioration des performances des bitset pour AVX512(#35480)
                                                                                                                                                                • -
                                                                                                                                                                • Relecture de la valeur après l'initialisation de once pour une meilleure efficacité(#35643)
                                                                                                                                                                • +

                                                                                                                                                                  Improvements

                                                                                                                                                                  Performance

                                                                                                                                                                    +
                                                                                                                                                                  • Optimized retrieval on dynamic fields (#35602)
                                                                                                                                                                  • +
                                                                                                                                                                  • Improved bitset performance for AVX512 (#35480)
                                                                                                                                                                  • +
                                                                                                                                                                  • Re-read value after once initialization for better efficiency (#35643)
                                                                                                                                                                  -

                                                                                                                                                                  Améliorations de la mise à jour continue

                                                                                                                                                                    -
                                                                                                                                                                  • Marquage du noeud de requête en lecture seule après suspension(#35586)
                                                                                                                                                                  • -
                                                                                                                                                                  • Prévention de la coexistence de l'ancien coordinateur avec le nouveau noeud/proxy(#35760)
                                                                                                                                                                  • +

                                                                                                                                                                    Rolling upgrade improvements

                                                                                                                                                                      +
                                                                                                                                                                    • Marked query node as read-only after suspended (#35586)
                                                                                                                                                                    • +
                                                                                                                                                                    • Prevented coexistence of old coordinator with new node/proxy (#35760)
                                                                                                                                                                    -

                                                                                                                                                                    Autres

                                                                                                                                                                      -
                                                                                                                                                                    • Optimisation du processus de construction du noyau Milvus(#35660)
                                                                                                                                                                    • -
                                                                                                                                                                    • Mise à jour vers protobuf-go v2(#35555)
                                                                                                                                                                    • -
                                                                                                                                                                    • Amélioration du traçage avec encodage de chaîne hexagonale pour traceid et spanid(#35568)
                                                                                                                                                                    • -
                                                                                                                                                                    • Ajout de la métrique "hit segment number" pour le "query hook"(#35619)
                                                                                                                                                                    • -
                                                                                                                                                                    • Amélioration de la compatibilité avec l'ancien SDK pour la fonctionnalité configure load param(#35573)
                                                                                                                                                                    • -
                                                                                                                                                                    • Ajout de la prise en charge de l'étranglement HTTP v1/v2(#35504)
                                                                                                                                                                    • -
                                                                                                                                                                    • Correction de l'estimation de la mémoire de l'index(#35670)
                                                                                                                                                                    • -
                                                                                                                                                                    • Possibilité d'écrire plusieurs segments dans le compacteur de mix pour éviter la génération de gros segments(#35648)
                                                                                                                                                                    • +

                                                                                                                                                                      Others

                                                                                                                                                                        +
                                                                                                                                                                      • Optimized Milvus core building process (#35660)
                                                                                                                                                                      • +
                                                                                                                                                                      • Updated to protobuf-go v2 (#35555)
                                                                                                                                                                      • +
                                                                                                                                                                      • Enhanced tracing with hex string encoding for traceid and spanid (#35568)
                                                                                                                                                                      • +
                                                                                                                                                                      • Added hit segment number metrics for query hook (#35619)
                                                                                                                                                                      • +
                                                                                                                                                                      • Improved compatibility with old SDK for configure load param feature (#35573)
                                                                                                                                                                      • +
                                                                                                                                                                      • Added support for HTTP v1/v2 throttling (#35504)
                                                                                                                                                                      • +
                                                                                                                                                                      • Fixed index memory estimation (#35670)
                                                                                                                                                                      • +
                                                                                                                                                                      • Ability to write multiple segments in mix compactor to avoid large segment generation (#35648)

                                                                                                                                                                      v2.4.9

                                                                                                                                                                      Date de sortie : 20 août 2024

                                                                                                                                                                      +

                                                                                                                                                                      Release Date: August 20, 2024

                                                                                                                                                                      - +
                                                                                                                                                                      Version de MilvusVersion du SDK PythonVersion du SDK JavaVersion du SDK Node.js
                                                                                                                                                                      Milvus versionPython SDK versionJava SDK versionNode.js SDK version
                                                                                                                                                                      2.4.92.4.52.4.32.4.4
                                                                                                                                                                      -

                                                                                                                                                                      Milvus v2.4.9 corrige un problème critique qui pouvait renvoyer des résultats inférieurs à la limite (topk) dans certains cas particuliers et inclut plusieurs améliorations clés pour améliorer les performances et la convivialité de la plateforme.

                                                                                                                                                                      -

                                                                                                                                                                      Corrections critiques

                                                                                                                                                                        -
                                                                                                                                                                      • Exclusion du segment l0 de l'instantané lisible(#35510).
                                                                                                                                                                      • +

                                                                                                                                                                        Milvus v2.4.9 addresses a critical issue which could return results less than limit (topk) in some corner cases and includes several key improvements to enhance the performance and usability of the platform.

                                                                                                                                                                        +

                                                                                                                                                                        Critical fixes

                                                                                                                                                                          +
                                                                                                                                                                        • Excluded l0 segment from readable snapshot (#35510).
                                                                                                                                                                        -

                                                                                                                                                                        Améliorations

                                                                                                                                                                          -
                                                                                                                                                                        • Suppression de la création dupliquée de l'aide de schéma dans le proxy(#35502).
                                                                                                                                                                        • -
                                                                                                                                                                        • Ajout de la prise en charge de la compilation de Milvus sur Ubuntu 20.04(#35457).
                                                                                                                                                                        • -
                                                                                                                                                                        • Optimisation de l'utilisation des verrous et évitement du double flush du clustering buffer writer(#35490).
                                                                                                                                                                        • -
                                                                                                                                                                        • Suppression du journal invalide(#35473).
                                                                                                                                                                        • -
                                                                                                                                                                        • Ajout d'un guide d'utilisation du compactage en grappe(#35428).
                                                                                                                                                                        • -
                                                                                                                                                                        • Ajout du support des champs dynamiques dans l'aide au schéma(#35469).
                                                                                                                                                                        • -
                                                                                                                                                                        • Ajout de la section msgchannel dans le YAML généré(#35466).
                                                                                                                                                                        • +

                                                                                                                                                                          Improvements

                                                                                                                                                                            +
                                                                                                                                                                          • Removed duplicated schema helper creation in the proxy (#35502).
                                                                                                                                                                          • +
                                                                                                                                                                          • Added support for compiling Milvus on Ubuntu 20.04 (#35457).
                                                                                                                                                                          • +
                                                                                                                                                                          • Optimized the use of locks and avoided double flush clustering buffer writer (#35490).
                                                                                                                                                                          • +
                                                                                                                                                                          • Removed the invalid log (#35473).
                                                                                                                                                                          • +
                                                                                                                                                                          • Added a clustering compaction user guide doc (#35428).
                                                                                                                                                                          • +
                                                                                                                                                                          • Added support for dynamic fields in the schema helper (#35469).
                                                                                                                                                                          • +
                                                                                                                                                                          • Added the msgchannel section in the generated YAML (#35466).

                                                                                                                                                                          v2.4.8

                                                                                                                                                                          Date de publication : 14 août 2024

                                                                                                                                                                          +

                                                                                                                                                                          Release Date: August 14, 2024

                                                                                                                                                                          - +
                                                                                                                                                                          Version de MilvusVersion du SDK PythonVersion du SDK JavaVersion du SDK Node.js
                                                                                                                                                                          Milvus versionPython SDK versionJava SDK versionNode.js SDK version
                                                                                                                                                                          2.4.82.4.52.4.32.4.4
                                                                                                                                                                          -

                                                                                                                                                                          Milvus 2.4.8 a apporté plusieurs améliorations significatives aux performances et à la stabilité du système. La caractéristique la plus notable était la mise en œuvre du compactage par regroupement, un mécanisme qui améliore l'efficacité des recherches et des requêtes en redistribuant les données dans de grandes collections sur la base d'une clé de regroupement désignée, réduisant ainsi la quantité de données analysées. Le compactage a également été découplé du DataNode, ce qui permet à n'importe quel DataNode d'effectuer le compactage indépendamment, améliorant ainsi la tolérance aux pannes, la stabilité, les performances et l'évolutivité. En outre, l'interface entre les composants Go et C++ a été remaniée pour utiliser des appels CGO asynchrones, ce qui a permis de résoudre des problèmes tels que les délais de session, tandis que plusieurs autres optimisations des performances ont été réalisées sur la base du profilage. Les dépendances de l'application ont également été mises à jour pour corriger les vulnérabilités de sécurité connues. De plus, cette version comprend également de nombreuses optimisations de performance et des corrections de bogues critiques.

                                                                                                                                                                          -

                                                                                                                                                                          Fonctionnalités

                                                                                                                                                                            -
                                                                                                                                                                          • Implémentation du clustering compaction, permettant aux données d'être redistribuées sur la base d'une clé de clustering désignée afin d'améliorer l'efficacité des requêtes(#34326),(#34363).
                                                                                                                                                                          • +

                                                                                                                                                                            Milvus 2.4.8 introduced several significant improvements to the system’s performance and stability. The most notable feature was the implementation of clustering compaction, a mechanism that enhances search and query efficiency by redistributing data in large collections based on a designated clustering key, reducing the amount of data scanned. Compaction was also decoupled from the shard DataNode, allowing any DataNode to perform compaction independently, which improved fault tolerance, stability, performance, and scalability. Additionally, the interface between the Go and C++ components was refactored to use asynchronous CGO calls, addressing issues like session timeouts, while several other performance optimizations were made based on profiling. The application dependencies were also updated to address known security vulnerabilities. Moreover, this release also includes numerous performance optimizations and critical bug fixes.

                                                                                                                                                                            +

                                                                                                                                                                            Features

                                                                                                                                                                              +
                                                                                                                                                                            • Implemented clustering compaction, allowing data to be redistributed based on a designated clustering key to enhance query efficiency (#34326), (#34363).
                                                                                                                                                                            -

                                                                                                                                                                            Améliorations

                                                                                                                                                                              -
                                                                                                                                                                            • Implémentation des capacités de recherche et d'extraction asynchrones dans CGO.(#34200)
                                                                                                                                                                            • -
                                                                                                                                                                            • Séparation du processus de compaction du DataNode Shard pour améliorer la modularité du système.(#34157)
                                                                                                                                                                            • -
                                                                                                                                                                            • Ajout du support pour le pooling client dans QueryNode au sein du proxy/délégateur pour améliorer les performances.(#35195)
                                                                                                                                                                            • -
                                                                                                                                                                            • Intégration de Sonic pour minimiser la surcharge CPU pendant le marshaling JSON et le unmarshaling dans les handlers Gin et RestfulV1.(#35018)
                                                                                                                                                                            • -
                                                                                                                                                                            • Introduction d'un cache en mémoire pour optimiser la récupération des résultats d'authentification.(#35272)
                                                                                                                                                                            • -
                                                                                                                                                                            • Modification du type de métrique par défaut pour autoindex.[#34277, #34479]
                                                                                                                                                                            • -
                                                                                                                                                                            • Refonte du format de mémoire d'exécution pour les colonnes variables, conduisant à une réduction de l'utilisation de la mémoire.[#34367, #35012, #35041]
                                                                                                                                                                            • -
                                                                                                                                                                            • Refonte des processus de compactage pour permettre le stockage de données persistantes.(#34268)
                                                                                                                                                                            • -
                                                                                                                                                                            • Activation de la prise en charge des fichiers mappés en mémoire pour les segments croissants, ce qui améliore la gestion de la mémoire.(#34110)
                                                                                                                                                                            • -
                                                                                                                                                                            • Amélioration des journaux d'accès en ajoutant la prise en charge de l'API RESTful, les niveaux de cohérence des journaux et la distinction entre les erreurs système et les erreurs utilisateur.[#34295, #34352, #34396]
                                                                                                                                                                            • -
                                                                                                                                                                            • Utilisation du nouveau paramètre range_search_k dans Knowhere pour accélérer les recherches de portée.(#34709)
                                                                                                                                                                            • -
                                                                                                                                                                            • Application de filtres de Bloom bloqués pour améliorer la vitesse de construction des filtres et des requêtes.[#34377, #34922]
                                                                                                                                                                            • -
                                                                                                                                                                            • Amélioration de l'utilisation de la mémoire :
                                                                                                                                                                                -
                                                                                                                                                                              • Espace pré-alloué pour les tampons d'insertion des DataNodes.(#34205)
                                                                                                                                                                              • -
                                                                                                                                                                              • Pré-allocation de FieldData pour les opérations Reduce.(#34254)
                                                                                                                                                                              • -
                                                                                                                                                                              • Libération des enregistrements dans le codec de suppression pour éviter les fuites de mémoire.(#34506)
                                                                                                                                                                              • -
                                                                                                                                                                              • Contrôle du niveau de concurrence du gestionnaire de fichiers disque pendant le chargement des fichiers.(#35282)
                                                                                                                                                                              • -
                                                                                                                                                                              • Optimisation de la logique de collecte des ordures en cours d'exécution de Go pour libérer la mémoire en temps voulu.(#34950)
                                                                                                                                                                              • -
                                                                                                                                                                              • Implémentation d'une nouvelle politique de scellement pour les segments croissants.(#34779)
                                                                                                                                                                              • +

                                                                                                                                                                                Improvements

                                                                                                                                                                                  +
                                                                                                                                                                                • Implemented asynchronous search and retrieval capabilities in CGO. (#34200)
                                                                                                                                                                                • +
                                                                                                                                                                                • Separated the compaction process from the Shard DataNode to improve system modularity. (#34157)
                                                                                                                                                                                • +
                                                                                                                                                                                • Added support for client pooling in QueryNode within the proxy/delegator to enhance performance. (#35195)
                                                                                                                                                                                • +
                                                                                                                                                                                • Integrated Sonic to minimize CPU overhead during JSON marshaling and unmarshaling in Gin and RestfulV1 handlers. (#35018)
                                                                                                                                                                                • +
                                                                                                                                                                                • Introduced an in-memory cache to optimize authentication result retrieval. (#35272)
                                                                                                                                                                                • +
                                                                                                                                                                                • Modified the default metric type for autoindex. [#34277, #34479]
                                                                                                                                                                                • +
                                                                                                                                                                                • Refactored the runtime memory format for variable columns, leading to reduced memory usage. [#34367, #35012, #35041]
                                                                                                                                                                                • +
                                                                                                                                                                                • Refactored compaction processes to enable persistent data storage. (#34268)
                                                                                                                                                                                • +
                                                                                                                                                                                • Enabled memory-mapped file support for growing segments, improving memory management. (#34110)
                                                                                                                                                                                • +
                                                                                                                                                                                • Improved access logs by adding RESTful API support, logging consistency levels, and distinguishing between system and user errors. [#34295, #34352, #34396]
                                                                                                                                                                                • +
                                                                                                                                                                                • Utilized the new range_search_k parameter in Knowhere to speed up range searches. (#34709)
                                                                                                                                                                                • +
                                                                                                                                                                                • Applied blocked Bloom filters to enhance the speed of filter construction and querying. [#34377, #34922]
                                                                                                                                                                                • +
                                                                                                                                                                                • Memory Usage Improvements: +
                                                                                                                                                                                    +
                                                                                                                                                                                  • Pre-allocated space for DataNode insert buffers. (#34205)
                                                                                                                                                                                  • +
                                                                                                                                                                                  • Pre-allocated FieldData for Reduce operations. (#34254)
                                                                                                                                                                                  • +
                                                                                                                                                                                  • Released records in delete codec to prevent memory leaks. (#34506)
                                                                                                                                                                                  • +
                                                                                                                                                                                  • Controlled concurrency level of the disk file manager during file loading. (#35282)
                                                                                                                                                                                  • +
                                                                                                                                                                                  • Optimized Go runtime garbage collection logic for timely memory release. (#34950)
                                                                                                                                                                                  • +
                                                                                                                                                                                  • Implemented a new seal policy for growing segments. (#34779)
                                                                                                                                                                                • -
                                                                                                                                                                                • Améliorations de DataCoord :
                                                                                                                                                                                    -
                                                                                                                                                                                  • Réduction de l'utilisation du CPU.[#34231, #34309]
                                                                                                                                                                                  • -
                                                                                                                                                                                  • Implémentation d'une logique de sortie du ramasse-miettes plus rapide.(#35051)
                                                                                                                                                                                  • -
                                                                                                                                                                                  • Amélioration des algorithmes de planification des noeuds de travail.(#34382)
                                                                                                                                                                                  • -
                                                                                                                                                                                  • Amélioration de l'algorithme de contrôle de la taille des segments spécifiquement pour les opérations d'importation.(#35149)
                                                                                                                                                                                  • +
                                                                                                                                                                                  • DataCoord Enhancements: +
                                                                                                                                                                                      +
                                                                                                                                                                                    • Reduced CPU usage. [#34231, #34309]
                                                                                                                                                                                    • +
                                                                                                                                                                                    • Implemented faster garbage collection exit logic. (#35051)
                                                                                                                                                                                    • +
                                                                                                                                                                                    • Improved worker node scheduling algorithms. (#34382)
                                                                                                                                                                                    • +
                                                                                                                                                                                    • Enhanced segment size control algorithm specifically for import operations. (#35149)
                                                                                                                                                                                  • -
                                                                                                                                                                                  • Amélioration de l'algorithme d'équilibrage de charge :
                                                                                                                                                                                      -
                                                                                                                                                                                    • Réduction du facteur de surcharge de la mémoire sur le délégateur.(#35164)
                                                                                                                                                                                    • -
                                                                                                                                                                                    • Allocation d'une taille de mémoire fixe pour le délégateur.(#34600)
                                                                                                                                                                                    • -
                                                                                                                                                                                    • Evite l'allocation excessive de segments et de canaux pour les nouveaux noeuds de requête.(#34245)
                                                                                                                                                                                    • -
                                                                                                                                                                                    • Réduction du nombre de tâches par cycle d'ordonnancement par le coordinateur de requêtes tout en augmentant la fréquence d'ordonnancement.(#34987)
                                                                                                                                                                                    • -
                                                                                                                                                                                    • Amélioration de l'algorithme d'équilibrage des canaux sur le DataNode.(#35033)
                                                                                                                                                                                    • +
                                                                                                                                                                                    • Load Balancing Algorithm Improvements: +
                                                                                                                                                                                        +
                                                                                                                                                                                      • Reduced the memory overload factor on the delegator. (#35164)
                                                                                                                                                                                      • +
                                                                                                                                                                                      • Allocated fixed memory size for the delegator. (#34600)
                                                                                                                                                                                      • +
                                                                                                                                                                                      • Avoided excessive allocation of segments and channels for new query nodes. (#34245)
                                                                                                                                                                                      • +
                                                                                                                                                                                      • Reduced the number of tasks per scheduling cycle by Query Coordinator while increasing scheduling frequency. (#34987)
                                                                                                                                                                                      • +
                                                                                                                                                                                      • Enhanced channel balancing algorithm on the DataNode. (#35033)
                                                                                                                                                                                    • -
                                                                                                                                                                                    • Extension des métriques du système : Ajout de nouvelles mesures à travers divers composants pour surveiller des aspects spécifiques, y compris :
                                                                                                                                                                                        -
                                                                                                                                                                                      • Force-deny-writing state.(#34989)
                                                                                                                                                                                      • -
                                                                                                                                                                                      • Latence de la file d'attente.(#34788)
                                                                                                                                                                                      • -
                                                                                                                                                                                      • Quota de disque.(#35306)
                                                                                                                                                                                      • -
                                                                                                                                                                                      • Temps d'exécution des tâches.(#35141)
                                                                                                                                                                                      • -
                                                                                                                                                                                      • Taille du Binlog.(#35235)
                                                                                                                                                                                      • -
                                                                                                                                                                                      • Taux d'insertion.(#35188)
                                                                                                                                                                                      • -
                                                                                                                                                                                      • Niveau d'eau élevé de la mémoire.(#35188)
                                                                                                                                                                                      • -
                                                                                                                                                                                      • Métriques de l'API RESTful.(#35083)
                                                                                                                                                                                      • -
                                                                                                                                                                                      • Latence de recherche.(#34783)
                                                                                                                                                                                      • +
                                                                                                                                                                                      • Expanded System Metrics: Added new metrics across various components to monitor specific aspects including: +
                                                                                                                                                                                      -

                                                                                                                                                                                      Changements

                                                                                                                                                                                        -
                                                                                                                                                                                      • Pour les utilisateurs de logiciels libres, cette version modifie les types de métriques dans AutoIndex pour FloatVector et BinaryVector en Cosine et Hamming, respectivement.

                                                                                                                                                                                      • -
                                                                                                                                                                                      • Versions de dépendances tierces corrigées:

                                                                                                                                                                                        +

                                                                                                                                                                                        Changes

                                                                                                                                                                                          +
                                                                                                                                                                                        • For open-source users, this version changes the metric types in AutoIndex for FloatVector and BinaryVector to Cosine and Hamming, respectively.

                                                                                                                                                                                        • +
                                                                                                                                                                                        • Fixed Third-Party Dependency Versions:

                                                                                                                                                                                            -
                                                                                                                                                                                          • Cette version introduit des versions corrigées pour certaines bibliothèques de dépendances tierces, ce qui améliore considérablement la gestion de la chaîne d'approvisionnement logicielle de Milvus.
                                                                                                                                                                                          • -
                                                                                                                                                                                          • En isolant le projet des modifications en amont, elle protège les constructions quotidiennes des perturbations potentielles.
                                                                                                                                                                                          • -
                                                                                                                                                                                          • La mise à jour garantit la stabilité en hébergeant exclusivement des paquets tiers C++ validés sur JFrog Cloud et en utilisant les révisions de recettes Conan (RREV).
                                                                                                                                                                                          • -
                                                                                                                                                                                          • Cette approche atténue le risque de rupture des changements provenant des mises à jour dans ConanCenter.
                                                                                                                                                                                          • -
                                                                                                                                                                                          • Les développeurs utilisant Ubuntu 22.04 bénéficieront immédiatement de ces changements. Cependant, les développeurs utilisant d'autres systèmes d'exploitation devront peut-être mettre à jour leur version de glibc pour éviter les problèmes de compatibilité.
                                                                                                                                                                                          • +
                                                                                                                                                                                          • This release introduces fixed versions for certain third-party dependency libraries, significantly enhancing Milvus’s software supply chain management.
                                                                                                                                                                                          • +
                                                                                                                                                                                          • By isolating the project from upstream changes, it safeguards daily builds from potential disruptions.
                                                                                                                                                                                          • +
                                                                                                                                                                                          • The update ensures stability by exclusively hosting validated C++ third-party packages on JFrog Cloud and utilizing Conan Recipe Revisions (RREV).
                                                                                                                                                                                          • +
                                                                                                                                                                                          • This approach mitigates the risk of breaking changes from updates in ConanCenter.
                                                                                                                                                                                          • +
                                                                                                                                                                                          • Developers using Ubuntu 22.04 will benefit immediately from these changes. However, developers on other operating systems may need to upgrade their glibc version to avoid compatibility issues.
                                                                                                                                                                                        -

                                                                                                                                                                                        Corrections de bugs critiques

                                                                                                                                                                                          -
                                                                                                                                                                                        • Correction d'un problème où les données de suppression étaient perdues à cause de l'omission de segments pendant le compactage de L0.[#33980, #34363]
                                                                                                                                                                                        • -
                                                                                                                                                                                        • Correction d'un problème où les messages de suppression n'étaient pas transférés en raison d'une mauvaise gestion de l'étendue des données.(#35313)
                                                                                                                                                                                        • -
                                                                                                                                                                                        • Résolution d'une exception SIGBUS survenant suite à une utilisation incorrecte de mmap[#34455, #34530].
                                                                                                                                                                                        • -
                                                                                                                                                                                        • Correction des plantages causés par des expressions de recherche illégales.(#35307)
                                                                                                                                                                                        • -
                                                                                                                                                                                        • Correction d'un problème où la surveillance d'un DataNode échouait à cause d'un réglage incorrect du délai d'attente dans le contexte de surveillance.(#35017)
                                                                                                                                                                                        • +

                                                                                                                                                                                          Critical bug fixes

                                                                                                                                                                                            +
                                                                                                                                                                                          • Fixed an issue where deletion data was lost due to segments being omitted during L0 compaction. [#33980, #34363]
                                                                                                                                                                                          • +
                                                                                                                                                                                          • Rectified a problem where delete messages failed to be forwarded due to incorrect data scope handling. (#35313)
                                                                                                                                                                                          • +
                                                                                                                                                                                          • Resolved a SIGBUS exception that occurred due to incorrect usage of mmap. [#34455, #34530]
                                                                                                                                                                                          • +
                                                                                                                                                                                          • Fixed crashes caused by illegal search expressions. (#35307)
                                                                                                                                                                                          • +
                                                                                                                                                                                          • Corrected an issue where DataNode watch failed due to an incorrect timeout setting in the watch context. (#35017)
                                                                                                                                                                                          -

                                                                                                                                                                                          Correction de bogues

                                                                                                                                                                                            -
                                                                                                                                                                                          • Correction des vulnérabilités de sécurité en mettant à jour certaines dépendances.[#33927, #34693]
                                                                                                                                                                                          • -
                                                                                                                                                                                          • Correction d'une erreur d'analyse déclenchée par des expressions excessivement longues.(#34957)
                                                                                                                                                                                          • -
                                                                                                                                                                                          • Résolution d'une fuite de mémoire qui se produisait lors de l'analyse du plan de requête.(#34932)
                                                                                                                                                                                          • -
                                                                                                                                                                                          • Correction d'un problème où les modifications dynamiques du niveau du journal ne prenaient pas effet.(#34777)
                                                                                                                                                                                          • -
                                                                                                                                                                                          • Résolution d'un problème où les requêtes group by sur des données croissantes échouaient à cause d'offsets de segments non initialisés.(#34750)
                                                                                                                                                                                          • -
                                                                                                                                                                                          • Correction de la définition des paramètres de recherche lors de l'utilisation de l'itérateur Knowhere.(#34732)
                                                                                                                                                                                          • -
                                                                                                                                                                                          • Révision de la logique de vérification de l'état du chargement de la partition.(#34305)
                                                                                                                                                                                          • -
                                                                                                                                                                                          • Correction d'un problème où les mises à jour du cache des privilèges échouaient à cause d'erreurs de requête non gérées.(#34697)
                                                                                                                                                                                          • -
                                                                                                                                                                                          • Résolution d'un échec dans la récupération de la collection chargée après le redémarrage de QueryCoord.(#35211)
                                                                                                                                                                                          • -
                                                                                                                                                                                          • Correction d'un problème d'idempotence de charge en supprimant la validation inutile des paramètres d'index.(#35179)
                                                                                                                                                                                          • -
                                                                                                                                                                                          • S'assurer que compressBinlog est exécuté pour permettre à reloadFromKV de remplir correctement le logID de binlog après le redémarrage de DataCoord.(#34062)
                                                                                                                                                                                          • -
                                                                                                                                                                                          • Correction d'un problème où les métadonnées de collecte n'étaient pas supprimées après le ramassage des ordures dans DataCoord.(#34884)
                                                                                                                                                                                          • -
                                                                                                                                                                                          • Résolution d'une fuite de mémoire dans SegmentManager au sein de DataCoord en supprimant les segments vidés générés par les importations.(#34651)
                                                                                                                                                                                          • -
                                                                                                                                                                                          • Correction d'un problème de panique lorsque le compactage était désactivé et qu'une collection était abandonnée.(#34206)
                                                                                                                                                                                          • -
                                                                                                                                                                                          • Correction d'un problème de dépassement de mémoire dans DataNode en améliorant l'algorithme d'estimation de l'utilisation de la mémoire.(#34203)
                                                                                                                                                                                          • -
                                                                                                                                                                                          • Prévention de l'utilisation de la mémoire en rafale lorsque plusieurs requêtes d'extraction de vecteurs ont un échec de cache en implémentant le vol unique pour le cache de morceaux.(#34283)
                                                                                                                                                                                          • -
                                                                                                                                                                                          • Capture de ErrKeyNotFound pendant les opérations CAS (Compare and Swap) dans la configuration.(#34489)
                                                                                                                                                                                          • -
                                                                                                                                                                                          • Correction d'un problème où les mises à jour de configuration échouaient à cause de l'utilisation par erreur de la valeur formatée dans une opération CAS.(#34373)
                                                                                                                                                                                          • +

                                                                                                                                                                                            Bug fixes

                                                                                                                                                                                              +
                                                                                                                                                                                            • Addressed security vulnerabilities by upgrading certain dependencies. [#33927, #34693]
                                                                                                                                                                                            • +
                                                                                                                                                                                            • Fixed a parsing error triggered by excessively long expressions. (#34957)
                                                                                                                                                                                            • +
                                                                                                                                                                                            • Resolved a memory leak that occurred during query plan parsing. (#34932)
                                                                                                                                                                                            • +
                                                                                                                                                                                            • Fixed an issue where dynamic log level modifications were not taking effect. (#34777)
                                                                                                                                                                                            • +
                                                                                                                                                                                            • Resolved an issue where group by queries on growing data failed due to uninitialized segment offsets. (#34750)
                                                                                                                                                                                            • +
                                                                                                                                                                                            • Corrected the setting of search parameters when using the Knowhere iterator. (#34732)
                                                                                                                                                                                            • +
                                                                                                                                                                                            • Revised the logic for checking the status of the partition load. (#34305)
                                                                                                                                                                                            • +
                                                                                                                                                                                            • Fixed an issue where privilege cache updates failed due to unhandled request errors. (#34697)
                                                                                                                                                                                            • +
                                                                                                                                                                                            • Resolved a failure in loaded collection recovery after QueryCoord restarted. (#35211)
                                                                                                                                                                                            • +
                                                                                                                                                                                            • Fixed an issue of load idempotence by removing unnecessary index parameter validation. (#35179)
                                                                                                                                                                                            • +
                                                                                                                                                                                            • Ensured compressBinlog is executed to allow reloadFromKV to properly fill binlog’s logID after DataCoord restarts. (#34062)
                                                                                                                                                                                            • +
                                                                                                                                                                                            • Fixed an issue where collection metadata was not removed after garbage collection in DataCoord. (#34884)
                                                                                                                                                                                            • +
                                                                                                                                                                                            • Resolved a memory leak in SegmentManager within DataCoord by removing flushed segments generated through imports. (#34651)
                                                                                                                                                                                            • +
                                                                                                                                                                                            • Fixed a panic issue when compaction was disabled and a collection was dropped. (#34206)
                                                                                                                                                                                            • +
                                                                                                                                                                                            • Fixed an out-of-memory issue in DataNode by enhancing the memory usage estimation algorithm. (#34203)
                                                                                                                                                                                            • +
                                                                                                                                                                                            • Prevented burst memory usage when multiple vector retrieval requests hit a cache miss by implementing singleflight for chunk cache. (#34283)
                                                                                                                                                                                            • +
                                                                                                                                                                                            • Captured ErrKeyNotFound during CAS (Compare and Swap) operations in the configuration. (#34489)
                                                                                                                                                                                            • +
                                                                                                                                                                                            • Fixed an issue where configuration updates failed due to mistakenly using the formatted value in a CAS operation. (#34373)
                                                                                                                                                                                            -

                                                                                                                                                                                            Divers

                                                                                                                                                                                              -
                                                                                                                                                                                            • Ajout de la prise en charge de l'exportateur HTTP OTLP, améliorant l'observabilité et les capacités de surveillance.[#35073, #35299]
                                                                                                                                                                                            • -
                                                                                                                                                                                            • Amélioration de la fonctionnalité de la base de données en introduisant des propriétés telles que "max collections" et "disk quota", qui peuvent maintenant être modifiées dynamiquement.[#34511, #34386]
                                                                                                                                                                                            • -
                                                                                                                                                                                            • Ajout de capacités de traçage pour les processus de compactage L0 dans DataNode afin d'améliorer les diagnostics et la surveillance.(#33898)
                                                                                                                                                                                            • -
                                                                                                                                                                                            • Introduction d'une configuration de quotas pour le nombre d'entrées de segments L0 par collection, permettant un meilleur contrôle des taux de suppression en appliquant une rétropression.(#34837)
                                                                                                                                                                                            • -
                                                                                                                                                                                            • Extension du mécanisme de limitation du taux pour les opérations d'insertion afin de couvrir également les opérations d'insertion ascendante, garantissant des performances constantes en cas de charge élevée.(#34616)
                                                                                                                                                                                            • -
                                                                                                                                                                                            • Implémentation d'un pool CGO dynamique pour les appels CGO proxy, optimisant l'utilisation des ressources et les performances.(#34842)
                                                                                                                                                                                            • -
                                                                                                                                                                                            • Activation de l'option de compilation DiskAnn pour les systèmes d'exploitation Ubuntu, Rocky et Amazon, améliorant la compatibilité et les performances sur ces plateformes.(#34244)
                                                                                                                                                                                            • -
                                                                                                                                                                                            • Mise à jour de Conan vers la version 1.64.1, assurant la compatibilité avec les dernières fonctionnalités et améliorations.(#35216)
                                                                                                                                                                                            • -
                                                                                                                                                                                            • Mise à jour de Knowhere vers la version 2.3.7, apportant des améliorations de performance et de nouvelles fonctionnalités.(#34709)
                                                                                                                                                                                            • -
                                                                                                                                                                                            • Correction de la révision de certains paquets tiers pour assurer des constructions cohérentes et réduire le risque de changements inattendus.(#35316)
                                                                                                                                                                                            • +

                                                                                                                                                                                              Miscellaneous

                                                                                                                                                                                                +
                                                                                                                                                                                              • Added support for the OTLP HTTP exporter, enhancing observability and monitoring capabilities. [#35073, #35299]
                                                                                                                                                                                              • +
                                                                                                                                                                                              • Enhanced database functionality by introducing properties such as “max collections” and “disk quota,” which can now be dynamically modified. [#34511, #34386]
                                                                                                                                                                                              • +
                                                                                                                                                                                              • Added tracing capabilities for L0 compaction processes within DataNode to improve diagnostics and monitoring. (#33898)
                                                                                                                                                                                              • +
                                                                                                                                                                                              • Introduced quota configuration for the number of L0 segment entries per collection, enabling better control over deletion rates by applying backpressure. (#34837)
                                                                                                                                                                                              • +
                                                                                                                                                                                              • Extended the rate-limiting mechanism for insert operations to also cover upsert operations, ensuring consistent performance under high load. (#34616)
                                                                                                                                                                                              • +
                                                                                                                                                                                              • Implemented a dynamic CGO pool for proxy CGO calls, optimizing resource usage and performance. (#34842)
                                                                                                                                                                                              • +
                                                                                                                                                                                              • Enabled the DiskAnn compile option for Ubuntu, Rocky, and Amazon operating systems, improving compatibility and performance on these platforms. (#34244)
                                                                                                                                                                                              • +
                                                                                                                                                                                              • Upgraded Conan to version 1.64.1, ensuring compatibility with the latest features and improvements. (#35216)
                                                                                                                                                                                              • +
                                                                                                                                                                                              • Updated Knowhere to version 2.3.7, bringing in performance enhancements and new features. (#34709)
                                                                                                                                                                                              • +
                                                                                                                                                                                              • Fixed the revision of specific third-party packages to ensure consistent builds and reduce the risk of unexpected changes. (#35316)

                                                                                                                                                                                              v2.4.6

                                                                                                                                                                                              Date de sortie : 16 juillet 2024

                                                                                                                                                                                              +

                                                                                                                                                                                              Release date: July 16, 2024

                                                                                                                                                                                              - +
                                                                                                                                                                                              Version de MilvusVersion du SDK PythonVersion SDK JavaVersion du SDK Node.js
                                                                                                                                                                                              Milvus versionPython SDK versionJava SDK versionNode.js SDK version
                                                                                                                                                                                              2.4.62.4.42.4.22.4.4
                                                                                                                                                                                              -

                                                                                                                                                                                              Milvus v2.4.6 est une version de correction de bogues qui résout des problèmes critiques tels que les paniques, les fuites de mémoire et la perte de données lors des suppressions. Elle introduit également plusieurs optimisations, notamment des améliorations des mesures de surveillance, la mise à niveau de la version Go vers 1.21 et l'amélioration de l'expérience utilisateur pour les requêtes RESTful count(*).

                                                                                                                                                                                              -

                                                                                                                                                                                              Améliorations

                                                                                                                                                                                                -
                                                                                                                                                                                              • Amélioration de la convivialité des requêtes RESTful API(#34444).
                                                                                                                                                                                              • -
                                                                                                                                                                                              • Mise à jour de la version Go de 1.20 à 1.21(#33940).
                                                                                                                                                                                              • -
                                                                                                                                                                                              • Optimisation de l'histogramme métrique pour une granularité plus fine(#34592).
                                                                                                                                                                                              • -
                                                                                                                                                                                              • Mise à jour de la version de dépendance de Pulsar de 2.8.2 à 2.9.5. Il est recommandé de mettre à jour Pulsar vers la version 2.9.5 depuis Milvus 2.4.6.
                                                                                                                                                                                              • +

                                                                                                                                                                                                Milvus v2.4.6 is a bug-fix release that addresses critical issues such as panics, memory leaks, and data loss during deletions. It also introduces several optimizations, including enhancements to monitoring metrics, upgrading the Go version to 1.21, and improving the user experience for RESTful count(*) queries.

                                                                                                                                                                                                +

                                                                                                                                                                                                Improvements

                                                                                                                                                                                                  +
                                                                                                                                                                                                • Enhanced the user-friendliness of RESTful API queries (#34444).
                                                                                                                                                                                                • +
                                                                                                                                                                                                • Upgraded the Go version from 1.20 to 1.21 (#33940).
                                                                                                                                                                                                • +
                                                                                                                                                                                                • Optimized the histogram metric bucket for finer granularity in bucketing (#34592).
                                                                                                                                                                                                • +
                                                                                                                                                                                                • Upgraded Pulsar dependency version from 2.8.2 to 2.9.5. It’s recommended to upgrade Pulsar to 2.9.5 since Milvus 2.4.6.
                                                                                                                                                                                                -

                                                                                                                                                                                                Corrections de bogues

                                                                                                                                                                                                  -
                                                                                                                                                                                                • Correction d'un problème où l'API GetReplicas renvoyait un statut nul(#34019).
                                                                                                                                                                                                • -
                                                                                                                                                                                                • Correction d'un problème où les requêtes pouvaient renvoyer des enregistrements supprimés(#34502).
                                                                                                                                                                                                • -
                                                                                                                                                                                                • Résolution d'un problème où IndexNode se bloquait pendant l'arrêt à cause d'un contrôle incorrect de la durée de vie(#34559).
                                                                                                                                                                                                • -
                                                                                                                                                                                                • Correction d'une fuite de mémoire des objets oracle de clé primaire lorsqu'un travailleur est hors ligne(#34020).
                                                                                                                                                                                                • -
                                                                                                                                                                                                • Correction de ChannelManagerImplV2 pour notifier le bon Node, adressant les problèmes de capture de paramètres dans la fermeture de boucle(#34004).
                                                                                                                                                                                                • -
                                                                                                                                                                                                • Correction d'une course aux données en lecture-écriture dans ImportTask segmentsInfo en implémentant une copie profonde(#34126).
                                                                                                                                                                                                • -
                                                                                                                                                                                                • Correction des informations de version pour l'option de configuration "legacyVersionWithoutRPCWatch" pour éviter les erreurs lors des mises à jour(#34185).
                                                                                                                                                                                                • -
                                                                                                                                                                                                • Correction de la métrique pour le nombre de partitions chargées(#34195).
                                                                                                                                                                                                • -
                                                                                                                                                                                                • Passage de la configuration otlpSecure lors de la mise en place du traçage segcore(#34210).
                                                                                                                                                                                                • -
                                                                                                                                                                                                • Correction d'un problème où les propriétés de DataCoord étaient écrasées par erreur(#34240).
                                                                                                                                                                                                • -
                                                                                                                                                                                                • Résolution d'un problème de perte de données causé par la fusion erronée de deux flux de messages nouvellement créés(#34563).
                                                                                                                                                                                                • -
                                                                                                                                                                                                • Correction d'une panique causée par msgstream essayant de consommer un pchannel invalide(#34230).
                                                                                                                                                                                                • -
                                                                                                                                                                                                • Correction d'un problème où les importations pouvaient générer des fichiers orphelins(#34071).
                                                                                                                                                                                                • -
                                                                                                                                                                                                • Correction des résultats de requête incomplets dus à la duplication des clés primaires dans un segment(#34302).
                                                                                                                                                                                                • -
                                                                                                                                                                                                • Résolution d'un problème de segments scellés manquants dans le compactage L0(#34566).
                                                                                                                                                                                                • -
                                                                                                                                                                                                • Correction du problème des données sales dans la méta channel-cp générée après le garbage collection(#34609).
                                                                                                                                                                                                • -
                                                                                                                                                                                                • Correction des métriques où database_num était 0 après le redémarrage de RootCoord(#34010).
                                                                                                                                                                                                • -
                                                                                                                                                                                                • Correction d'une fuite de mémoire dans SegmentManager dans DataCoord en supprimant les segments vidés générés par l'importation(#34652).
                                                                                                                                                                                                • -
                                                                                                                                                                                                • Assurer que compressBinlog remplisse le logID des binlogs après le redémarrage de DataCoord, assurant un rechargement correct depuis KV(#34064).
                                                                                                                                                                                                • +

                                                                                                                                                                                                  Bug fixes

                                                                                                                                                                                                    +
                                                                                                                                                                                                  • Fixed an issue where the GetReplicas API returned a nil status (#34019).
                                                                                                                                                                                                  • +
                                                                                                                                                                                                  • Corrected a problem where queries could return deleted records (#34502).
                                                                                                                                                                                                  • +
                                                                                                                                                                                                  • Resolved an issue where IndexNode would get stuck during stopping due to incorrect lifetime control (#34559).
                                                                                                                                                                                                  • +
                                                                                                                                                                                                  • Fixed a memory leak of primary key oracle objects when a worker is offline (#34020).
                                                                                                                                                                                                  • +
                                                                                                                                                                                                  • Corrected ChannelManagerImplV2 to notify the correct Node, addressing parameter capture issues in loop closure (#34004).
                                                                                                                                                                                                  • +
                                                                                                                                                                                                  • Fixed a read-write data race in ImportTask segmentsInfo by implementing a deep copy (#34126).
                                                                                                                                                                                                  • +
                                                                                                                                                                                                  • Corrected version information for the “legacyVersionWithoutRPCWatch” configuration option to prevent errors during rolling upgrades (#34185).
                                                                                                                                                                                                  • +
                                                                                                                                                                                                  • Fixed the metric for the number of partitions loaded (#34195).
                                                                                                                                                                                                  • +
                                                                                                                                                                                                  • Passed the otlpSecure config when setting up segcore tracing (#34210).
                                                                                                                                                                                                  • +
                                                                                                                                                                                                  • Fixed an issue where DataCoord’s properties were overwritten by mistake (#34240).
                                                                                                                                                                                                  • +
                                                                                                                                                                                                  • Resolved a data loss issue caused by erroneously merging two newly created message streams (#34563).
                                                                                                                                                                                                  • +
                                                                                                                                                                                                  • Fixed a panic caused by msgstream trying to consume an invalid pchannel (#34230).
                                                                                                                                                                                                  • +
                                                                                                                                                                                                  • Addressed an issue where imports could generate orphaned files (#34071).
                                                                                                                                                                                                  • +
                                                                                                                                                                                                  • Fixed incomplete query results due to duplicate primary keys in a segment (#34302).
                                                                                                                                                                                                  • +
                                                                                                                                                                                                  • Resolved an issue of missing sealed segments in L0 compaction (#34566).
                                                                                                                                                                                                  • +
                                                                                                                                                                                                  • Fixed the problem of dirty data in the channel-cp meta generated after garbage collection (#34609).
                                                                                                                                                                                                  • +
                                                                                                                                                                                                  • Corrected the metrics where database_num was 0 after restarting RootCoord (#34010).
                                                                                                                                                                                                  • +
                                                                                                                                                                                                  • Fixed a memory leak in SegmentManager in DataCoord by removing flushed segments generated through import (#34652).
                                                                                                                                                                                                  • +
                                                                                                                                                                                                  • Ensured compressBinlog to fill binlogs’ logID after DataCoord restarts, ensuring proper reload from KV (#34064).

                                                                                                                                                                                                  v2.4.5

                                                                                                                                                                                                  Date de publication : 18 juin 2024

                                                                                                                                                                                                  +

                                                                                                                                                                                                  Release date: June 18, 2024

                                                                                                                                                                                                  - +
                                                                                                                                                                                                  Version de MilvusVersion du SDK PythonVersion SDK JavaVersion du SDK Node.js
                                                                                                                                                                                                  Milvus versionPython SDK versionJava SDK versionNode.js SDK version
                                                                                                                                                                                                  2.4.52.4.42.4.12.4.3
                                                                                                                                                                                                  -

                                                                                                                                                                                                  La version 2.4.5 de Milvus apporte plusieurs améliorations et corrections de bogues pour améliorer les performances, la stabilité et les fonctionnalités. Milvus 2.4.5 simplifie la recherche vectorielle sparse, float16 et bfloat16 grâce à l'indexation automatique, accélère les recherches, les suppressions et les compactions grâce aux optimisations du filtre Bloom, et s'attaque à la gestion des données grâce à des temps de chargement plus rapides et à la prise en charge des segments L0 importés. Elle introduit également l'index sparse HNSW pour une recherche efficace de données spares en haute dimension, améliore l'API RESTful avec la prise en charge des vecteurs flottants sparse, et corrige des bogues critiques pour une meilleure stabilité.

                                                                                                                                                                                                  -

                                                                                                                                                                                                  Nouvelles fonctionnalités

                                                                                                                                                                                                    -
                                                                                                                                                                                                  • Ajout du support rbac à l'API de description/modification de base de données(#33804)
                                                                                                                                                                                                  • -
                                                                                                                                                                                                  • Support de la construction de l'index HNSW pour les vecteurs sparse(#33653, #33662)
                                                                                                                                                                                                  • -
                                                                                                                                                                                                  • Prise en charge de la construction de l'index Disk pour les vecteurs binaires(#33575)
                                                                                                                                                                                                  • -
                                                                                                                                                                                                  • Prise en charge du type de vecteur sparse sur RESTful v2(#33555)
                                                                                                                                                                                                  • -
                                                                                                                                                                                                  • Ajout de l'api RESTful /management/stop pour arrêter un composant(#33799)
                                                                                                                                                                                                  • +

                                                                                                                                                                                                    The release of Milvus 2.4.5 introduces several improvements and bug fixes to enhance performance, stability, and functionality. Milvus 2.4.5 simplifies sparse, float16, and bfloat16 vector search with auto-indexing, speeds up searches, deletions, and compactions with Bloom filter optimizations, and tackles data management through faster loading times and import L0 segment support. It also introduces the sparse HNSW index for efficient high-dimensional sparse data search, enhances the RESTful API with sparse float vector support, and fixes critical bugs for better stability.

                                                                                                                                                                                                    +

                                                                                                                                                                                                    New Features

                                                                                                                                                                                                      +
                                                                                                                                                                                                    • Added rbac support to describe/alter database api (#33804)
                                                                                                                                                                                                    • +
                                                                                                                                                                                                    • Supported building the HNSW index for sparse vectors (#33653, #33662)
                                                                                                                                                                                                    • +
                                                                                                                                                                                                    • Supported building the Disk index for binary vector (#33575)
                                                                                                                                                                                                    • +
                                                                                                                                                                                                    • Supported sparse vector type on RESTful v2 (#33555)
                                                                                                                                                                                                    • +
                                                                                                                                                                                                    • Add /management/stop RESTful api to stop a component (#33799)
                                                                                                                                                                                                    -

                                                                                                                                                                                                    Améliorations

                                                                                                                                                                                                      -
                                                                                                                                                                                                    • Fixer la valeur par défaut de maxPartitionNum à 1024(#33950)
                                                                                                                                                                                                    • -
                                                                                                                                                                                                    • Activation de la réinitialisation forcée de la connexion en cas d'erreur d'indisponibilité(#33910)
                                                                                                                                                                                                    • -
                                                                                                                                                                                                    • Activation de la limitation du taux de vidange au niveau de la collection(#33864)
                                                                                                                                                                                                    • -
                                                                                                                                                                                                    • Exécution en parallèle de l'application du filtre bloom pour accélérer la prédiction des segments(#33793)
                                                                                                                                                                                                    • -
                                                                                                                                                                                                    • Utilisation de la librairie fastjson pour unmarshal delete log afin d'accélérer json.Unmarshal(#33802)
                                                                                                                                                                                                    • -
                                                                                                                                                                                                    • Utilisation de BatchPkExist pour réduire le coût d'appel de la fonction bloom filter(#33752)
                                                                                                                                                                                                    • -
                                                                                                                                                                                                    • Accélération du chargement des petites collections(#33746)
                                                                                                                                                                                                    • -
                                                                                                                                                                                                    • Prise en charge de l'importation de données de suppression dans le segment L0 (#33712)
                                                                                                                                                                                                    • -
                                                                                                                                                                                                    • Suppression des tâches de compactage de marque pour être temporisées afin d'éviter d'exécuter la même tâche encore et encore(#33833)
                                                                                                                                                                                                    • -
                                                                                                                                                                                                    • Gestion des vecteurs float16 et bfloat16 comme BinaryVector dans l'insertion en masse de numpy (#33788)
                                                                                                                                                                                                    • -
                                                                                                                                                                                                    • Ajout du drapeau includeCurrentMsg pour la méthode seek(#33743)
                                                                                                                                                                                                    • -
                                                                                                                                                                                                    • Ajout de mergeInterval, targetBufSize, maxTolerantLagde msgdispatcher dans les configurations(#33680)
                                                                                                                                                                                                    • -
                                                                                                                                                                                                    • Amélioration de GetVectorByID pour les vecteurs épars(#33652)
                                                                                                                                                                                                    • -
                                                                                                                                                                                                    • Suppression de StringPrimarykey pour réduire les copies inutiles et le coût des appels de fonction (#33649)
                                                                                                                                                                                                    • -
                                                                                                                                                                                                    • Ajout de la correspondance autoindex pour le type de données binaire/sparse(#33625)
                                                                                                                                                                                                    • -
                                                                                                                                                                                                    • Optimisation de certains caches pour réduire l'utilisation de la mémoire(#33560)
                                                                                                                                                                                                    • -
                                                                                                                                                                                                    • Abstraction de l'interface d'exécution pour la tâche d'importation/préimportation (#33607)
                                                                                                                                                                                                    • -
                                                                                                                                                                                                    • Utilisation de map pk pour l'horodatage dans l'insertion de tampon pour réduire les causes de bf(#33582)
                                                                                                                                                                                                    • -
                                                                                                                                                                                                    • Evite les méta-opérations redondantes de l'import (#33519)
                                                                                                                                                                                                    • -
                                                                                                                                                                                                    • Amélioration des journaux en enregistrant de meilleures informations sur les quotas de disque, en ajoutant le drapeau UseDefaultConsistency, en supprimant les journaux inutiles(#33597, #33644, #33670)
                                                                                                                                                                                                    • +

                                                                                                                                                                                                      Improvements

                                                                                                                                                                                                        +
                                                                                                                                                                                                      • Set maxPartitionNum default value to 1024 (#33950)
                                                                                                                                                                                                      • +
                                                                                                                                                                                                      • Enabled to Force reset connection for unavailable error (#33910)
                                                                                                                                                                                                      • +
                                                                                                                                                                                                      • Enabled flush rate limiter of collection level (#33864)
                                                                                                                                                                                                      • +
                                                                                                                                                                                                      • Executed bloom filter apply in parallel to speed up segment predict (#33793)
                                                                                                                                                                                                      • +
                                                                                                                                                                                                      • Used fastjson lib for unmarshal delete log to speed up json.Unmarshal(#33802)
                                                                                                                                                                                                      • +
                                                                                                                                                                                                      • Used BatchPkExist to reduce bloom filter func call cost (#33752)
                                                                                                                                                                                                      • +
                                                                                                                                                                                                      • Speeded up the loading of small collections (#33746)
                                                                                                                                                                                                      • +
                                                                                                                                                                                                      • Supported import delete data to L0 segment (#33712)
                                                                                                                                                                                                      • +
                                                                                                                                                                                                      • Skipped mark compaction tasks to be timeouted to aviod executing the same task over and over again (#33833)
                                                                                                                                                                                                      • +
                                                                                                                                                                                                      • Handled float16 and bfloat16 vectors as same as BinaryVector in numpy bulk insert (#33788)
                                                                                                                                                                                                      • +
                                                                                                                                                                                                      • Added the includeCurrentMsg flag for the seek method (#33743)
                                                                                                                                                                                                      • +
                                                                                                                                                                                                      • Added mergeInterval, targetBufSize, maxTolerantLagof msgdispatcher to configs (#33680)
                                                                                                                                                                                                      • +
                                                                                                                                                                                                      • Improved GetVectorByID of sparse vector (#33652)
                                                                                                                                                                                                      • +
                                                                                                                                                                                                      • Removed StringPrimarykey to reduce unnecessary copy and function call cost (#33649)
                                                                                                                                                                                                      • +
                                                                                                                                                                                                      • Added autoindex mapping for binary/sparse data type (#33625)
                                                                                                                                                                                                      • +
                                                                                                                                                                                                      • Optimized some cache to reduce memory usage (#33560)
                                                                                                                                                                                                      • +
                                                                                                                                                                                                      • Abstracted execute interface for import/preimport task (#33607)
                                                                                                                                                                                                      • +
                                                                                                                                                                                                      • Used map pk to timestamp in buffer insert to reduce bf causes (#33582)
                                                                                                                                                                                                      • +
                                                                                                                                                                                                      • Avoided redundant meta operations of import (#33519)
                                                                                                                                                                                                      • +
                                                                                                                                                                                                      • Improve logs by logging better disk quota info, adding UseDefaultConsistency flag, removing unnecessary logs (#33597, #33644, #33670)
                                                                                                                                                                                                      -

                                                                                                                                                                                                      Correction de bugs

                                                                                                                                                                                                        -
                                                                                                                                                                                                      • Correction d'un bug qui empêchait queryHook de reconnaître le type de vecteur(#33911)
                                                                                                                                                                                                      • -
                                                                                                                                                                                                      • Prévention de l'utilisation de la variable d'itération partitionID capturée(#33970)
                                                                                                                                                                                                      • -
                                                                                                                                                                                                      • Correction d'un bogue pouvant entraîner l'impossibilité pour Milvus de créer un index automatique sur des vecteurs binaires et épars(#33867)
                                                                                                                                                                                                      • -
                                                                                                                                                                                                      • Correction d'un bogue pouvant amener l'indexnode à réessayer de créer un index sur des paramètres d'index invalides de tous les vecteurs (#33878)
                                                                                                                                                                                                      • -
                                                                                                                                                                                                      • Correction d'un bogue qui, lorsque des chargements et des libérations se produisent simultanément, peut faire planter le serveur(#33699)
                                                                                                                                                                                                      • -
                                                                                                                                                                                                      • Amélioration de la cohérence du cache pour les valeurs de configuration(#33797)
                                                                                                                                                                                                      • -
                                                                                                                                                                                                      • Prévention d'une éventuelle perte de données lors d'une suppression(#33821)
                                                                                                                                                                                                      • -
                                                                                                                                                                                                      • Garantie que le champ DroppedAt (horodatage probable de la suppression) est défini après l'abandon de collections(#33767)
                                                                                                                                                                                                      • -
                                                                                                                                                                                                      • Correction d'un problème qui aurait pu amener Milvus à gérer incorrectement la taille des données vectorielles binaires(#33751)
                                                                                                                                                                                                      • -
                                                                                                                                                                                                      • Prévention de l'enregistrement des informations d'identification Kafka sensibles en texte clair(#33694, #33747)
                                                                                                                                                                                                      • -
                                                                                                                                                                                                      • Milvus peut correctement importer des données avec plusieurs champs vectoriels(#33724).
                                                                                                                                                                                                      • -
                                                                                                                                                                                                      • Amélioration de la fiabilité de l'importation en vérifiant si un travail d'importation existe avant de démarrer.(#33673)
                                                                                                                                                                                                      • -
                                                                                                                                                                                                      • Amélioration de la gestion de l'index HNSW clairsemé (fonctionnalité interne)(#33714)
                                                                                                                                                                                                      • -
                                                                                                                                                                                                      • Nettoyage de la mémoire vectorielle pour éviter les fuites de mémoire(#33708)
                                                                                                                                                                                                      • -
                                                                                                                                                                                                      • Assurer un échauffement asynchrone plus fluide en corrigeant un problème de verrouillage d'état(#33687)
                                                                                                                                                                                                      • -
                                                                                                                                                                                                      • Correction d'un bogue qui pouvait causer des résultats manquants dans les itérateurs de requêtes.(#33506)
                                                                                                                                                                                                      • -
                                                                                                                                                                                                      • Correction d'un bogue pouvant entraîner une taille inégale des segments d'importation (#33634)
                                                                                                                                                                                                      • -
                                                                                                                                                                                                      • Correction d'une mauvaise gestion de la taille des données pour les types bf16, fp16 et les vecteurs binaires(#33488)
                                                                                                                                                                                                      • -
                                                                                                                                                                                                      • Amélioration de la stabilité en corrigeant les problèmes potentiels avec le compacteur L0(#33564)
                                                                                                                                                                                                      • -
                                                                                                                                                                                                      • Garantie que les mises à jour de la configuration dynamique sont correctement reflétées dans le cache.(#33590)
                                                                                                                                                                                                      • -
                                                                                                                                                                                                      • Amélioration de la précision de la métrique RootCoordQuotaStates (#33601)
                                                                                                                                                                                                      • -
                                                                                                                                                                                                      • Assurer un rapport précis du nombre d'entités chargées dans la métrique(#33522)
                                                                                                                                                                                                      • -
                                                                                                                                                                                                      • Fourniture d'informations plus complètes dans les journaux d'exception. (#33396)
                                                                                                                                                                                                      • -
                                                                                                                                                                                                      • Optimisation du pipeline de requêtes en supprimant le vérificateur de groupe inutile(#33485)
                                                                                                                                                                                                      • -
                                                                                                                                                                                                      • Utilisation du chemin de stockage local pour une vérification plus précise de la capacité du disque sur le noeud d'index.(#33505)
                                                                                                                                                                                                      • -
                                                                                                                                                                                                      • Correction hasMoreResult peut retourner false quand le nombre de hits est plus grand que la limite(#33642)
                                                                                                                                                                                                      • -
                                                                                                                                                                                                      • Retardement du chargement des bf dans le délégateur pour éviter que les bf soient chargés encore et encore lorsque le travailleur n'a plus de mémoire(#33650) - Correction d'un bogue qui empêchait queryHook de reconnaître le type de vecteur(#33911)
                                                                                                                                                                                                      • -
                                                                                                                                                                                                      • Prévention de l'utilisation de la variable d'itération capturée partitionID(#33970)
                                                                                                                                                                                                      • -
                                                                                                                                                                                                      • Correction d'un bogue pouvant entraîner l'impossibilité pour Milvus de créer un index automatique sur des vecteurs binaires et épars(#33867)
                                                                                                                                                                                                      • -
                                                                                                                                                                                                      • Correction d'un bogue pouvant amener l'indexnode à réessayer de créer un index sur des paramètres d'index invalides de tous les vecteurs (#33878)
                                                                                                                                                                                                      • -
                                                                                                                                                                                                      • Correction d'un bogue qui, lorsque des chargements et des libérations se produisent simultanément, peut faire planter le serveur(#33699)
                                                                                                                                                                                                      • -
                                                                                                                                                                                                      • Amélioration de la cohérence du cache pour les valeurs de configuration(#33797)
                                                                                                                                                                                                      • -
                                                                                                                                                                                                      • Prévention d'une éventuelle perte de données lors d'une suppression(#33821)
                                                                                                                                                                                                      • -
                                                                                                                                                                                                      • Garantie que le champ DroppedAt (horodatage probable de la suppression) est défini après l'abandon de collections(#33767)
                                                                                                                                                                                                      • -
                                                                                                                                                                                                      • Correction d'un problème qui aurait pu amener Milvus à gérer incorrectement la taille des données vectorielles binaires(#33751)
                                                                                                                                                                                                      • -
                                                                                                                                                                                                      • Prévention de l'enregistrement des informations d'identification Kafka sensibles en texte clair(#33694, #33747)
                                                                                                                                                                                                      • -
                                                                                                                                                                                                      • Milvus peut correctement importer des données avec plusieurs champs vectoriels(#33724).
                                                                                                                                                                                                      • -
                                                                                                                                                                                                      • Amélioration de la fiabilité de l'importation en vérifiant si un travail d'importation existe avant de démarrer.(#33673)
                                                                                                                                                                                                      • -
                                                                                                                                                                                                      • Amélioration de la gestion de l'index HNSW clairsemé (fonctionnalité interne)(#33714)
                                                                                                                                                                                                      • -
                                                                                                                                                                                                      • Nettoyage de la mémoire vectorielle pour éviter les fuites de mémoire(#33708)
                                                                                                                                                                                                      • -
                                                                                                                                                                                                      • Garantie d'un échauffement asynchrone plus fluide en corrigeant un problème de verrouillage d'état(#33687)
                                                                                                                                                                                                      • -
                                                                                                                                                                                                      • Correction d'un bogue qui pouvait causer des résultats manquants dans les itérateurs de requêtes.(#33506)
                                                                                                                                                                                                      • -
                                                                                                                                                                                                      • Correction d'un bogue pouvant entraîner une taille inégale des segments d'importation (#33634)
                                                                                                                                                                                                      • -
                                                                                                                                                                                                      • Correction d'une mauvaise gestion de la taille des données pour les types bf16, fp16 et les vecteurs binaires(#33488)
                                                                                                                                                                                                      • -
                                                                                                                                                                                                      • Amélioration de la stabilité en corrigeant les problèmes potentiels avec le compacteur L0(#33564)
                                                                                                                                                                                                      • -
                                                                                                                                                                                                      • Garantie que les mises à jour de la configuration dynamique sont correctement reflétées dans le cache.(#33590)
                                                                                                                                                                                                      • -
                                                                                                                                                                                                      • Amélioration de la précision de la métrique RootCoordQuotaStates (#33601)
                                                                                                                                                                                                      • -
                                                                                                                                                                                                      • Assurer un rapport précis du nombre d'entités chargées dans la métrique(#33522)
                                                                                                                                                                                                      • -
                                                                                                                                                                                                      • Fourniture d'informations plus complètes dans les journaux d'exception. (#33396)
                                                                                                                                                                                                      • -
                                                                                                                                                                                                      • Optimisation du pipeline de requêtes en supprimant le vérificateur de groupe inutile(#33485)
                                                                                                                                                                                                      • -
                                                                                                                                                                                                      • Utilisation du chemin de stockage local pour une vérification plus précise de la capacité du disque sur le noeud d'index.(#33505)
                                                                                                                                                                                                      • -
                                                                                                                                                                                                      • Correction hasMoreResult peut retourner false quand le nombre de hits est plus grand que la limite(#33642)
                                                                                                                                                                                                      • -
                                                                                                                                                                                                      • Retardement du chargement des bf dans le délégateur pour éviter que les bf soient chargés encore et encore lorsque le travailleur n'a plus de mémoire(#33650)
                                                                                                                                                                                                      • +

                                                                                                                                                                                                        Bug fixes

                                                                                                                                                                                                          +
                                                                                                                                                                                                        • Fixed a bug that queryHook unable to recognize vector type (#33911)
                                                                                                                                                                                                        • +
                                                                                                                                                                                                        • Prevented use captured iteration variable partitionID (#33970)
                                                                                                                                                                                                        • +
                                                                                                                                                                                                        • Fixed a bug that may cause Milvus to be unable to create AutoIndex on binary and sparse vectors (#33867)
                                                                                                                                                                                                        • +
                                                                                                                                                                                                        • Fixed a bug that may cause indexnode to retry creating index on invalid index params of all vectors(#33878)
                                                                                                                                                                                                        • +
                                                                                                                                                                                                        • Fixed the bug that when loads and releases happen concurrently may crash the Server(#33699)
                                                                                                                                                                                                        • +
                                                                                                                                                                                                        • Improved cache consistency for configuration values (#33797)
                                                                                                                                                                                                        • +
                                                                                                                                                                                                        • Prevented possible data loss during deletion (#33821)
                                                                                                                                                                                                        • +
                                                                                                                                                                                                        • Ensured the DroppedAt field (likely deletion timestamp) is set after dropping collections(#33767)
                                                                                                                                                                                                        • +
                                                                                                                                                                                                        • Fixed an issue that might have caused Milvus to handle binary vector data sizes incorrectly(#33751)
                                                                                                                                                                                                        • +
                                                                                                                                                                                                        • Prevented sensitive Kafka credentials from being logged in plain text.(#33694, #33747)
                                                                                                                                                                                                        • +
                                                                                                                                                                                                        • Ensured Milvus can correctly import data with multiple vector fields.(#33724)
                                                                                                                                                                                                        • +
                                                                                                                                                                                                        • Enhanced import reliability by checking if an import job exists before starting. (#33673)
                                                                                                                                                                                                        • +
                                                                                                                                                                                                        • Improved handling of the sparse HNSW index (internal functionality) (#33714)
                                                                                                                                                                                                        • +
                                                                                                                                                                                                        • Cleaned vector memory to avoid memory leak(#33708)
                                                                                                                                                                                                        • +
                                                                                                                                                                                                        • Ensured smoother asynchronous warmup by fixing a state lock issue.(#33687)
                                                                                                                                                                                                        • +
                                                                                                                                                                                                        • Addressed a bug that might have caused missing results in query iterators. (#33506)
                                                                                                                                                                                                        • +
                                                                                                                                                                                                        • Fixed a bug that might cause import segment size is uneven (#33634)
                                                                                                                                                                                                        • +
                                                                                                                                                                                                        • Fixed incorrect data size handling for bf16, fp16, and binary vector types (#33488)
                                                                                                                                                                                                        • +
                                                                                                                                                                                                        • Improved stability by addressing potential issues with the L0 compactor(#33564)
                                                                                                                                                                                                        • +
                                                                                                                                                                                                        • Ensured dynamic configuration updates are reflected correctly in the cache. (#33590)
                                                                                                                                                                                                        • +
                                                                                                                                                                                                        • Improved the accuracy of the RootCoordQuotaStates metric (#33601)
                                                                                                                                                                                                        • +
                                                                                                                                                                                                        • Ensured accurate reporting of the number of loaded entities in metric(#33522)
                                                                                                                                                                                                        • +
                                                                                                                                                                                                        • Provided more complete information in exception logs. (#33396)
                                                                                                                                                                                                        • +
                                                                                                                                                                                                        • Optimized query pipeline by removing unnecessary group checker (#33485)
                                                                                                                                                                                                        • +
                                                                                                                                                                                                        • Used the local storage path for a more accurate disk capacity check on the index node. (#33505)
                                                                                                                                                                                                        • +
                                                                                                                                                                                                        • Corrected hasMoreResult may return false when hit number larger than limit (#33642)
                                                                                                                                                                                                        • +
                                                                                                                                                                                                        • Delayed load bf in delegator to prevent bfs been loaded over and over again when worker has no more memory (#33650)- Fixed a bug that queryHook unable to recognize vector type (#33911)
                                                                                                                                                                                                        • +
                                                                                                                                                                                                        • Prevented use captured iteration variable partitionID (#33970)
                                                                                                                                                                                                        • +
                                                                                                                                                                                                        • Fixed a bug that may cause Milvus to be unable to create AutoIndex on binary and sparse vectors (#33867)
                                                                                                                                                                                                        • +
                                                                                                                                                                                                        • Fixed a bug that may cause indexnode to retry creating index on invalid index params of all vectors(#33878)
                                                                                                                                                                                                        • +
                                                                                                                                                                                                        • Fixed the bug that when loads and releases happen concurrently may crash the Server(#33699)
                                                                                                                                                                                                        • +
                                                                                                                                                                                                        • Improved cache consistency for configuration values (#33797)
                                                                                                                                                                                                        • +
                                                                                                                                                                                                        • Prevented possible data loss during deletion (#33821)
                                                                                                                                                                                                        • +
                                                                                                                                                                                                        • Ensured the DroppedAt field (likely deletion timestamp) is set after dropping collections(#33767)
                                                                                                                                                                                                        • +
                                                                                                                                                                                                        • Fixed an issue that might have caused Milvus to handle binary vector data sizes incorrectly(#33751)
                                                                                                                                                                                                        • +
                                                                                                                                                                                                        • Prevented sensitive Kafka credentials from being logged in plain text.(#33694, #33747)
                                                                                                                                                                                                        • +
                                                                                                                                                                                                        • Ensured Milvus can correctly import data with multiple vector fields.(#33724)
                                                                                                                                                                                                        • +
                                                                                                                                                                                                        • Enhanced import reliability by checking if an import job exists before starting. (#33673)
                                                                                                                                                                                                        • +
                                                                                                                                                                                                        • Improved handling of the sparse HNSW index (internal functionality) (#33714)
                                                                                                                                                                                                        • +
                                                                                                                                                                                                        • Cleaned vector memory to avoid memory leak(#33708)
                                                                                                                                                                                                        • +
                                                                                                                                                                                                        • Ensured smoother asynchronous warmup by fixing a state lock issue.(#33687)
                                                                                                                                                                                                        • +
                                                                                                                                                                                                        • Addressed a bug that might have caused missing results in query iterators. (#33506)
                                                                                                                                                                                                        • +
                                                                                                                                                                                                        • Fixed a bug that might cause import segment size is uneven (#33634)
                                                                                                                                                                                                        • +
                                                                                                                                                                                                        • Fixed incorrect data size handling for bf16, fp16, and binary vector types (#33488)
                                                                                                                                                                                                        • +
                                                                                                                                                                                                        • Improved stability by addressing potential issues with the L0 compactor(#33564)
                                                                                                                                                                                                        • +
                                                                                                                                                                                                        • Ensured dynamic configuration updates are reflected correctly in the cache. (#33590)
                                                                                                                                                                                                        • +
                                                                                                                                                                                                        • Improved the accuracy of the RootCoordQuotaStates metric (#33601)
                                                                                                                                                                                                        • +
                                                                                                                                                                                                        • Ensured accurate reporting of the number of loaded entities in metric(#33522)
                                                                                                                                                                                                        • +
                                                                                                                                                                                                        • Provided more complete information in exception logs. (#33396)
                                                                                                                                                                                                        • +
                                                                                                                                                                                                        • Optimized query pipeline by removing unnecessary group checker (#33485)
                                                                                                                                                                                                        • +
                                                                                                                                                                                                        • Used the local storage path for a more accurate disk capacity check on the index node. (#33505)
                                                                                                                                                                                                        • +
                                                                                                                                                                                                        • Corrected hasMoreResult may return false when hit number larger than limit (#33642)
                                                                                                                                                                                                        • +
                                                                                                                                                                                                        • Delayed load bf in delegator to prevent bfs been loaded over and over again when worker has no more memory (#33650)

                                                                                                                                                                                                        v2.4.4

                                                                                                                                                                                                        Date de publication : 31 mai 2024

                                                                                                                                                                                                        +

                                                                                                                                                                                                        Release date: May 31, 2024

                                                                                                                                                                                                        - +
                                                                                                                                                                                                        Version de MilvusVersion du SDK PythonVersion SDK JavaVersion du SDK Node.js
                                                                                                                                                                                                        Milvus versionPython SDK versionJava SDK versionNode.js SDK version
                                                                                                                                                                                                        2.4.42.4.32.4.12.4.2
                                                                                                                                                                                                        -

                                                                                                                                                                                                        Milvus v2.4.4 comprend plusieurs corrections de bogues critiques et des améliorations visant à accroître les performances et la stabilité. Nous avons notamment résolu un problème critique dans lequel les journaux de statistiques d'insertion en masse étaient incorrectement collectés, ce qui pouvait affecter l'intégrité des données. Nous recommandons fortement à tous les utilisateurs de la version 2.4 de passer à cette version pour bénéficier de ces corrections.

                                                                                                                                                                                                        -

                                                                                                                                                                                                        Si vous utilisez l'insertion en bloc, mettez à jour vers la version 2.4.4 dès que possible pour garantir l'intégrité des données.

                                                                                                                                                                                                        -

                                                                                                                                                                                                        Corrections de bogues critiques

                                                                                                                                                                                                          -
                                                                                                                                                                                                        • Remplissage de l'ID du journal des statistiques et validation de son exactitude(#33478)
                                                                                                                                                                                                        • +

                                                                                                                                                                                                          Milvus v2.4.4 includes several critical bug fixes and improvements aimed at enhancing performance and stability. Notably, we’ve resolved a critical issue where bulk insert statistics logs were incorrectly garbage collected, potentially affecting data integrity. We strongly recommend all v2.4 users upgrade to this version to benefit from these fixes.

                                                                                                                                                                                                          +

                                                                                                                                                                                                          If you are using bulk insert, upgrade to v2.4.4 at the earliest opportunity for data integrity.

                                                                                                                                                                                                          +

                                                                                                                                                                                                          Critical bug fixes

                                                                                                                                                                                                            +
                                                                                                                                                                                                          • Filled stats log ID and validated its correctness (#33478)
                                                                                                                                                                                                          -

                                                                                                                                                                                                          Améliorations

                                                                                                                                                                                                            -
                                                                                                                                                                                                          • Mise à jour du jeu de bits pour ARM SVE(#33440)
                                                                                                                                                                                                          • -
                                                                                                                                                                                                          • Activation de la compilation Milvus avec GCC-13(#33441)
                                                                                                                                                                                                          • +

                                                                                                                                                                                                            Improvements

                                                                                                                                                                                                              +
                                                                                                                                                                                                            • Upgraded bitset for ARM SVE (#33440)
                                                                                                                                                                                                            • +
                                                                                                                                                                                                            • Enabled Milvus compilation with GCC-13 (#33441)
                                                                                                                                                                                                            -

                                                                                                                                                                                                            Correction de bogues

                                                                                                                                                                                                              -
                                                                                                                                                                                                            • Affichage de collections vides lorsque tous les privilèges sont accordés(#33454)
                                                                                                                                                                                                            • -
                                                                                                                                                                                                            • S'assure que CMake se télécharge et s'installe pour la plateforme actuelle, et pas seulement pour x86_64(#33439)
                                                                                                                                                                                                            • +

                                                                                                                                                                                                              Bug fixes

                                                                                                                                                                                                                +
                                                                                                                                                                                                              • Displayed empty collections when all privilege is granted (#33454)
                                                                                                                                                                                                              • +
                                                                                                                                                                                                              • Ensured CMake downloads and installs for the current platform, not just x86_64 (#33439)

                                                                                                                                                                                                              v2.4.3

                                                                                                                                                                                                              Date de publication : 29 mai 2024

                                                                                                                                                                                                              +

                                                                                                                                                                                                              Release date: May 29, 2024

                                                                                                                                                                                                              - +
                                                                                                                                                                                                              Version de MilvusVersion du SDK PythonVersion SDK JavaVersion du SDK Node.js
                                                                                                                                                                                                              Milvus versionPython SDK versionJava SDK versionNode.js SDK version
                                                                                                                                                                                                              2.4.32.4.32.4.12.4.2
                                                                                                                                                                                                              -

                                                                                                                                                                                                              La version 2.4.3 de Milvus a introduit un grand nombre de fonctionnalités, d'améliorations et de corrections de bogues afin d'améliorer les performances et la fiabilité. Parmi les améliorations notables, citons la prise en charge de l'insertion en bloc de vecteurs flottants épars et l'accélération optimisée du filtre Bloom. Les améliorations couvrent différents domaines, des mises à jour dynamiques de la configuration à l'optimisation de l'utilisation de la mémoire. Les corrections de bogues ont permis de résoudre des problèmes critiques tels que des scénarios de panique et de garantir un fonctionnement plus fluide du système. Cette version souligne l'engagement continu de Milvus à améliorer les fonctionnalités, à optimiser les performances et à offrir une expérience utilisateur robuste.

                                                                                                                                                                                                              -

                                                                                                                                                                                                              Fonctionnalités

                                                                                                                                                                                                                -
                                                                                                                                                                                                              • Prise en charge de l'insertion en bloc de vecteurs flottants épars pour binlog/json/parquet(#32649)
                                                                                                                                                                                                              • +

                                                                                                                                                                                                                Milvus version 2.4.3 introduced a host of features, improvements, and bug fixes to elevate performance and reliability. Notable enhancements included support for sparse float vector bulk insert and optimized bloom filter acceleration. Improvements covered various areas, from dynamic configuration updates to memory usage optimization. Bug fixes addressed critical issues like panic scenarios and ensured smoother system operations. This release underscored Milvus’s ongoing commitment to enhancing functionality, optimizing performance, and delivering a robust user experience.

                                                                                                                                                                                                                +

                                                                                                                                                                                                                Features

                                                                                                                                                                                                                  +
                                                                                                                                                                                                                • Supported sparse float vector bulk insert for binlog/json/parquet (#32649)
                                                                                                                                                                                                                -

                                                                                                                                                                                                                Améliorations

                                                                                                                                                                                                                  -
                                                                                                                                                                                                                • Implémentation d'un canal de surveillance Datacoord/node basé sur RPC(#32036)
                                                                                                                                                                                                                • -
                                                                                                                                                                                                                • Optimisation du filtre bloom pour accélérer le filtrage des suppressions(#32642, #33329, #33284)
                                                                                                                                                                                                                • -
                                                                                                                                                                                                                • Chargement des données brutes via mmap si l'index scalaire n'a pas de données brutes(#33317)
                                                                                                                                                                                                                • -
                                                                                                                                                                                                                • Synchronisation de la configuration de milvus avec milvus.yaml(#33322, #32920, #32857, #32946)
                                                                                                                                                                                                                • -
                                                                                                                                                                                                                • Mise à jour de la version de knowhere(#33310, #32931, #33043)
                                                                                                                                                                                                                • -
                                                                                                                                                                                                                • Activation de la mise à jour dynamique de la politique d'équilibrage dans QueryCoord(#33272)
                                                                                                                                                                                                                • -
                                                                                                                                                                                                                • Utilisation d'un logger pré-construit dans le tampon d'écriture pour minimiser l'allocation du logger(#33304)
                                                                                                                                                                                                                • -
                                                                                                                                                                                                                • Amélioration de la vérification des paramètres(#32777, #33271, #33218)
                                                                                                                                                                                                                • -
                                                                                                                                                                                                                • Ajout d'un paramètre pour ignorer les ID de messages incorrects dans le point de contrôle(#33249)
                                                                                                                                                                                                                • -
                                                                                                                                                                                                                • Ajout d'une configuration pour contrôler la gestion des échecs d'initialisation pour les plugins(#32680)
                                                                                                                                                                                                                • -
                                                                                                                                                                                                                • Ajout d'une configuration de cohérence de calcul de score pour knowhere(#32997)
                                                                                                                                                                                                                • -
                                                                                                                                                                                                                • Introduction d'une option de configuration pour contrôler l'initialisation des permissions des rôles publics(#33174)
                                                                                                                                                                                                                • -
                                                                                                                                                                                                                • Optimisation de l'utilisation de la mémoire lors de la lecture des champs(#33196)
                                                                                                                                                                                                                • -
                                                                                                                                                                                                                • Amélioration de l'implémentation du Channel Manager v2(#33172, #33121, #33014)
                                                                                                                                                                                                                • -
                                                                                                                                                                                                                • Ajout d'une fonctionnalité permettant de suivre la taille des données en mémoire pour binlog(#33025)
                                                                                                                                                                                                                • -
                                                                                                                                                                                                                • Ajout de métriques pour la taille des fichiers d'index de segment(#32979, #33305)
                                                                                                                                                                                                                • -
                                                                                                                                                                                                                • Remplacement de Delete par DeletePartialMatch pour supprimer les métriques(#33029)
                                                                                                                                                                                                                • -
                                                                                                                                                                                                                • Obtention de la taille des données liées en fonction du type de segment(#33017)
                                                                                                                                                                                                                • -
                                                                                                                                                                                                                • Nettoyage des informations sur les noeuds de canaux dans le méta-magasin(#32988)
                                                                                                                                                                                                                • -
                                                                                                                                                                                                                • Suppression du rootcoord du courtier de nœuds de données(#32818)
                                                                                                                                                                                                                • -
                                                                                                                                                                                                                • Activation du téléchargement par lots(#32788)
                                                                                                                                                                                                                • -
                                                                                                                                                                                                                • Modification du numéro de partition par défaut à 16 lors de l'utilisation de la clé de partition(#32950)
                                                                                                                                                                                                                • -
                                                                                                                                                                                                                • Amélioration des performances de réduction sur les très grandes requêtes top-k(#32871)
                                                                                                                                                                                                                • -
                                                                                                                                                                                                                • Utilisation de la capacité de TestLocations pour accélérer l'écriture et le compactage(#32948)
                                                                                                                                                                                                                • -
                                                                                                                                                                                                                • Optimisation du pool d'analyseurs de plans pour éviter le recyclage inutile(#32869)
                                                                                                                                                                                                                • -
                                                                                                                                                                                                                • Amélioration de la vitesse de chargement(#32898)
                                                                                                                                                                                                                • -
                                                                                                                                                                                                                • Utilisation du niveau de cohérence par défaut de la collection pour restv2(#32956)
                                                                                                                                                                                                                • -
                                                                                                                                                                                                                • Ajout d'une réponse au coût pour l'API rest(#32620)
                                                                                                                                                                                                                • -
                                                                                                                                                                                                                • Activation de la politique d'équilibre exclusif des canaux(#32911)
                                                                                                                                                                                                                • -
                                                                                                                                                                                                                • Exposition de l'API describedatabase dans le proxy(#32732)
                                                                                                                                                                                                                • -
                                                                                                                                                                                                                • Utilisation du mapping coll2replica lors de l'obtention de RG par collection(#32892)
                                                                                                                                                                                                                • -
                                                                                                                                                                                                                • Ajout de plus de traçage pour la recherche et la requête(#32734)
                                                                                                                                                                                                                • -
                                                                                                                                                                                                                • Supporte la configuration dynamique pour la trace opentelemetry(#32169)
                                                                                                                                                                                                                • -
                                                                                                                                                                                                                • Evite l'itération sur les résultats des canaux lors de la mise à jour du leaderview(#32887)
                                                                                                                                                                                                                • -
                                                                                                                                                                                                                • Optimisation de la gestion des décalages de vecteurs pour parquet(#32822)
                                                                                                                                                                                                                • -
                                                                                                                                                                                                                • Amélioration du filtrage des segments de datacoord avec la collecte(#32831)
                                                                                                                                                                                                                • -
                                                                                                                                                                                                                • Ajustement du niveau et de la fréquence des journaux(#33042, #32838, #33337)
                                                                                                                                                                                                                • -
                                                                                                                                                                                                                • Activation de l'arrêt de l'équilibrage après que l'équilibrage ait été suspendu(#32812)
                                                                                                                                                                                                                • -
                                                                                                                                                                                                                • Mise à jour du cache du chef de file lorsque l'emplacement du chef de file a changé(#32470)
                                                                                                                                                                                                                • -
                                                                                                                                                                                                                • Suppression des API et champs obsolètes(#32808, #32704)
                                                                                                                                                                                                                • -
                                                                                                                                                                                                                • Ajout de metautil.channel pour convertir les comparaisons de chaînes en int(#32749)
                                                                                                                                                                                                                • -
                                                                                                                                                                                                                • Ajout d'informations sur le type pour le message d'erreur du rédacteur de la charge utile et le journal lorsque le querynode a trouvé une nouvelle collection(#32522)
                                                                                                                                                                                                                • -
                                                                                                                                                                                                                • Vérification du numéro de partition lors de la création d'une collection avec une clé de partition(#32670)
                                                                                                                                                                                                                • -
                                                                                                                                                                                                                • Suppression de l'ancien segment l0 en cas d'échec de la surveillance(#32725)
                                                                                                                                                                                                                • -
                                                                                                                                                                                                                • Amélioration de l'impression du type de requête(#33319)
                                                                                                                                                                                                                • -
                                                                                                                                                                                                                • Vérification que les données d'un champ de tableau sont nulles avant d'obtenir le type(#33311)
                                                                                                                                                                                                                • -
                                                                                                                                                                                                                • Retour d'erreur en cas d'échec du démarrage de l'opération Delete/AddNode(#33258)
                                                                                                                                                                                                                • -
                                                                                                                                                                                                                • Permet la mise à jour de l'ID du serveur du datanode(#31597)
                                                                                                                                                                                                                • -
                                                                                                                                                                                                                • Nettoyage unifié des métriques des querynodes dans la version de collection(#32805)
                                                                                                                                                                                                                • -
                                                                                                                                                                                                                • Correction de la version incorrecte de la configuration de l'index scalaire automatique(#32795)
                                                                                                                                                                                                                • -
                                                                                                                                                                                                                • Amélioration de la vérification des paramètres d'index pour la création/modification d'index(#32712)
                                                                                                                                                                                                                • -
                                                                                                                                                                                                                • Suppression de la récupération redondante des répliques(#32985)
                                                                                                                                                                                                                • -
                                                                                                                                                                                                                • Activation de la table méta des canaux pour écrire plus de 200k segments(#33300)
                                                                                                                                                                                                                • +

                                                                                                                                                                                                                  Improvements

                                                                                                                                                                                                                    +
                                                                                                                                                                                                                  • Implemented Datacoord/node watch channel based on RPC (#32036)
                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                  • Optimized bloom filter to accelerate delete filtering (#32642, #33329, #33284)
                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                  • Loaded raw data via mmap if scalar index did not have raw data (#33317)
                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                  • Synced milvus config to milvus.yaml (#33322, #32920, #32857, #32946)
                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                  • Updated knowhere version (#33310, #32931, #33043)
                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                  • Enabled dynamic updating of balancer policy in QueryCoord (#33272)
                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                  • Used a pre-built logger in the write buffer to minimize logger allocation (#33304)
                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                  • Improved parameter checking (#32777, #33271, #33218)
                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                  • Added a parameter to ignore incorrect message IDs in the checkpoint (#33249)
                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                  • Added config to control initialization failure handling for plugins (#32680)
                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                  • Added score compute consistency config for knowhere (#32997)
                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                  • Introduced a configuration option to control the initialization of public role permissions (#33174)
                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                  • Optimized memory usage when reading fields (#33196)
                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                  • Refined implementation of Channel Manager v2 (#33172, #33121, #33014)
                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                  • Added feature to track the size of data in memory for binlog (#33025)
                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                  • Added metrics for segment index files size (#32979, #33305)
                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                  • Replaced Delete with DeletePartialMatch to remove metrics (#33029)
                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                  • Got related data size according to segment type (#33017)
                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                  • Cleaned channel node info in meta store (#32988)
                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                  • Removed rootcoord from datanode broker (#32818)
                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                  • Enabled batch uploading (#32788)
                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                  • Changed default partition number to 16 when using partition key (#32950)
                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                  • Improved reduce performance on very large top-k queries (#32871)
                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                  • Utilized TestLocations ability to accelerate write & compaction (#32948)
                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                  • Optimized plan parser pool to avoid unnecessary recycling (#32869)
                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                  • Improved load speed (#32898)
                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                  • Used collection default consistency level for restv2 (#32956)
                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                  • Added cost response for the rest API (#32620)
                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                  • Enabled channel exclusive balance policy (#32911)
                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                  • Exposed describedatabase API in proxy (#32732)
                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                  • Utilized coll2replica mapping when getting RG by collection (#32892)
                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                  • Added more tracing for search & query (#32734)
                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                  • Supported dynamic config for opentelemetry trace (#32169)
                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                  • Avoided iteration over channel results when updating leaderview (#32887)
                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                  • Optimized vector offsets handling for parquet (#32822)
                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                  • Improved datacoord segment filtering with collection (#32831)
                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                  • Adjusted log level and frequency (#33042, #32838, #33337)
                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                  • Enabled stopping balance after balance had been suspended (#32812)
                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                  • Updated shard leader cache when leader location changed (#32470)
                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                  • Removed deprecated API and field (#32808, #32704)
                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                  • Added metautil.channel to convert string compare to int (#32749)
                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                  • Added type info for payload writer error message and log when querynode found new collection (#32522)
                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                  • Checked partition number when creating collection with partition key (#32670)
                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                  • Removed legacy l0 segment if watch failed (#32725)
                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                  • Improved printing type of request (#33319)
                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                  • Checked array field data was nil before getting the type (#33311)
                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                  • Returned error when startup Delete/AddNode node operation failed (#33258)
                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                  • Allowed datanode’s server ID to be updated (#31597)
                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                  • Unified querynode metrics cleanup in collection release (#32805)
                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                  • Fixed scalar auto index config incorrect version (#32795)
                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                  • Refined index param check for create/alter index (#32712)
                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                  • Removed redundant replica recovery (#32985)
                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                  • Enabled channel meta table to write more than 200k segments (#33300)
                                                                                                                                                                                                                  -

                                                                                                                                                                                                                  Correction de bugs

                                                                                                                                                                                                                    -
                                                                                                                                                                                                                  • Correction d'une panique lorsque la base de données n'existe pas dans l'intercepteur de limite de taux(#33308)
                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                  • Correction de l'échec de la collecte des métriques quotacenter en raison de paramètres incorrects(#33399)
                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                  • Correction d'une panique si processactivestandby retournait une erreur(#33372)
                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                  • Correction de la troncature des résultats de recherche dans restful v2 lorsque nq > 1(#33363)
                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                  • Ajout du champ nom de la base de données pour les opérations sur les rôles dans restful v2(#33291)
                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                  • Correction de la limite de taux globale qui ne fonctionne pas(#33336)
                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                  • Correction de la panique causée par l'échec de la construction de l'index(#33314)
                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                  • Ajout d'une validation pour le vecteur sparse dans segcore pour assurer la légalité(#33312)
                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                  • Suppression de la tâche de syncmgr après l'achèvement de la tâche(#33303)
                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                  • Correction de l'échec du filtrage de la clé de partition pendant l'importation de données(#33277)
                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                  • Correction de l'impossibilité de générer le traceID lors de l'utilisation de l'exportateur noop(#33208)
                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                  • Amélioration de la récupération des résultats des requêtes(#33179)
                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                  • Marquage de l'abandon du point de contrôle du canal pour éviter la fuite des métriques de décalage du point de contrôle(#33201)
                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                  • Correction du blocage du noeud de la requête lors de l'arrêt de la progression(#33154)
                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                  • Correction des segments manquants dans la réponse de rinçage(#33061)
                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                  • Rendre l'opération de soumission idempotente(#33053)
                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                  • Allocation d'une nouvelle tranche pour chaque lot dans le lecteur de flux(#33360)
                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                  • Nettoyage du noeud hors ligne du groupe de ressources après le redémarrage de QueryCoord(#33233)
                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                  • Suppression du compacteur l0 dans completedCompactor(#33216)
                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                  • Réinitialisation de la valeur du quota lors de l'initialisation du limiteur(#33152)
                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                  • Correction d'un problème où la limite etcd était dépassée(#33041)
                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                  • Résolution du dépassement de la limite des transactions etcd dû à un trop grand nombre de champs(#33040)
                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                  • Suppression de la réintroduction de RLock dans GetNumRowsOfPartition(#33045)
                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                  • Démarrage de LeaderCacheObserver avant SyncAll(#33035)
                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                  • Activation de l'équilibrage du canal de secours libéré(#32986)
                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                  • Initialisation de l'enregistreur d'accès avant l'initialisation du serveur(#32976)
                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                  • Rendre le compacteur capable d'effacer les segments vides(#32821)
                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                  • Remplissage du numéro d'entrée du deltalog et de l'intervalle de temps dans les compactions l0(#33004)
                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                  • Correction d'un crash de proxy dû à une course aux données du cache du leader du shard(#32971)
                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                  • Correction de l'unité de temps pour la métrique de l'index de charge(#32935)
                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                  • Correction d'un problème où un segment sur un noeud de requête s'arrêtant ne pouvait pas être libéré avec succès(#32929)
                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                  • Correction de l'estimation des ressources d'index(#32842)
                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                  • Définition du point de contrôle du canal à la position delta(#32878)
                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                  • Fait que syncmgr verrouille la clé avant de retourner le futur(#32865)
                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                  • S'assurer que l'index inversé n'a qu'un seul segment(#32858)
                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                  • Correction du déclenchement du compactage choisissant deux segments identiques(#32800)
                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                  • Correction d'un problème où le nom de la partition ne pouvait pas être spécifié dans l'importation de binlog(#32730, #33027)
                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                  • Rendre la colonne dynamique optionnelle dans l'importation de parquet(#32738)
                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                  • Suppression de la vérification de l'auto ID lors de l'insertion de données(#32775)
                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                  • Validation du nombre de lignes pour les données des champs d'insertion avec le schéma(#32770)
                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                  • Ajout d'un wrapper et d'un keepalive pour les IDs de CTraceContext(#32746)
                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                  • Correction d'un problème où le nom de la base de données n'était pas trouvé dans l'objet méta datacoord(#33412)
                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                  • Synchronisation du segment abandonné pour la partition abandonnée(#33332)
                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                  • Correction de l'échec de la collecte des métriques de quotaCenter en raison de paramètres incorrects(#33399)
                                                                                                                                                                                                                  • +

                                                                                                                                                                                                                    Bug fixes

                                                                                                                                                                                                                      +
                                                                                                                                                                                                                    • Fixed panic when the database didn’t exist in the rate limit interceptor (#33308)
                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                    • Fixed quotacenter metrics collection failure due to incorrect parameters (#33399)
                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                    • Fixed panic if processactivestandby returned an error (#33372)
                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                    • Fixed search result truncation in restful v2 when nq > 1 (#33363)
                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                    • Added database name field for role operations in restful v2 (#33291)
                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                    • Fixed global rate limit not working (#33336)
                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                    • Fixed panic caused by failure of building index (#33314)
                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                    • Added validation for sparse vector in segcore to ensure legality (#33312)
                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                    • Removed task from syncmgr after task completion (#33303)
                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                    • Fixed partition key filtering failure during data import (#33277)
                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                    • Fixed inability to generate traceID when using noop exporter (#33208)
                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                    • Improved query results retrieval (#33179)
                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                    • Marked channel checkpoint dropped to prevent checkpoint lag metrics leakage (#33201)
                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                    • Fixed query node getting stuck during stopping progress (#33154)
                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                    • Fixed missing segments in flush response (#33061)
                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                    • Made submit operation idempotent (#33053)
                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                    • Allocated new slice for each batch in streaming reader (#33360)
                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                    • Cleaned offline node from resource group after QueryCoord restart (#33233)
                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                    • Removed l0 compactor in completedCompactor (#33216)
                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                    • Reset quota value when initializing the limiter (#33152)
                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                    • Fixed issue where etcd limit was exceeded (#33041)
                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                    • Resolved etcd transaction limit exceedance due to too many fields (#33040)
                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                    • Removed RLock re-entry in GetNumRowsOfPartition (#33045)
                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                    • Started LeaderCacheObserver before SyncAll (#33035)
                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                    • Enabled balancing of released standby channel (#32986)
                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                    • Initialized access logger before server initialization (#32976)
                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                    • Made compactor capable of clearing empty segments (#32821)
                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                    • Filled deltalog entry number and time range in l0 compactions (#33004)
                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                    • Fixed proxy crash due to shard leader cache data race (#32971)
                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                    • Corrected time unit for load index metric (#32935)
                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                    • Fixed issue where segment on stopping query node couldn’t be released successfully (#32929)
                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                    • Fixed index resource estimation (#32842)
                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                    • Set channel checkpoint to delta position (#32878)
                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                    • Made syncmgr lock key before returning future (#32865)
                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                    • Ensured inverted index had only one segment (#32858)
                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                    • Fixed compaction trigger choosing two identical segments (#32800)
                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                    • Fixed issue where partition name could not be specified in binlog import (#32730, #33027)
                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                    • Made dynamic column optional in parquet import (#32738)
                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                    • Skipped checking auto ID when inserting data (#32775)
                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                    • Validated number of rows for insert field data with schema (#32770)
                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                    • Added Wrapper and Keepalive for CTraceContext IDs (#32746)
                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                    • Fixed issue where database name was not found in the datacoord meta object (#33412)
                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                    • Synchronized dropped segment for dropped partition (#33332)
                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                    • Fixed quotaCenter metrics collection failure due to incorrect parameters (#33399)

                                                                                                                                                                                                                    v2.4.1

                                                                                                                                                                                                                    Date de publication : 6 mai 2024

                                                                                                                                                                                                                    +

                                                                                                                                                                                                                    Release date: May 6, 2024

                                                                                                                                                                                                                    - +
                                                                                                                                                                                                                    Version de MilvusVersion du SDK PythonVersion du SDK JavaVersion du SDK Node.js
                                                                                                                                                                                                                    Milvus versionPython SDK versionJava SDK versionNode.js SDK version
                                                                                                                                                                                                                    2.4.12.4.12.4.02.4.2
                                                                                                                                                                                                                    -

                                                                                                                                                                                                                    La version 2.4.1 de Milvus apporte de nombreuses améliorations et corrections de bogues qui visent à améliorer les performances, l'observabilité et la stabilité du logiciel. Ces améliorations comprennent une API déclarative pour les groupes de ressources, une fonctionnalité améliorée d'insertion en bloc qui prend en charge les types de données vectorielles Float16/BFloat16, un mécanisme affiné de collecte des ordures (GC) qui réduit les opérations de liste pour le stockage des objets, et d'autres changements liés à l'optimisation des performances. En outre, les corrections de bogues abordent des problèmes tels que les erreurs de compilation, l'échec des correspondances floues sur les caractères de nouvelle ligne, les types de données de paramètres incorrects pour les interfaces RESTful, et les erreurs soulevées par BulkInsert sur les fichiers numpy lorsque les champs dynamiques sont activés.

                                                                                                                                                                                                                    -

                                                                                                                                                                                                                    Changements de rupture

                                                                                                                                                                                                                      -
                                                                                                                                                                                                                    • Suppression de la prise en charge de la suppression avec une expression de filtre vide.(#32472)
                                                                                                                                                                                                                    • +

                                                                                                                                                                                                                      Milvus version 2.4.1 brings numerous improvements and bug fixes that aim to enhance the software’s performance, observability, and stability. These improvements include a declarative resource group API, enhanced bulk insert functionality that supports Float16/BFloat16 vector data types, a refined garbage collection (GC) mechanism that reduces list operations for object storage, and other changes related to performance optimizations. Additionally, bug fixes address issues such as compilation errors, failed fuzzy matches on newline characters, incorrect parameter datatypes for RESTful interfaces, and BulkInsert raising errors on numpy files when dynamic fields are enabled.

                                                                                                                                                                                                                      +

                                                                                                                                                                                                                      Breaking changes

                                                                                                                                                                                                                        +
                                                                                                                                                                                                                      • Discontinued support for delete with an empty filter expression. (#32472)
                                                                                                                                                                                                                      -

                                                                                                                                                                                                                      Fonctionnalités

                                                                                                                                                                                                                        -
                                                                                                                                                                                                                      • Ajout du support des types de données vectorielles Float16/BFloat16 dans l'insertion en bloc(#32157)
                                                                                                                                                                                                                      • -
                                                                                                                                                                                                                      • Amélioration des vecteurs flottants épars pour supporter la recherche brute d'itérateur et la recherche d'intervalle(#32635)
                                                                                                                                                                                                                      • +

                                                                                                                                                                                                                        Features

                                                                                                                                                                                                                          +
                                                                                                                                                                                                                        • Added support for Float16/BFloat16 vector data types in bulk insert (#32157)
                                                                                                                                                                                                                        • +
                                                                                                                                                                                                                        • Enhanced sparse float vector to support brute force iterator search and range search (#32635)
                                                                                                                                                                                                                        -

                                                                                                                                                                                                                        Améliorations

                                                                                                                                                                                                                          -
                                                                                                                                                                                                                        • Ajout d'une api déclarative pour les groupes de ressources(#31930, #32297, #32536, #32666)
                                                                                                                                                                                                                        • -
                                                                                                                                                                                                                        • Réécriture de l'observateur de collection dans QueryCoord pour le rendre orienté vers les tâches(#32441)
                                                                                                                                                                                                                        • -
                                                                                                                                                                                                                        • Refonte de la structure de données utilisée dans le SyncManager de DataNode pour réduire l'utilisation de la mémoire et prévenir les erreurs(#32673)
                                                                                                                                                                                                                        • -
                                                                                                                                                                                                                        • Révision de l'implémentation du garbage collection pour minimiser les opérations de liste associées au stockage des objets(#31740)
                                                                                                                                                                                                                        • -
                                                                                                                                                                                                                        • Réduction de l'utilisation du processeur lorsque le nombre de collections est élevé(#32245)
                                                                                                                                                                                                                        • -
                                                                                                                                                                                                                        • Amélioration de la gestion de milvus.yaml en générant automatiquement les éléments de configuration pertinents dans le fichier milvus.yaml par le biais du code(#31832, #32357)
                                                                                                                                                                                                                        • -
                                                                                                                                                                                                                        • Amélioration des performances de la requête en récupérant les données après avoir effectué une réduction locale(#32346)
                                                                                                                                                                                                                        • -
                                                                                                                                                                                                                        • Ajout de l'option WithBlock pour la création de clients etcd(#32641)
                                                                                                                                                                                                                        • -
                                                                                                                                                                                                                        • Utilisation de l'identifiant client_request_id spécifié par le client comme TraceID si le client le fournit(#32264)
                                                                                                                                                                                                                        • -
                                                                                                                                                                                                                        • Ajout d'un label db aux métriques pour les opérations de suppression et d'insertion en masse(#32611)
                                                                                                                                                                                                                        • -
                                                                                                                                                                                                                        • Ajout d'une logique permettant d'ignorer la vérification par la configuration pour les colonnes AutoID et PartitionKey(#32592)
                                                                                                                                                                                                                        • -
                                                                                                                                                                                                                        • Amélioration des erreurs liées à l'authentification(#32253)
                                                                                                                                                                                                                        • -
                                                                                                                                                                                                                        • Amélioration des journaux d'erreurs pour AllocSegmentID dans DataCoord(#32351, #32335)
                                                                                                                                                                                                                        • -
                                                                                                                                                                                                                        • Suppression des métriques en double(#32380, #32308) et nettoyage des métriques inutilisées(#32404, #32515)
                                                                                                                                                                                                                        • -
                                                                                                                                                                                                                        • Ajout d'une option de configuration pour contrôler l'activation ou non de la fonctionnalité partitionKey(#32433)
                                                                                                                                                                                                                        • -
                                                                                                                                                                                                                        • Ajout d'une option de configuration pour contrôler la quantité maximale de données qui peuvent être insérées dans une seule requête(#32433)
                                                                                                                                                                                                                        • -
                                                                                                                                                                                                                        • Paralléliser l'opération applyDelete au niveau du segment pour accélérer le traitement des messages Delete par le Delegator(#32291)
                                                                                                                                                                                                                        • -
                                                                                                                                                                                                                        • Utilisation de l'index(#32232, #32505, #32533, #32595) et du cache d'ajout(#32580) pour accélérer les opérations de filtrage fréquentes dans QueryCoord.
                                                                                                                                                                                                                        • -
                                                                                                                                                                                                                        • Réécriture de la structure des données(#32273) et refactorisation du code(#32389) pour accélérer les opérations courantes dans DataCoord.
                                                                                                                                                                                                                        • -
                                                                                                                                                                                                                        • Suppression d'openblas de conan(#32002)
                                                                                                                                                                                                                        • +

                                                                                                                                                                                                                          Improvements

                                                                                                                                                                                                                            +
                                                                                                                                                                                                                          • Added declarative resource group api (#31930, #32297, #32536, #32666)
                                                                                                                                                                                                                          • +
                                                                                                                                                                                                                          • Rewrote the collection observer in QueryCoord to make it task-driven (#32441)
                                                                                                                                                                                                                          • +
                                                                                                                                                                                                                          • Refactored the data structure used in the SyncManager of DataNode to reduce memory usage and prevent errors (#32673)
                                                                                                                                                                                                                          • +
                                                                                                                                                                                                                          • Revised the implementation of garbage collection to minimize list operations associated with object storage (#31740)
                                                                                                                                                                                                                          • +
                                                                                                                                                                                                                          • Reduced the cpu usage when collection number is high (#32245)
                                                                                                                                                                                                                          • +
                                                                                                                                                                                                                          • Enhanced the management of milvus.yaml by automatically generating relevant configuration items in the milvus.yaml file through code (#31832, #32357)
                                                                                                                                                                                                                          • +
                                                                                                                                                                                                                          • Enhanced the performance of the Query by retrieving the data after performing local reduction (#32346)
                                                                                                                                                                                                                          • +
                                                                                                                                                                                                                          • Added WithBlock option for etcd client creation (#32641)
                                                                                                                                                                                                                          • +
                                                                                                                                                                                                                          • Used client_request_id specified by the client as the TraceID if client provided (#32264)
                                                                                                                                                                                                                          • +
                                                                                                                                                                                                                          • Added db label to the metrics for the delete and bulk insert operations (#32611)
                                                                                                                                                                                                                          • +
                                                                                                                                                                                                                          • Added logic to skip the verification through configuration for AutoID and PartitionKey columns (#32592)
                                                                                                                                                                                                                          • +
                                                                                                                                                                                                                          • Refined errors related to authentication (#32253)
                                                                                                                                                                                                                          • +
                                                                                                                                                                                                                          • Refined error logs for AllocSegmentID in DataCoord (#32351, #32335)
                                                                                                                                                                                                                          • +
                                                                                                                                                                                                                          • Removed duplicate metrics (#32380, #32308) and cleaned up unused metrics (#32404, #32515)
                                                                                                                                                                                                                          • +
                                                                                                                                                                                                                          • Added configuration option to control whether to enforce the activation of the partitionKey feature (#32433)
                                                                                                                                                                                                                          • +
                                                                                                                                                                                                                          • Added configuration option to control the maximum amount of data that can be inserted in a single request (#32433)
                                                                                                                                                                                                                          • +
                                                                                                                                                                                                                          • Parallelize the applyDelete operation at the segment level to accelerate the processing of Delete messages by the Delegator (#32291)
                                                                                                                                                                                                                          • +
                                                                                                                                                                                                                          • Used index (#32232, #32505, #32533, #32595) and add cache (#32580) to accelerate frequent filtering operations in QueryCoord.
                                                                                                                                                                                                                          • +
                                                                                                                                                                                                                          • Rewrote the data structure (#32273) and refactored code (#32389) to accelerate common operations in DataCoord.
                                                                                                                                                                                                                          • +
                                                                                                                                                                                                                          • Removed openblas from conan (#32002)
                                                                                                                                                                                                                          -

                                                                                                                                                                                                                          Correction de bogues

                                                                                                                                                                                                                            -
                                                                                                                                                                                                                          • Correction du build milvus dans rockylinux8(#32619)
                                                                                                                                                                                                                          • -
                                                                                                                                                                                                                          • Correction des erreurs de compilation pour SVE sur ARM(#32463, #32270)
                                                                                                                                                                                                                          • -
                                                                                                                                                                                                                          • Correction du problème de crash sur les images GPU basées sur ARM(#31980)
                                                                                                                                                                                                                          • -
                                                                                                                                                                                                                          • Correction de la requête regex qui ne peut pas gérer le texte avec une nouvelle ligne(#32569)
                                                                                                                                                                                                                          • -
                                                                                                                                                                                                                          • Correction de la recherche obtenant un résultat vide causé par GetShardLeaders retournant une liste de noeuds vide(#32685)
                                                                                                                                                                                                                          • -
                                                                                                                                                                                                                          • Correction de l'erreur soulevée par BulkInsert lors de la rencontre de champs dynamiques dans les fichiers numpy(#32596)
                                                                                                                                                                                                                          • -
                                                                                                                                                                                                                          • Correction de bugs liés à l'interface RESTFulV2, y compris une correction importante qui permet aux paramètres numériques dans les requêtes d'accepter une entrée numérique au lieu d'une chaîne de caractères(#32485, #32355)
                                                                                                                                                                                                                          • -
                                                                                                                                                                                                                          • Correction d'une fuite de mémoire dans le proxy en supprimant l'événement "watching config" dans le limiteur de vitesse(#32313)
                                                                                                                                                                                                                          • -
                                                                                                                                                                                                                          • Correction du problème où le limiteur de taux rapporte incorrectement que la partition ne peut pas être trouvée lorsque partitionName n'est pas spécifié(#32647)
                                                                                                                                                                                                                          • -
                                                                                                                                                                                                                          • Ajout d'une détection entre les cas où la collection est dans l'état de récupération et où elle n'est pas chargée dans le type d'erreur.(#32447)
                                                                                                                                                                                                                          • -
                                                                                                                                                                                                                          • Correction de la métrique négative du nombre d'entités interrogeables(#32361)
                                                                                                                                                                                                                          • +

                                                                                                                                                                                                                            Bug fixes

                                                                                                                                                                                                                              +
                                                                                                                                                                                                                            • Fixed build milvus in rockylinux8 (#32619)
                                                                                                                                                                                                                            • +
                                                                                                                                                                                                                            • Fixed compilation errors for SVE on ARM (#32463, #32270)
                                                                                                                                                                                                                            • +
                                                                                                                                                                                                                            • Fixed the crash issue on ARM-based GPU images (#31980)
                                                                                                                                                                                                                            • +
                                                                                                                                                                                                                            • Fixed regex query can’t handle text with newline (#32569)
                                                                                                                                                                                                                            • +
                                                                                                                                                                                                                            • Fixed search get empty result caused by GetShardLeaders return empty node list (#32685)
                                                                                                                                                                                                                            • +
                                                                                                                                                                                                                            • Fixed BulkInsert raised error when encountering dynamic fields in numpy files (#32596)
                                                                                                                                                                                                                            • +
                                                                                                                                                                                                                            • Fixed bugs related to the RESTFulV2 interface, including an important fix that allows numeric parameters in requests to accept numerical input instead of string type (#32485, #32355)
                                                                                                                                                                                                                            • +
                                                                                                                                                                                                                            • Fixed memory leak in proxy by removing watching config event in rate limiter (#32313)
                                                                                                                                                                                                                            • +
                                                                                                                                                                                                                            • Fixed the issue where the rate limiter incorrectly reports that the partition cannot be found when partitionName is not specified (#32647)
                                                                                                                                                                                                                            • +
                                                                                                                                                                                                                            • Added detection between the cases of Collection being in the recovery state and not being loaded in the error type. (#32447)
                                                                                                                                                                                                                            • +
                                                                                                                                                                                                                            • Corrected the negative queryable num entities metric (#32361)

                                                                                                                                                                                                                            v2.4.0

                                                                                                                                                                                                                            Date de publication : 17 avril 2024

                                                                                                                                                                                                                            +

                                                                                                                                                                                                                            Release date: April 17, 2024

                                                                                                                                                                                                                            - +
                                                                                                                                                                                                                            Version de MilvusVersion du SDK PythonVersion du SDK Node.js
                                                                                                                                                                                                                            Milvus versionPython SDK versionNode.js SDK version
                                                                                                                                                                                                                            2.4.02.4.02.4.0
                                                                                                                                                                                                                            -

                                                                                                                                                                                                                            Nous sommes heureux d'annoncer le lancement officiel de Milvus 2.4.0. S'appuyant sur les bases solides de la version 2.4.0-rc.1, nous nous sommes concentrés sur la résolution des bogues critiques signalés par nos utilisateurs, tout en préservant les fonctionnalités existantes. En outre, Milvus 2.4.0 introduit une série d'optimisations visant à accroître les performances du système, à améliorer l'observabilité grâce à l'incorporation de diverses mesures et à rationaliser la base de code pour une plus grande simplicité.

                                                                                                                                                                                                                            -

                                                                                                                                                                                                                            Améliorations

                                                                                                                                                                                                                              -
                                                                                                                                                                                                                            • Support des connexions MinIO TLS(#31396, #31618)
                                                                                                                                                                                                                            • -
                                                                                                                                                                                                                            • Support d'AutoIndex pour les champs scalaires(#31593)
                                                                                                                                                                                                                            • -
                                                                                                                                                                                                                            • Refactorisation de la recherche hybride pour des chemins d'exécution cohérents avec la recherche régulière(#31742, #32178)
                                                                                                                                                                                                                            • -
                                                                                                                                                                                                                            • Filtrage accéléré grâce au refactoring de bitset et bitset_view(#31592, #31754, #32139)
                                                                                                                                                                                                                            • -
                                                                                                                                                                                                                            • Les tâches d'importation prennent désormais en charge l'attente de l'achèvement de l'index des données(#31733)
                                                                                                                                                                                                                            • -
                                                                                                                                                                                                                            • Amélioration de la compatibilité des importations(#32121), de la planification des tâches(#31475), et des limites sur la taille et le nombre de fichiers importés(#31542)
                                                                                                                                                                                                                            • -
                                                                                                                                                                                                                            • Efforts de simplification du code incluant la standardisation de l'interface pour la vérification de type(#31945, #31857), la suppression du code et des métriques obsolètes(#32079, #32134, #31535, #32211, #31935), et la normalisation des noms de constantes(#31515).
                                                                                                                                                                                                                            • -
                                                                                                                                                                                                                            • Nouvelle métrique pour QueryCoord current target channel check point lag latency(#31420)
                                                                                                                                                                                                                            • -
                                                                                                                                                                                                                            • Nouveau label db pour les métriques communes(#32024)
                                                                                                                                                                                                                            • -
                                                                                                                                                                                                                            • Nouvelles métriques concernant le nombre d'entités supprimées, indexées et chargées, avec l'inclusion d'étiquettes telles que collectionName et dbName(#31861)
                                                                                                                                                                                                                            • -
                                                                                                                                                                                                                            • Amélioration de la gestion des erreurs pour les types de vecteurs non concordants(#31766)
                                                                                                                                                                                                                            • -
                                                                                                                                                                                                                            • Prise en charge de l'affichage d'erreurs au lieu d'un plantage lorsque l'index ne peut pas être construit(#31845)
                                                                                                                                                                                                                            • -
                                                                                                                                                                                                                            • Prise en charge de l'invalidation du méta-cache de la base de données lors de l'abandon d'une base de données(#32092)
                                                                                                                                                                                                                            • -
                                                                                                                                                                                                                            • Refonte de l'interface pour la distribution des canaux(#31814) et la gestion de la vue du leader(#32127)
                                                                                                                                                                                                                            • -
                                                                                                                                                                                                                            • Refactorisation de l'interface du gestionnaire de distribution des canaux(#31814) et Refactorisation de l'interface du gestionnaire de vue du leader(#32127)
                                                                                                                                                                                                                            • -
                                                                                                                                                                                                                            • Traitement par lots(#31632), ajout d'informations de mappage(#32234, #32249), et éviter l'utilisation de verrou(#31787) pour accélérer les opérations fréquemment invoquées.
                                                                                                                                                                                                                            • +

                                                                                                                                                                                                                              We are excited to announce the official launch of Milvus 2.4.- Building upon the solid foundation of the 2.4.0-rc.1 release, we have focused on addressing critical bugs reported by our users, while preserving the existing functionality. In addition, Milvus 2.4.0 introduces a range of optimizations aimed at enhancing system performance, improving observability through the incorporation of various metrics, and streamlining the codebase for increased simplicity.

                                                                                                                                                                                                                              +

                                                                                                                                                                                                                              Improvements

                                                                                                                                                                                                                                +
                                                                                                                                                                                                                              • Support for MinIO TLS connections (#31396, #31618)
                                                                                                                                                                                                                              • +
                                                                                                                                                                                                                              • AutoIndex support for scalar fields (#31593)
                                                                                                                                                                                                                              • +
                                                                                                                                                                                                                              • Hybrid search refactoring for consistent execution paths with regular search (#31742, #32178)
                                                                                                                                                                                                                              • +
                                                                                                                                                                                                                              • Accelerated filtering through bitset and bitset_view refactoring (#31592, #31754, #32139)
                                                                                                                                                                                                                              • +
                                                                                                                                                                                                                              • Import tasks now support waiting for data index completion (#31733)
                                                                                                                                                                                                                              • +
                                                                                                                                                                                                                              • Enhanced Import compatibility (#32121), task scheduling (#31475), and limits on imported file size and number (#31542)
                                                                                                                                                                                                                              • +
                                                                                                                                                                                                                              • Code simplification efforts including interface standardization for type checking (#31945, #31857), removal of deprecated code and metrics (#32079, #32134, #31535, #32211, #31935), and normalization of constant names (#31515)
                                                                                                                                                                                                                              • +
                                                                                                                                                                                                                              • New metrics for QueryCoord current target channel check point lag latency (#31420)
                                                                                                                                                                                                                              • +
                                                                                                                                                                                                                              • New db label for common metrics (#32024)
                                                                                                                                                                                                                              • +
                                                                                                                                                                                                                              • New metrics regarding the count of deleted, indexed, and loaded entities, with the inclusion of labels such as collectionName and dbName (#31861)
                                                                                                                                                                                                                              • +
                                                                                                                                                                                                                              • Error handling improvements for mismatched vector types (#31766)
                                                                                                                                                                                                                              • +
                                                                                                                                                                                                                              • Support for throwing errors instead of crashing when index cannot be built (#31845)
                                                                                                                                                                                                                              • +
                                                                                                                                                                                                                              • Support for invalidating the database meta cache when dropping databases (#32092)
                                                                                                                                                                                                                              • +
                                                                                                                                                                                                                              • Interface refactoring for channel distribution (#31814) and leader view management (#32127)
                                                                                                                                                                                                                              • +
                                                                                                                                                                                                                              • Refactor channel dist manager interface (#31814) and Refactor leader view manager interface (#32127)
                                                                                                                                                                                                                              • +
                                                                                                                                                                                                                              • Batch processing (#31632), adding mapping information (#32234, #32249), and avoiding usage of lock (#31787) to accelerate frequently invoked operations
                                                                                                                                                                                                                              -

                                                                                                                                                                                                                              Ruptures

                                                                                                                                                                                                                                -
                                                                                                                                                                                                                              • Abandon de la recherche de regroupement sur les vecteurs binaires(#31735)
                                                                                                                                                                                                                              • -
                                                                                                                                                                                                                              • Abandon de la recherche par regroupement avec la recherche hybride(#31812)
                                                                                                                                                                                                                              • -
                                                                                                                                                                                                                              • Abandon de l'index HNSW sur les vecteurs binaires(#31883)
                                                                                                                                                                                                                              • +

                                                                                                                                                                                                                                Breaking Changes

                                                                                                                                                                                                                                  +
                                                                                                                                                                                                                                • Discontinued grouping search on binary vectors (#31735)
                                                                                                                                                                                                                                • +
                                                                                                                                                                                                                                • Discontinued grouping search with hybrid search (#31812)
                                                                                                                                                                                                                                • +
                                                                                                                                                                                                                                • Discontinued HNSW index on binary vectors (#31883)
                                                                                                                                                                                                                                -

                                                                                                                                                                                                                                Corrections de bugs

                                                                                                                                                                                                                                  -
                                                                                                                                                                                                                                • Amélioration des vérifications des types de données et des valeurs pour les requêtes et les insertions afin d'éviter les plantages(#31478, #31653, #31698, #31842, #32042, #32251, #32204)
                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                • Correction des bogues de l'API RESTful(#32160)
                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                • Amélioration de la prédiction de l'utilisation des ressources de l'index inversé(#31641)
                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                • Résolution des problèmes de connexion avec etcd lorsque l'autorisation est activée(#31668)
                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                • Mise à jour de sécurité pour le serveur nats(#32023)
                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                • Stockage des fichiers d'index inversé dans un chemin de stockage local de QueryNode au lieu de /tmp(#32210)
                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                • Correction des fuites de mémoire du datacoord pour collectionInfo(#32243)
                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                • Correction de bogues liés à fp16/bf16 pouvant causer une panique du système(#31677, #31841, #32196)
                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                • Résolution de problèmes avec la recherche de groupement renvoyant des résultats insuffisants(#32151)
                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                • Ajustement de la recherche avec itérateurs pour gérer plus efficacement les décalages dans l'étape de réduction et garantir des résultats adéquats lorsque "reduceStopForBest" est activé(#32088)
                                                                                                                                                                                                                                • +

                                                                                                                                                                                                                                  Bug Fixes

                                                                                                                                                                                                                                    +
                                                                                                                                                                                                                                  • Enhanced data type and value checks for queries and insertions to prevent crashes (#31478, #31653, #31698, #31842, #32042, #32251, #32204)
                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                  • RESTful API bug fixes (#32160)
                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                  • Improved prediction of inverted index resource usage (#31641)
                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                  • Resolution of connection issues with etcd when authorization is enabled (#31668)
                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                  • Security update for nats server (#32023)
                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                  • Stored inverted index files into a local storage path of QueryNode instead of /tmp (#32210)
                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                  • Addressed datacoord memory leaks for collectionInfo (#32243)
                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                  • Fixes for fp16/bf16 related bugs potentially causing system panic (#31677, #31841, #32196)
                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                  • Resolved issues with grouping search returning insufficient results (#32151)
                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                  • Adjustment of search with iterators to handle offsets in the Reduce step more effectively and ensure adequate results with “reduceStopForBest” enabled (#32088)

                                                                                                                                                                                                                                  v2.4.0-rc.1

                                                                                                                                                                                                                                  Date de publication : 20 mars 2024

                                                                                                                                                                                                                                  +

                                                                                                                                                                                                                                  Release date: March 20, 2024

                                                                                                                                                                                                                                  - +
                                                                                                                                                                                                                                  Version de MilvusVersion du SDK Python
                                                                                                                                                                                                                                  Milvus versionPython SDK version
                                                                                                                                                                                                                                  2.4.0-rc.12.4.0
                                                                                                                                                                                                                                  -

                                                                                                                                                                                                                                  Cette version introduit plusieurs fonctionnalités basées sur des scénarios :

                                                                                                                                                                                                                                  +

                                                                                                                                                                                                                                  This release introduces several scenario-based features:

                                                                                                                                                                                                                                    -
                                                                                                                                                                                                                                  • Nouvel index GPU - CAGRA: Grâce à la contribution de NVIDIA, ce nouvel index GPU offre un gain de performance de 10 fois, en particulier pour les recherches par lots. Pour plus de détails, voir Index GPU.

                                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                                  • Recherchemulti-vectorielle et hybride: Cette fonctionnalité permet de stocker des embeddings vectoriels provenant de plusieurs modèles et d'effectuer des recherches hybrides. Pour plus d'informations, reportez-vous à la section Recherche hybride.

                                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                                  • Vecteurs épars: Idéaux pour l'interprétation et l'analyse des mots-clés, les vecteurs épars sont désormais pris en charge pour le traitement dans votre collection. Pour plus d'informations, reportez-vous à la section Vecteurs épars.

                                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                                  • Recherche par regroupement: L'agrégation catégorielle améliore la mémorisation au niveau des documents pour les applications de génération assistée par récupération (RAG). Pour plus d'informations, reportez-vous à la section Recherche par regroupement.

                                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                                  • Index inversé et correspondance floue: ces fonctionnalités améliorent la recherche par mot-clé pour les champs scalaires. Pour plus d'informations, reportez-vous à la section Champs scalaires indexés et recherche filtrée.

                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                  • New GPU Index - CAGRA: Thanks to NVIDIA’s contribution, this new GPU index offers a 10x performance boost, especially for batch searches. For details, refer to GPU Index.

                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                  • Multi-vector and Hybrid Search: This feature enables storing vector embeddings from multiple models and conducting hybrid searches. For details, refer to Hybrid Search.

                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                  • Sparse Vectors: Ideal for keyword interpretation and analysis, sparse vectors are now supported for processing in your collection. For details, refer to Sparse Vectors.

                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                  • Grouping Search: Categorical aggregation enhances document-level recall for Retrieval-Augmented Generation (RAG) applications. For details, refer to Grouping Search.

                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                  • Inverted Index and Fuzzy Matching: These capabilities improve keyword retrieval for scalar fields. For details, refer to Index Scalar Fields and Filtered Search.

                                                                                                                                                                                                                                  -

                                                                                                                                                                                                                                  Nouvelles fonctionnalités

                                                                                                                                                                                                                                  Index GPU - CAGRA

                                                                                                                                                                                                                                  Nous tenons à exprimer notre sincère gratitude à l'équipe de NVIDIA pour sa contribution inestimable à CAGRA, un index de graphes basé sur le GPU à la pointe de la technologie (SoTA) qui peut être utilisé en ligne.

                                                                                                                                                                                                                                  -

                                                                                                                                                                                                                                  Contrairement aux index GPU précédents, CAGRA démontre une supériorité écrasante même dans les requêtes par petits lots, un domaine où les index CPU excellent traditionnellement. En outre, les performances de CAGRA dans les requêtes par lots importants et la vitesse de construction de l'index, domaines dans lesquels les index GPU brillent déjà, sont réellement inégalées.

                                                                                                                                                                                                                                  -

                                                                                                                                                                                                                                  Un exemple de code peut être trouvé dans example_gpu_cagra.py.

                                                                                                                                                                                                                                  -

                                                                                                                                                                                                                                  Vecteur Sparse (Beta)

                                                                                                                                                                                                                                  Dans cette version, nous introduisons un nouveau type de champ vectoriel appelé vecteur clairsemé. Les vecteurs épars sont différents de leurs homologues denses car ils ont tendance à avoir un nombre de dimensions plus élevé de plusieurs magnitudes avec seulement une poignée de dimensions non nulles. Cette caractéristique offre une meilleure interprétabilité en raison de sa nature basée sur les termes et peut être plus efficace dans certains domaines. Les modèles peu denses appris, tels que SPLADEv2/BGE-M3, se sont révélés très utiles pour les tâches courantes de classement de première étape. Le principal cas d'utilisation de cette nouvelle fonctionnalité de Milvus est de permettre une recherche sémantique approximative efficace du plus proche voisin sur des vecteurs épars générés par des modèles neuronaux tels que SPLADEv2/BGE-M3 et des modèles statistiques tels que l'algorithme BM25. Milvus prend désormais en charge le stockage, l'indexation et la recherche efficaces et performants (MIPS, Maximum Inner Product Search) de vecteurs épars.

                                                                                                                                                                                                                                  -

                                                                                                                                                                                                                                  Un exemple de code se trouve dans hello_sparse.py.

                                                                                                                                                                                                                                  -

                                                                                                                                                                                                                                  La prise en charge des vecteurs multiples est la pierre angulaire des applications qui nécessitent le traitement de données multi-modèles ou un mélange de vecteurs denses et peu denses. Avec le support multi-vecteur, vous pouvez maintenant :

                                                                                                                                                                                                                                  +

                                                                                                                                                                                                                                  New Features

                                                                                                                                                                                                                                  GPU Index - CAGRA

                                                                                                                                                                                                                                  We would like to express our sincere gratitude to the NVIDIA team for their invaluable contribution to CAGRA, a state-of-the-art (SoTA) GPU-based graph index that can be used online.

                                                                                                                                                                                                                                  +

                                                                                                                                                                                                                                  Unlike previous GPU indices, CAGRA demonstrates overwhelming superiority even in small batch queries, an area where CPU indices traditionally excel. In addition, CAGRA’s performance in large batch queries and index construction speed, domains where GPU indices already shine, is truly unparalleled.

                                                                                                                                                                                                                                  +

                                                                                                                                                                                                                                  Example code can be found in example_gpu_cagra.py.

                                                                                                                                                                                                                                  +

                                                                                                                                                                                                                                  Sparse Vector (Beta)

                                                                                                                                                                                                                                  In this release, we are introducing a new type of vector field called sparse vector. Sparse vectors are different from their dense counterparts as they tend to have several magnitude higher number of dimensions with only a handful being non-zero. This feature offers better interpretability due to its term-based nature and can be more effective in certain domains. Learned sparse models such as SPLADEv2/BGE-M3 have proven to be very useful for common first-stage ranking tasks. The main use case for this new feature in Milvus is to allow efficient approximate semantic nearest neighbor search over sparse vectors generated by neural models such as SPLADEv2/BGE-M3 and statistics models such as the BM25 algorithm. Milvus now supports effective and high-performance storage, indexing, and searching (MIPS, Maximum Inner Product Search) of sparse vectors.

                                                                                                                                                                                                                                  +

                                                                                                                                                                                                                                  Example code can be found in hello_sparse.py.

                                                                                                                                                                                                                                  +

                                                                                                                                                                                                                                  Multi-vector support is the cornerstone for applications that require multi-model data processing or a mix of dense and sparse vectors. With multi-vector support, now you can:

                                                                                                                                                                                                                                    -
                                                                                                                                                                                                                                  • Stocker les encastrements vectoriels générés pour des échantillons de texte, d'image ou de son non structurés à partir de plusieurs modèles.
                                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                                  • Effectuer des recherches ANN qui incluent plusieurs vecteurs de chaque entité.
                                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                                  • Personnaliser les stratégies de recherche en attribuant des poids aux différents modèles d'intégration.
                                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                                  • Expérimenter divers modèles d'intégration pour trouver la combinaison de modèles optimale.
                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                  • Store vector embeddings generated for unstructured text, image, or audio samples from multiple models.
                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                  • Conduct ANN searches that include multiple vectors of each entity.
                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                  • Customize search strategies by assigning weights to different embedding models.
                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                  • Experiment with various embedding models to find the optimal model combination.
                                                                                                                                                                                                                                  -

                                                                                                                                                                                                                                  La prise en charge de plusieurs vecteurs permet de stocker, d'indexer et d'appliquer des stratégies de reclassement à plusieurs champs de vecteurs de types différents, tels que FLOAT_VECTOR et SPARSE_FLOAT_VECTOR, dans une collection. Actuellement, deux stratégies de reclassement sont disponibles : Reciprocal Rank Fusion (RRF) et Average Weighted Scoring (notation moyenne pondérée). Ces deux stratégies combinent les résultats de recherche de différents champs vectoriels en un ensemble de résultats unifié. La première stratégie donne la priorité aux entités qui apparaissent systématiquement dans les résultats de recherche de différents champs vectoriels, tandis que l'autre stratégie attribue des poids aux résultats de recherche de chaque champ vectoriel afin de déterminer leur importance dans l'ensemble de résultats final.

                                                                                                                                                                                                                                  -

                                                                                                                                                                                                                                  Un exemple de code se trouve dans hybrid_search.py.

                                                                                                                                                                                                                                  -

                                                                                                                                                                                                                                  Index inversé et correspondance floue

                                                                                                                                                                                                                                  Dans les versions précédentes de Milvus, les index de recherche binaire basés sur la mémoire et les index Marisa Trie étaient utilisés pour l'indexation des champs scalaires. Cependant, ces méthodes étaient gourmandes en mémoire. La dernière version de Milvus utilise désormais l'index inversé basé sur Tantivy, qui peut être appliqué à tous les types de données numériques et de chaînes. Ce nouvel index améliore considérablement les performances des requêtes scalaires, en réduisant de dix fois les requêtes de mots-clés dans les chaînes de caractères. En outre, l'index inversé consomme moins de mémoire, grâce à des optimisations supplémentaires dans la compression des données et le mécanisme de stockage en mémoire (MMap) de la structure d'indexation interne.

                                                                                                                                                                                                                                  -

                                                                                                                                                                                                                                  Cette version prend également en charge les correspondances floues dans le filtrage scalaire en utilisant des préfixes, des infixes et des suffixes.

                                                                                                                                                                                                                                  -

                                                                                                                                                                                                                                  Des exemples de code peuvent être trouvés dans inverted_index_example.py et fuzzy_match.py.

                                                                                                                                                                                                                                  -

                                                                                                                                                                                                                                  Vous pouvez maintenant regrouper les résultats de la recherche par les valeurs d'un champ scalaire spécifique. Cela permet aux applications RAG d'implémenter le rappel au niveau du document. Considérons une collection de documents, chaque document est divisé en plusieurs passages. Chaque passage est représenté par un vecteur intégré et appartient à un document. Pour trouver les documents les plus pertinents au lieu de disperser les passages, vous pouvez inclure l'argument group_by_field dans l'opération search() pour regrouper les résultats par l'ID du document.

                                                                                                                                                                                                                                  -

                                                                                                                                                                                                                                  Un exemple de code se trouve dans example_group_by.py.

                                                                                                                                                                                                                                  -

                                                                                                                                                                                                                                  Type de données vectorielles Float16 et BFloat

                                                                                                                                                                                                                                  L'apprentissage automatique et les réseaux neuronaux utilisent souvent des types de données de demi-précision, tels que Float16 et BFloat- Bien que ces types de données puissent améliorer l'efficacité des requêtes et réduire l'utilisation de la mémoire, ils s'accompagnent d'une réduction de la précision. Avec cette version, Milvus prend désormais en charge ces types de données pour les champs vectoriels.

                                                                                                                                                                                                                                  -

                                                                                                                                                                                                                                  Des exemples de code se trouvent dans float16_example.py et bfloat16_example.py.

                                                                                                                                                                                                                                  -

                                                                                                                                                                                                                                  Architecture améliorée

                                                                                                                                                                                                                                  Segment L0

                                                                                                                                                                                                                                  Cette version inclut un nouveau segment appelé segment L0, conçu pour enregistrer les données supprimées. Ce segment compacte périodiquement les enregistrements supprimés stockés et les divise en segments scellés, ce qui réduit le nombre de vidanges de données nécessaires pour les petites suppressions et laisse une faible empreinte de stockage. Grâce à ce mécanisme, Milvus sépare complètement les compactions de données des vidanges de données, ce qui améliore les performances des opérations de suppression et d'insertion.

                                                                                                                                                                                                                                  -

                                                                                                                                                                                                                                  BulkInsert remanié

                                                                                                                                                                                                                                  Cette version introduit également une logique d'insertion en bloc améliorée. Cela vous permet d'importer plusieurs fichiers en une seule demande d'insertion en bloc. Avec la version remaniée, les performances et la stabilité de l'insertion en bloc ont été améliorées de manière significative. L'expérience de l'utilisateur a également été améliorée, notamment grâce à une limitation fine du débit et à des messages d'erreur plus conviviaux. En outre, vous pouvez facilement accéder aux points d'extrémité de l'insertion en bloc via l'API RESTful de Milvus.

                                                                                                                                                                                                                                  -

                                                                                                                                                                                                                                  Stockage en mémoire

                                                                                                                                                                                                                                  Milvus utilise le stockage en mémoire (MMap) pour optimiser son utilisation de la mémoire. Au lieu de charger le contenu du fichier directement dans la mémoire, ce mécanisme mappe le contenu du fichier dans la mémoire. Cette approche s'accompagne d'une dégradation des performances. En activant le MMap pour une collection indexée par HNSW sur un hôte doté de 2 CPU et de 8 Go de RAM, vous pouvez charger 4 fois plus de données avec une dégradation des performances inférieure à 10 %.

                                                                                                                                                                                                                                  -

                                                                                                                                                                                                                                  En outre, cette version permet également un contrôle dynamique et précis de MMap sans qu'il soit nécessaire de redémarrer Milvus.

                                                                                                                                                                                                                                  -

                                                                                                                                                                                                                                  Pour plus de détails, voir Stockage MMap.

                                                                                                                                                                                                                                  -

                                                                                                                                                                                                                                  Autres

                                                                                                                                                                                                                                  Milvus-CDC

                                                                                                                                                                                                                                  Milvus-CDC est un outil compagnon facile à utiliser pour capturer et synchroniser les données incrémentielles entre les instances Milvus, ce qui facilite la sauvegarde incrémentielle et la reprise après sinistre. Dans cette version, la stabilité de Milvus-CDC a été améliorée et sa fonctionnalité Change Data Capture (CDC) est désormais disponible de manière générale.

                                                                                                                                                                                                                                  -

                                                                                                                                                                                                                                  Pour en savoir plus sur Milvus-CDC, consultez le dépôt GitHub et la présentation de Milvus-CDC.

                                                                                                                                                                                                                                  -

                                                                                                                                                                                                                                  Interfaces MilvusClient affinées

                                                                                                                                                                                                                                  MilvusClient est une alternative facile à utiliser au module ORM. Il adopte une approche purement fonctionnelle pour simplifier les interactions avec le serveur. Au lieu de maintenir un pool de connexions, chaque MilvusClient établit une connexion gRPC avec le serveur. Le module MilvusClient a implémenté la plupart des fonctionnalités du module ORM. Pour en savoir plus sur le module MilvusClient, visitez pymilvus et les documents de référence.

                                                                                                                                                                                                                                  +

                                                                                                                                                                                                                                  Multi-vector support allows storing, indexing, and applying reranking strategies to multiple vector fields of different types, such as FLOAT_VECTOR and SPARSE_FLOAT_VECTOR, in a collection. Currently, two reranking strategies are available: Reciprocal Rank Fusion (RRF) and Average Weighted Scoring. Both strategies combine the search results from different vector fields into a unified result set. The first strategy prioritizes the entities that consistently appear in the search results of different vector fields, while the other strategy assigns weights to the search results of each vector field to determine their importance in the final result set.

                                                                                                                                                                                                                                  +

                                                                                                                                                                                                                                  Example code can be found in hybrid_search.py.

                                                                                                                                                                                                                                  +

                                                                                                                                                                                                                                  Inverted Index and Fuzzy Match

                                                                                                                                                                                                                                  In previous releases of Milvus, memory-based binary search indexes and Marisa Trie indexes were used for scalar field indexing. However, these methods were memory-intensive. The latest release of Milvus now employs the Tantivy-based inverted index, which can be applied to all numeric and string data types. This new index dramatically improves scalar query performance, reducing the query of keywords in strings by ten times. In addition, The inverted index consumes less memory, thanks to additional optimizations in data compression and Memory-mapped storage (MMap) mechanism of the internal indexing structure.

                                                                                                                                                                                                                                  +

                                                                                                                                                                                                                                  This release also supports fuzzy matches in scalar filtering using prefixes, infixes, and suffixes.

                                                                                                                                                                                                                                  +

                                                                                                                                                                                                                                  Example code can be found in inverted_index_example.py and fuzzy_match.py.

                                                                                                                                                                                                                                  +

                                                                                                                                                                                                                                  You can now aggregate the search results by the values in a specific scalar field. This helps RAG applications to implement document-level recall. Consider a collection of documents, each document splits into various passages. Each passage is represented by one vector embedding and belongs to one document. To find the most relevant documents instead of scattering passages, you can include the group_by_field argument in the search() operation to group results by the document ID.

                                                                                                                                                                                                                                  +

                                                                                                                                                                                                                                  Example code can be found in example_group_by.py.

                                                                                                                                                                                                                                  +

                                                                                                                                                                                                                                  Float16 and BFloat- Vector DataType

                                                                                                                                                                                                                                  Machine learning and neural networks often use half-precision data types, such as Float16 and BFloat- While these data types can improve query efficiency and reduce memory usage, they come with a tradeoff of reduced accuracy. With this release, Milvus now supports these data types for vector fields.

                                                                                                                                                                                                                                  +

                                                                                                                                                                                                                                  Example code can be found in float16_example.py and bfloat16_example.py.

                                                                                                                                                                                                                                  +

                                                                                                                                                                                                                                  Upgraded Architecture

                                                                                                                                                                                                                                  L0 Segment

                                                                                                                                                                                                                                  This release includes a new segment called L0 Segment, designed to record deleted data. This segment periodically compacts stored deleted records and splits them into sealed segments, reducing the number of data flushes required for small deletions and leaving a small storage footprint. With this mechanism, Milvus completely separates data compactions from data flushes, enhancing the performance of delete and upsert operations.

                                                                                                                                                                                                                                  +

                                                                                                                                                                                                                                  Refactored BulkInsert

                                                                                                                                                                                                                                  This release also introduces improved bulk-insert logic. This allows you to import multiple files in a single bulk-insert request. With the refactored version, both the performance and stability of bulk insert have seen significant improvements. The user experience has also been enhanced, such as fine-tuned rate limiting and more user-friendly error messages. In addition, you can easily access the bulk-insert endpoints through Milvus’ RESTful API.

                                                                                                                                                                                                                                  +

                                                                                                                                                                                                                                  Memory-mapped Storage

                                                                                                                                                                                                                                  Milvus uses memory-mapped storage (MMap) to optimize its memory usage. Instead of loading file content directly into memory, this mechanism maps the file content into memory. This approach comes with a tradeoff of performance degradation. By enabling MMap for an HNSW-indexed collection on a host with 2 CPUs and 8 GB RAM, you can load 4x more data with less than 10% performance degradation.

                                                                                                                                                                                                                                  +

                                                                                                                                                                                                                                  In addition, this release also allows dynamic and fine-grained control over MMap without the need to restart Milvus.

                                                                                                                                                                                                                                  +

                                                                                                                                                                                                                                  For details, refer to MMap Storage.

                                                                                                                                                                                                                                  +

                                                                                                                                                                                                                                  Others

                                                                                                                                                                                                                                  Milvus-CDC

                                                                                                                                                                                                                                  Milvus-CDC is an easy-to-use companion tool to capture and synchronize incremental data between Milvus instances, allowing for easy incremental backup and disaster recovery. In this release, Milvus-CDC has improved stability, and its Change Data Capture (CDC) functionality now becomes generally available.

                                                                                                                                                                                                                                  +

                                                                                                                                                                                                                                  To learn more about Milvus-CDC, refer to GitHub repository and Milvus-CDC Overview.

                                                                                                                                                                                                                                  +

                                                                                                                                                                                                                                  Refined MilvusClient Interfaces

                                                                                                                                                                                                                                  MilvusClient is an easy-to-use alternative to the ORM module. It adopts a purely functional approach to simplify interactions with the server. Instead of maintaining a connection pool, each MilvusClient establishes a gRPC connection to the server. +The MilvusClient module has implemented most of the functionalities of the ORM module. +To learn more about the MilvusClient module, visit pymilvus and the reference documents.

                                                                                                                                                                                                                                  diff --git a/localization/v2.4.x/site/fr/userGuide/data-import/import-data.json b/localization/v2.4.x/site/fr/userGuide/data-import/import-data.json index bd63337ed..45a421cc7 100644 --- a/localization/v2.4.x/site/fr/userGuide/data-import/import-data.json +++ b/localization/v2.4.x/site/fr/userGuide/data-import/import-data.json @@ -1 +1 @@ -{"codeList":["client = MilvusClient(\"http://localhost:19530\")\n\nschema = MilvusClient.create_schema(\n auto_id=False,\n enable_dynamic_field=True\n)\n\nschema.add_field(field_name=\"id\", datatype=DataType.INT64, is_primary=True)\nschema.add_field(field_name=\"vector\", datatype=DataType.FLOAT_VECTOR, dim=768)\nschema.add_field(field_name=\"scalar_1\", datatype=DataType.VARCHAR, max_length=512)\nschema.add_field(field_name=\"scalar_2\", datatype=DataType.INT64)\n\nclient.create_collection(\n collection_name=\"quick_setup\",\n schema=schema\n)\n","import io.milvus.client.MilvusServiceClient;\nimport io.milvus.param.ConnectParam;\nimport io.milvus.grpc.DataType;\nimport io.milvus.param.collection.CollectionSchemaParam;\nimport io.milvus.param.collection.CollectionSchemaParam;\nimport io.milvus.param.collection.FieldType;\n\nfinal MilvusServiceClient milvusClient = new MilvusServiceClient(\nConnectParam.newBuilder()\n .withUri(\"localhost:19530\")\n .withToken(\"root:Milvus\")\n .build()\n);\n\n// Define schema for the target collection\nFieldType id = FieldType.newBuilder()\n .withName(\"id\")\n .withDataType(DataType.Int64)\n .withPrimaryKey(true)\n .withAutoID(false)\n .build();\n\nFieldType vector = FieldType.newBuilder()\n .withName(\"vector\")\n .withDataType(DataType.FloatVector)\n .withDimension(768)\n .build();\n\nFieldType scalar1 = FieldType.newBuilder()\n .withName(\"scalar_1\")\n .withDataType(DataType.VarChar)\n .withMaxLength(512)\n .build();\n\nFieldType scalar2 = FieldType.newBuilder()\n .withName(\"scalar_2\")\n .withDataType(DataType.Int64)\n .build();\n\nCollectionSchemaParam schema = CollectionSchemaParam.newBuilder()\n .withEnableDynamicField(true)\n .addFieldType(id)\n .addFieldType(vector)\n .addFieldType(scalar1)\n .addFieldType(scalar2)\n .build();\n\n// Create a collection with the given schema\nmilvusClient.createCollection(CreateCollectionParam.newBuilder()\n .withCollectionName(\"quick_setup\")\n .withSchema(schema)\n .build()\n);\n","export MILVUS_URI=\"localhost:19530\"\n\ncurl --request POST \"http://${MILVUS_URI}/v2/vectordb/jobs/import/create\" \\\n--header \"Content-Type: application/json\" \\\n--data-raw '{\n \"files\": [\n [\n \"/8ca44f28-47f7-40ba-9604-98918afe26d1/1.parquet\"\n ],\n [\n \"/8ca44f28-47f7-40ba-9604-98918afe26d1/2.parquet\"\n ]\n ],\n \"collectionName\": \"quick_setup\"\n}'\n","[\n \"/d1782fa1-6b65-4ff3-b05a-43a436342445/1.json\"\n],\n","[\n \"/a6fb2d1c-7b1b-427c-a8a3-178944e3b66d/1.parquet\"\n]\n\n","{\n \"code\": 200,\n \"data\": {\n \"jobId\": \"448707763884413158\"\n }\n}\n","export MILVUS_URI=\"localhost:19530\"\n\ncurl --request POST \"http://${MILVUS_URI}/v2/vectordb/jobs/import/get_progress\" \\\n--header \"Content-Type: application/json\" \\\n--data-raw '{\n \"jobId\": \"449839014328146739\"\n}'\n","{\n \"code\": 200,\n \"data\": {\n \"collectionName\": \"quick_setup\",\n \"completeTime\": \"2024-05-18T02:57:13Z\",\n \"details\": [\n {\n \"completeTime\": \"2024-05-18T02:57:11Z\",\n \"fileName\": \"id:449839014328146740 paths:\\\"/8ca44f28-47f7-40ba-9604-98918afe26d1/1.parquet\\\" \",\n \"fileSize\": 31567874,\n \"importedRows\": 100000,\n \"progress\": 100,\n \"state\": \"Completed\",\n \"totalRows\": 100000\n },\n {\n \"completeTime\": \"2024-05-18T02:57:11Z\",\n \"fileName\": \"id:449839014328146741 paths:\\\"/8ca44f28-47f7-40ba-9604-98918afe26d1/2.parquet\\\" \",\n \"fileSize\": 31517224,\n \"importedRows\": 100000,\n \"progress\": 100,\n \"state\": \"Completed\",\n \"totalRows\": 200000 \n }\n ],\n \"fileSize\": 63085098,\n \"importedRows\": 200000,\n \"jobId\": \"449839014328146739\",\n \"progress\": 100,\n \"state\": \"Completed\",\n \"totalRows\": 200000\n }\n}\n","export MILVUS_URI=\"localhost:19530\"\n\ncurl --request POST \"http://${MILVUS_URI}/v2/vectordb/jobs/import/list\" \\\n--header \"Content-Type: application/json\" \\\n--data-raw '{\n \"collectionName\": \"quick_setup\"\n}'\n","{\n \"code\": 200,\n \"data\": {\n \"records\": [\n {\n \"collectionName\": \"quick_setup\",\n \"jobId\": \"448761313698322011\",\n \"progress\": 50,\n \"state\": \"Importing\"\n }\n ]\n }\n}\n"],"headingContent":"","anchorList":[{"label":"Importer des données","href":"Import-data","type":1,"isActive":false},{"label":"Avant de commencer","href":"Before-you-start","type":2,"isActive":false},{"label":"Importer des données","href":"Import-data","type":2,"isActive":false},{"label":"Vérifier la progression de l'importation","href":"Check-import-progress","type":2,"isActive":false},{"label":"Lister les travaux d'importation","href":"List-Import-Jobs","type":2,"isActive":false}]} \ No newline at end of file +{"codeList":["from pymilvus.bulk_writer import bulk_import\n\nurl = f\"http://127.0.0.1:19530\"\n\n# Bulk-insert data from a set of JSON files already uploaded to the MinIO server\nresp = bulk_import(\n url=url,\n collection_name=\"quick_setup\",\n files=[['a1e18323-a658-4d1b-95a7-9907a4391bcf/1.parquet'],\n ['a1e18323-a658-4d1b-95a7-9907a4391bcf/2.parquet'],\n ['a1e18323-a658-4d1b-95a7-9907a4391bcf/3.parquet'],\n ['a1e18323-a658-4d1b-95a7-9907a4391bcf/4.parquet'],\n ['a1e18323-a658-4d1b-95a7-9907a4391bcf/5.parquet'],\n ['a1e18323-a658-4d1b-95a7-9907a4391bcf/6.parquet'],\n ['a1e18323-a658-4d1b-95a7-9907a4391bcf/7.parquet'],\n ['a1e18323-a658-4d1b-95a7-9907a4391bcf/8.parquet'],\n ['a1e18323-a658-4d1b-95a7-9907a4391bcf/9.parquet'],\n ['a1e18323-a658-4d1b-95a7-9907a4391bcf/10.parquet']],\n)\n\njob_id = resp.json()['data']['jobId']\nprint(job_id)\n","private static String bulkImport(List> batchFiles) throws InterruptedException {\n MilvusImportRequest milvusImportRequest = MilvusImportRequest.builder()\n .collectionName(\"quick_setup\")\n .files(batchFiles)\n .build();\n String bulkImportResult = BulkImport.bulkImport(\"http://localhost:19530\", milvusImportRequest);\n System.out.println(bulkImportResult);\n\n JsonObject bulkImportObject = new Gson().fromJson(bulkImportResult, JsonObject.class);\n String jobId = bulkImportObject.getAsJsonObject(\"data\").get(\"jobId\").getAsString();\n System.out.println(\"Create a bulkInert task, job id: \" + jobId);\n return jobId;\n}\n\npublic static void main(String[] args) throws Exception {\n List> batchFiles = uploadData();\n String jobId = bulkImport(batchFiles);\n}\n","export MILVUS_URI=\"localhost:19530\"\n\ncurl --request POST \"http://${MILVUS_URI}/v2/vectordb/jobs/import/create\" \\\n--header \"Content-Type: application/json\" \\\n--data-raw '{\n \"files\": [\n [\n \"/8ca44f28-47f7-40ba-9604-98918afe26d1/1.parquet\"\n ],\n [\n \"/8ca44f28-47f7-40ba-9604-98918afe26d1/2.parquet\"\n ]\n ],\n \"collectionName\": \"quick_setup\"\n}'\n","[\n \"/d1782fa1-6b65-4ff3-b05a-43a436342445/1.json\"\n],\n","[\n \"/a6fb2d1c-7b1b-427c-a8a3-178944e3b66d/1.parquet\"\n]\n\n","{\n \"code\": 200,\n \"data\": {\n \"jobId\": \"448707763884413158\"\n }\n}\n","import json\nfrom pymilvus.bulk_writer import get_import_progress\n\nurl = f\"http://127.0.0.1:19530\"\n\n# Get bulk-insert job progress\nresp = get_import_progress(\n url=url,\n job_id=\"453265736269038336\",\n)\n\nprint(json.dumps(resp.json(), indent=4))\n","private static void getImportProgress(String jobId) {\n while (true) {\n System.out.println(\"Wait 5 second to check bulkInsert job state...\");\n try {\n TimeUnit.SECONDS.sleep(5);\n } catch (InterruptedException e) {\n break;\n }\n\n MilvusDescribeImportRequest request = MilvusDescribeImportRequest.builder()\n .jobId(jobId)\n .build();\n String getImportProgressResult = BulkImport.getImportProgress(\"http://localhost:19530\", request);\n\n JsonObject getImportProgressObject = new Gson().fromJson(getImportProgressResult, JsonObject.class);\n String state = getImportProgressObject.getAsJsonObject(\"data\").get(\"state\").getAsString();\n String progress = getImportProgressObject.getAsJsonObject(\"data\").get(\"progress\").getAsString();\n if (\"Failed\".equals(state)) {\n String reason = getImportProgressObject.getAsJsonObject(\"data\").get(\"reason\").getAsString();\n System.out.printf(\"The job %s failed, reason: %s%n\", jobId, reason);\n break;\n } else if (\"Completed\".equals(state)) {\n System.out.printf(\"The job %s completed%n\", jobId);\n break;\n } else {\n System.out.printf(\"The job %s is running, state:%s progress:%s%n\", jobId, state, progress);\n }\n }\n}\n\npublic static void main(String[] args) throws Exception {\n List> batchFiles = uploadData();\n String jobId = bulkImport(batchFiles);\n getImportProgress(jobId);\n}\n","export MILVUS_URI=\"localhost:19530\"\n\ncurl --request POST \"http://${MILVUS_URI}/v2/vectordb/jobs/import/describe\" \\\n--header \"Content-Type: application/json\" \\\n--data-raw '{\n \"jobId\": \"449839014328146739\"\n}'\n","{\n \"code\": 200,\n \"data\": {\n \"collectionName\": \"quick_setup\",\n \"completeTime\": \"2024-05-18T02:57:13Z\",\n \"details\": [\n {\n \"completeTime\": \"2024-05-18T02:57:11Z\",\n \"fileName\": \"id:449839014328146740 paths:\\\"/8ca44f28-47f7-40ba-9604-98918afe26d1/1.parquet\\\" \",\n \"fileSize\": 31567874,\n \"importedRows\": 100000,\n \"progress\": 100,\n \"state\": \"Completed\",\n \"totalRows\": 100000\n },\n {\n \"completeTime\": \"2024-05-18T02:57:11Z\",\n \"fileName\": \"id:449839014328146741 paths:\\\"/8ca44f28-47f7-40ba-9604-98918afe26d1/2.parquet\\\" \",\n \"fileSize\": 31517224,\n \"importedRows\": 100000,\n \"progress\": 100,\n \"state\": \"Completed\",\n \"totalRows\": 200000 \n }\n ],\n \"fileSize\": 63085098,\n \"importedRows\": 200000,\n \"jobId\": \"449839014328146739\",\n \"progress\": 100,\n \"state\": \"Completed\",\n \"totalRows\": 200000\n }\n}\n","import json\nfrom pymilvus.bulk_writer import list_import_jobs\n\nurl = f\"http://127.0.0.1:19530\"\n\n# List bulk-insert jobs\nresp = list_import_jobs(\n url=url,\n collection_name=\"quick_setup\",\n)\n\nprint(json.dumps(resp.json(), indent=4))\n","private static void listImportJobs() {\n MilvusListImportJobsRequest listImportJobsRequest = MilvusListImportJobsRequest.builder().collectionName(\"quick_setup\").build();\n String listImportJobsResult = BulkImport.listImportJobs(\"http://localhost:19530\", listImportJobsRequest);\n System.out.println(listImportJobsResult);\n}\n\npublic static void main(String[] args) throws Exception {\n listImportJobs();\n}\n","export MILVUS_URI=\"localhost:19530\"\n\ncurl --request POST \"http://${MILVUS_URI}/v2/vectordb/jobs/import/list\" \\\n--header \"Content-Type: application/json\" \\\n--data-raw '{\n \"collectionName\": \"quick_setup\"\n}'\n","{\n \"code\": 200,\n \"data\": {\n \"records\": [\n {\n \"collectionName\": \"quick_setup\",\n \"jobId\": \"448761313698322011\",\n \"progress\": 50,\n \"state\": \"Importing\"\n }\n ]\n }\n}\n"],"headingContent":"Import data","anchorList":[{"label":"Importer des données","href":"Import-data","type":1,"isActive":false},{"label":"Avant de commencer","href":"Before-you-start","type":2,"isActive":false},{"label":"Importer des données","href":"Import-data","type":2,"isActive":false},{"label":"Vérifier la progression de l'importation","href":"Check-import-progress","type":2,"isActive":false},{"label":"Lister les tâches d'importation","href":"List-Import-Jobs","type":2,"isActive":false},{"label":"Limitations","href":"Limitations","type":2,"isActive":false},{"label":"Contraintes","href":"Constraints","type":2,"isActive":false},{"label":"Recommandations","href":"Recommendations","type":2,"isActive":false}]} \ No newline at end of file diff --git a/localization/v2.4.x/site/fr/userGuide/data-import/import-data.md b/localization/v2.4.x/site/fr/userGuide/data-import/import-data.md index 57e2f8d43..7a546910d 100644 --- a/localization/v2.4.x/site/fr/userGuide/data-import/import-data.md +++ b/localization/v2.4.x/site/fr/userGuide/data-import/import-data.md @@ -46,79 +46,6 @@ summary: Cette page présente la procédure d'importation des données préparé

                                                                                                                                                                                                                                  L'extrait de code suivant crée une collection simple avec le schéma donné. Pour plus d'informations sur les paramètres, voir createCollection() dans la référence du SDK.

                                                                                                                                                                                                                                  - -
                                                                                                                                                                                                                                  client = MilvusClient("http://localhost:19530")
                                                                                                                                                                                                                                  -
                                                                                                                                                                                                                                  -schema = MilvusClient.create_schema(
                                                                                                                                                                                                                                  -    auto_id=False,
                                                                                                                                                                                                                                  -    enable_dynamic_field=True
                                                                                                                                                                                                                                  -)
                                                                                                                                                                                                                                  -
                                                                                                                                                                                                                                  -schema.add_field(field_name="id", datatype=DataType.INT64, is_primary=True)
                                                                                                                                                                                                                                  -schema.add_field(field_name="vector", datatype=DataType.FLOAT_VECTOR, dim=768)
                                                                                                                                                                                                                                  -schema.add_field(field_name="scalar_1", datatype=DataType.VARCHAR, max_length=512)
                                                                                                                                                                                                                                  -schema.add_field(field_name="scalar_2", datatype=DataType.INT64)
                                                                                                                                                                                                                                  -
                                                                                                                                                                                                                                  -client.create_collection(
                                                                                                                                                                                                                                  -    collection_name="quick_setup",
                                                                                                                                                                                                                                  -    schema=schema
                                                                                                                                                                                                                                  -)
                                                                                                                                                                                                                                  -
                                                                                                                                                                                                                                  -
                                                                                                                                                                                                                                  import io.milvus.client.MilvusServiceClient;
                                                                                                                                                                                                                                  -import io.milvus.param.ConnectParam;
                                                                                                                                                                                                                                  -import io.milvus.grpc.DataType;
                                                                                                                                                                                                                                  -import io.milvus.param.collection.CollectionSchemaParam;
                                                                                                                                                                                                                                  -import io.milvus.param.collection.CollectionSchemaParam;
                                                                                                                                                                                                                                  -import io.milvus.param.collection.FieldType;
                                                                                                                                                                                                                                  -
                                                                                                                                                                                                                                  -final MilvusServiceClient milvusClient = new MilvusServiceClient(
                                                                                                                                                                                                                                  -ConnectParam.newBuilder()
                                                                                                                                                                                                                                  -    .withUri("localhost:19530")
                                                                                                                                                                                                                                  -    .withToken("root:Milvus")
                                                                                                                                                                                                                                  -    .build()
                                                                                                                                                                                                                                  -);
                                                                                                                                                                                                                                  -
                                                                                                                                                                                                                                  -// Define schema for the target collection
                                                                                                                                                                                                                                  -FieldType id = FieldType.newBuilder()
                                                                                                                                                                                                                                  -    .withName("id")
                                                                                                                                                                                                                                  -    .withDataType(DataType.Int64)
                                                                                                                                                                                                                                  -    .withPrimaryKey(true)
                                                                                                                                                                                                                                  -    .withAutoID(false)
                                                                                                                                                                                                                                  -    .build();
                                                                                                                                                                                                                                  -
                                                                                                                                                                                                                                  -FieldType vector = FieldType.newBuilder()
                                                                                                                                                                                                                                  -    .withName("vector")
                                                                                                                                                                                                                                  -    .withDataType(DataType.FloatVector)
                                                                                                                                                                                                                                  -    .withDimension(768)
                                                                                                                                                                                                                                  -    .build();
                                                                                                                                                                                                                                  -
                                                                                                                                                                                                                                  -FieldType scalar1 = FieldType.newBuilder()
                                                                                                                                                                                                                                  -    .withName("scalar_1")
                                                                                                                                                                                                                                  -    .withDataType(DataType.VarChar)
                                                                                                                                                                                                                                  -    .withMaxLength(512)
                                                                                                                                                                                                                                  -    .build();
                                                                                                                                                                                                                                  -
                                                                                                                                                                                                                                  -FieldType scalar2 = FieldType.newBuilder()
                                                                                                                                                                                                                                  -    .withName("scalar_2")
                                                                                                                                                                                                                                  -    .withDataType(DataType.Int64)
                                                                                                                                                                                                                                  -    .build();
                                                                                                                                                                                                                                  -
                                                                                                                                                                                                                                  -CollectionSchemaParam schema = CollectionSchemaParam.newBuilder()
                                                                                                                                                                                                                                  -    .withEnableDynamicField(true)
                                                                                                                                                                                                                                  -    .addFieldType(id)
                                                                                                                                                                                                                                  -    .addFieldType(vector)
                                                                                                                                                                                                                                  -    .addFieldType(scalar1)
                                                                                                                                                                                                                                  -    .addFieldType(scalar2)
                                                                                                                                                                                                                                  -    .build();
                                                                                                                                                                                                                                  -
                                                                                                                                                                                                                                  -// Create a collection with the given schema
                                                                                                                                                                                                                                  -milvusClient.createCollection(CreateCollectionParam.newBuilder()
                                                                                                                                                                                                                                  -    .withCollectionName("quick_setup")
                                                                                                                                                                                                                                  -    .withSchema(schema)
                                                                                                                                                                                                                                  -    .build()
                                                                                                                                                                                                                                  -);
                                                                                                                                                                                                                                  -

                                                                                                                                                                                                                                  Importer des données

                                                                                                                                                                                                                                  Pour importer les données préparées, vous devez créer une tâche d'importation comme suit :

                                                                                                                                                                                                                                  -
                                                                                                                                                                                                                                  export MILVUS_URI="localhost:19530"
                                                                                                                                                                                                                                  +
                                                                                                                                                                                                                                  +
                                                                                                                                                                                                                                  from pymilvus.bulk_writer import bulk_import
                                                                                                                                                                                                                                  +
                                                                                                                                                                                                                                  +url = f"http://127.0.0.1:19530"
                                                                                                                                                                                                                                  +
                                                                                                                                                                                                                                  +# Bulk-insert data from a set of JSON files already uploaded to the MinIO server
                                                                                                                                                                                                                                  +resp = bulk_import(
                                                                                                                                                                                                                                  +    url=url,
                                                                                                                                                                                                                                  +    collection_name="quick_setup",
                                                                                                                                                                                                                                  +    files=[['a1e18323-a658-4d1b-95a7-9907a4391bcf/1.parquet'],
                                                                                                                                                                                                                                  +           ['a1e18323-a658-4d1b-95a7-9907a4391bcf/2.parquet'],
                                                                                                                                                                                                                                  +           ['a1e18323-a658-4d1b-95a7-9907a4391bcf/3.parquet'],
                                                                                                                                                                                                                                  +           ['a1e18323-a658-4d1b-95a7-9907a4391bcf/4.parquet'],
                                                                                                                                                                                                                                  +           ['a1e18323-a658-4d1b-95a7-9907a4391bcf/5.parquet'],
                                                                                                                                                                                                                                  +           ['a1e18323-a658-4d1b-95a7-9907a4391bcf/6.parquet'],
                                                                                                                                                                                                                                  +           ['a1e18323-a658-4d1b-95a7-9907a4391bcf/7.parquet'],
                                                                                                                                                                                                                                  +           ['a1e18323-a658-4d1b-95a7-9907a4391bcf/8.parquet'],
                                                                                                                                                                                                                                  +           ['a1e18323-a658-4d1b-95a7-9907a4391bcf/9.parquet'],
                                                                                                                                                                                                                                  +           ['a1e18323-a658-4d1b-95a7-9907a4391bcf/10.parquet']],
                                                                                                                                                                                                                                  +)
                                                                                                                                                                                                                                  +
                                                                                                                                                                                                                                  +job_id = resp.json()['data']['jobId']
                                                                                                                                                                                                                                  +print(job_id)
                                                                                                                                                                                                                                  +
                                                                                                                                                                                                                                  +
                                                                                                                                                                                                                                  private static String bulkImport(List<List<String>> batchFiles) throws InterruptedException {
                                                                                                                                                                                                                                  +    MilvusImportRequest milvusImportRequest = MilvusImportRequest.builder()
                                                                                                                                                                                                                                  +            .collectionName("quick_setup")
                                                                                                                                                                                                                                  +            .files(batchFiles)
                                                                                                                                                                                                                                  +            .build();
                                                                                                                                                                                                                                  +    String bulkImportResult = BulkImport.bulkImport("http://localhost:19530", milvusImportRequest);
                                                                                                                                                                                                                                  +    System.out.println(bulkImportResult);
                                                                                                                                                                                                                                  +
                                                                                                                                                                                                                                  +    JsonObject bulkImportObject = new Gson().fromJson(bulkImportResult, JsonObject.class);
                                                                                                                                                                                                                                  +    String jobId = bulkImportObject.getAsJsonObject("data").get("jobId").getAsString();
                                                                                                                                                                                                                                  +    System.out.println("Create a bulkInert task, job id: " + jobId);
                                                                                                                                                                                                                                  +    return jobId;
                                                                                                                                                                                                                                  +}
                                                                                                                                                                                                                                  +
                                                                                                                                                                                                                                  +public static void main(String[] args) throws Exception {
                                                                                                                                                                                                                                  +    List<List<String>> batchFiles = uploadData();
                                                                                                                                                                                                                                  +    String jobId = bulkImport(batchFiles);
                                                                                                                                                                                                                                  +}
                                                                                                                                                                                                                                  +
                                                                                                                                                                                                                                  +
                                                                                                                                                                                                                                  export MILVUS_URI="localhost:19530"
                                                                                                                                                                                                                                   
                                                                                                                                                                                                                                   curl --request POST "http://${MILVUS_URI}/v2/vectordb/jobs/import/create" \
                                                                                                                                                                                                                                   --header "Content-Type: application/json" \
                                                                                                                                                                                                                                  @@ -174,7 +145,7 @@ curl --request POST "http://{
                                                                                                                                                                                                                                  +
                                                                                                                                                                                                                                  {
                                                                                                                                                                                                                                       "code": 200,
                                                                                                                                                                                                                                       "data": {
                                                                                                                                                                                                                                           "jobId": "448707763884413158"
                                                                                                                                                                                                                                  @@ -196,10 +167,61 @@ curl --request POST "http://
                                                                                                                                                                                                                                         
                                                                                                                                                                                                                                  -    

                                                                                                                                                                                                                                  Une fois que vous avez obtenu l'identifiant d'une tâche d'importation, vous pouvez vérifier la progression de l'importation en procédant comme suit :

                                                                                                                                                                                                                                  -
                                                                                                                                                                                                                                  export MILVUS_URI="localhost:19530"
                                                                                                                                                                                                                                  +    

                                                                                                                                                                                                                                  Une fois que vous avez obtenu l'identifiant d'une tâche d'importation, vous pouvez vérifier la progression de l'importation de la manière suivante :

                                                                                                                                                                                                                                  + +
                                                                                                                                                                                                                                  import json
                                                                                                                                                                                                                                  +from pymilvus.bulk_writer import get_import_progress
                                                                                                                                                                                                                                  +
                                                                                                                                                                                                                                  +url = f"http://127.0.0.1:19530"
                                                                                                                                                                                                                                  +
                                                                                                                                                                                                                                  +# Get bulk-insert job progress
                                                                                                                                                                                                                                  +resp = get_import_progress(
                                                                                                                                                                                                                                  +    url=url,
                                                                                                                                                                                                                                  +    job_id="453265736269038336",
                                                                                                                                                                                                                                  +)
                                                                                                                                                                                                                                  +
                                                                                                                                                                                                                                  +print(json.dumps(resp.json(), indent=4))
                                                                                                                                                                                                                                  +
                                                                                                                                                                                                                                  +
                                                                                                                                                                                                                                  private static void getImportProgress(String jobId) {
                                                                                                                                                                                                                                  +    while (true) {
                                                                                                                                                                                                                                  +        System.out.println("Wait 5 second to check bulkInsert job state...");
                                                                                                                                                                                                                                  +        try {
                                                                                                                                                                                                                                  +            TimeUnit.SECONDS.sleep(5);
                                                                                                                                                                                                                                  +        } catch (InterruptedException e) {
                                                                                                                                                                                                                                  +            break;
                                                                                                                                                                                                                                  +        }
                                                                                                                                                                                                                                  +
                                                                                                                                                                                                                                  +        MilvusDescribeImportRequest request = MilvusDescribeImportRequest.builder()
                                                                                                                                                                                                                                  +                .jobId(jobId)
                                                                                                                                                                                                                                  +                .build();
                                                                                                                                                                                                                                  +        String getImportProgressResult = BulkImport.getImportProgress("http://localhost:19530", request);
                                                                                                                                                                                                                                   
                                                                                                                                                                                                                                  -curl --request POST "http://${MILVUS_URI}/v2/vectordb/jobs/import/get_progress" \
                                                                                                                                                                                                                                  +        JsonObject getImportProgressObject = new Gson().fromJson(getImportProgressResult, JsonObject.class);
                                                                                                                                                                                                                                  +        String state = getImportProgressObject.getAsJsonObject("data").get("state").getAsString();
                                                                                                                                                                                                                                  +        String progress = getImportProgressObject.getAsJsonObject("data").get("progress").getAsString();
                                                                                                                                                                                                                                  +        if ("Failed".equals(state)) {
                                                                                                                                                                                                                                  +            String reason = getImportProgressObject.getAsJsonObject("data").get("reason").getAsString();
                                                                                                                                                                                                                                  +            System.out.printf("The job %s failed, reason: %s%n", jobId, reason);
                                                                                                                                                                                                                                  +            break;
                                                                                                                                                                                                                                  +        } else if ("Completed".equals(state)) {
                                                                                                                                                                                                                                  +            System.out.printf("The job %s completed%n", jobId);
                                                                                                                                                                                                                                  +            break;
                                                                                                                                                                                                                                  +        } else {
                                                                                                                                                                                                                                  +            System.out.printf("The job %s is running, state:%s progress:%s%n", jobId, state, progress);
                                                                                                                                                                                                                                  +        }
                                                                                                                                                                                                                                  +    }
                                                                                                                                                                                                                                  +}
                                                                                                                                                                                                                                  +
                                                                                                                                                                                                                                  +public static void main(String[] args) throws Exception {
                                                                                                                                                                                                                                  +    List<List<String>> batchFiles = uploadData();
                                                                                                                                                                                                                                  +    String jobId = bulkImport(batchFiles);
                                                                                                                                                                                                                                  +    getImportProgress(jobId);
                                                                                                                                                                                                                                  +}
                                                                                                                                                                                                                                  +
                                                                                                                                                                                                                                  +
                                                                                                                                                                                                                                  export MILVUS_URI="localhost:19530"
                                                                                                                                                                                                                                  +
                                                                                                                                                                                                                                  +curl --request POST "http://${MILVUS_URI}/v2/vectordb/jobs/import/describe" \
                                                                                                                                                                                                                                   --header "Content-Type: application/json" \
                                                                                                                                                                                                                                   --data-raw '{
                                                                                                                                                                                                                                       "jobId": "449839014328146739"
                                                                                                                                                                                                                                  @@ -240,7 +262,7 @@ curl --request POST "http://
                                                                                                                                                                                                                                  -

                                                                                                                                                                                                                                  Lister les travaux d'importation

                                                                                                                                                                                                                                  +
                                                                                                                                                                                                                                  private static void listImportJobs() {
                                                                                                                                                                                                                                  +    MilvusListImportJobsRequest listImportJobsRequest = MilvusListImportJobsRequest.builder().collectionName("quick_setup").build();
                                                                                                                                                                                                                                  +    String listImportJobsResult = BulkImport.listImportJobs("http://localhost:19530", listImportJobsRequest);
                                                                                                                                                                                                                                  +    System.out.println(listImportJobsResult);
                                                                                                                                                                                                                                  +}
                                                                                                                                                                                                                                  +
                                                                                                                                                                                                                                  +public static void main(String[] args) throws Exception {
                                                                                                                                                                                                                                  +    listImportJobs();
                                                                                                                                                                                                                                  +}
                                                                                                                                                                                                                                  +
                                                                                                                                                                                                                                  +
                                                                                                                                                                                                                                  export MILVUS_URI="localhost:19530"
                                                                                                                                                                                                                                   
                                                                                                                                                                                                                                   curl --request POST "http://${MILVUS_URI}/v2/vectordb/jobs/import/list" \
                                                                                                                                                                                                                                   --header "Content-Type: application/json" \
                                                                                                                                                                                                                                  @@ -265,7 +312,7 @@ curl --request POST "http://

                                                                                                                                                                                                                                  Les valeurs possibles sont les suivantes :

                                                                                                                                                                                                                                  -
                                                                                                                                                                                                                                  {
                                                                                                                                                                                                                                  +
                                                                                                                                                                                                                                  {
                                                                                                                                                                                                                                       "code": 200,
                                                                                                                                                                                                                                       "data": {
                                                                                                                                                                                                                                           "records": [
                                                                                                                                                                                                                                  @@ -279,3 +326,76 @@ curl --request POST "http://
                                                                                                                                                                                                                                  +

                                                                                                                                                                                                                                  Limitations

                                                                                                                                                                                                                                    +
                                                                                                                                                                                                                                  • La taille de chaque fichier d'importation ne doit pas dépasser 16 Go.

                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                  • Le nombre maximum de demandes d'importation est limité à 1024.

                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                  • Le nombre maximum de fichiers par demande d'importation ne doit pas dépasser 1024.

                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                  • Un seul nom de partition peut être spécifié dans une demande d'importation. Si aucun nom de partition n'est spécifié, les données seront insérées dans la partition par défaut. En outre, vous ne pouvez pas définir un nom de partition dans la demande d'importation si vous avez défini la clé de partition dans la collection cible.

                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                  +

                                                                                                                                                                                                                                  Contraintes

                                                                                                                                                                                                                                  Avant d'importer des données, assurez-vous d'avoir pris connaissance des contraintes relatives aux comportements Milvus suivants :

                                                                                                                                                                                                                                  +
                                                                                                                                                                                                                                    +
                                                                                                                                                                                                                                  • Contraintes concernant le comportement Charger :

                                                                                                                                                                                                                                    +
                                                                                                                                                                                                                                      +
                                                                                                                                                                                                                                    • Si une collection a déjà été chargée avant une importation, vous pouvez utiliser la fonction refresh_load pour charger les données nouvellement importées une fois l'importation terminée.
                                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                  • Contraintes concernant les comportements d'interrogation et de recherche :

                                                                                                                                                                                                                                    +
                                                                                                                                                                                                                                      +
                                                                                                                                                                                                                                    • Avant que l'importation ne soit terminée, les données nouvellement importées sont invisibles pour les requêtes et les recherches.

                                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                                    • Une fois que l'importation est terminée,

                                                                                                                                                                                                                                      +
                                                                                                                                                                                                                                        +
                                                                                                                                                                                                                                      • Si la collection n'est pas chargée, vous pouvez utiliser la fonction load pour charger les données nouvellement importées.

                                                                                                                                                                                                                                      • +
                                                                                                                                                                                                                                      • Si la collection est déjà chargée, vous pouvez appeler load(is_refresh=True) pour charger les données importées.

                                                                                                                                                                                                                                      • +
                                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                  • Contraintes concernant le comportement de suppression :

                                                                                                                                                                                                                                    +
                                                                                                                                                                                                                                      +
                                                                                                                                                                                                                                    • Avant que le statut de la tâche d'importation ne soit Terminé, la suppression n'est pas garantie et peut réussir ou échouer.

                                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                                    • La suppression après l'état de la tâche est garantie.

                                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                  +

                                                                                                                                                                                                                                  Recommandations

                                                                                                                                                                                                                                  Nous vous recommandons vivement d'utiliser la fonction d'importation de fichiers multiples, qui vous permet de télécharger plusieurs fichiers en une seule demande. Cette méthode permet non seulement de simplifier le processus d'importation, mais aussi d'améliorer considérablement les performances de l'importation. Par ailleurs, en consolidant vos téléchargements, vous pouvez réduire le temps consacré à la gestion des données et rendre votre flux de travail plus efficace.

                                                                                                                                                                                                                                  diff --git a/localization/v2.4.x/site/fr/userGuide/data-import/prepare-source-data.json b/localization/v2.4.x/site/fr/userGuide/data-import/prepare-source-data.json index 05bcdf4a3..5f31880e5 100644 --- a/localization/v2.4.x/site/fr/userGuide/data-import/prepare-source-data.json +++ b/localization/v2.4.x/site/fr/userGuide/data-import/prepare-source-data.json @@ -1 +1 @@ -{"codeList":["from pymilvus import MilvusClient, DataType\n\n# You need to work out a collection schema out of your dataset.\nschema = MilvusClient.create_schema(\n auto_id=False,\n enable_dynamic_field=True\n)\n\nschema.add_field(field_name=\"id\", datatype=DataType.INT64, is_primary=True)\nschema.add_field(field_name=\"vector\", datatype=DataType.FLOAT_VECTOR, dim=768)\nschema.add_field(field_name=\"scalar_1\", datatype=DataType.VARCHAR, max_length=512)\nschema.add_field(field_name=\"scalar_2\", datatype=DataType.INT64)\n\nschema.verify()\n","import io.milvus.grpc.DataType;\nimport io.milvus.param.collection.CollectionSchemaParam;\nimport io.milvus.param.collection.FieldType;\n\n// Define schema for the target collection\nFieldType id = FieldType.newBuilder()\n .withName(\"id\")\n .withDataType(DataType.Int64)\n .withPrimaryKey(true)\n .withAutoID(false)\n .build();\n\nFieldType vector = FieldType.newBuilder()\n .withName(\"vector\")\n .withDataType(DataType.FloatVector)\n .withDimension(768)\n .build();\n\nFieldType scalar1 = FieldType.newBuilder()\n .withName(\"scalar_1\")\n .withDataType(DataType.VarChar)\n .withMaxLength(512)\n .build();\n\nFieldType scalar2 = FieldType.newBuilder()\n .withName(\"scalar_2\")\n .withDataType(DataType.Int64)\n .build();\n\nCollectionSchemaParam schema = CollectionSchemaParam.newBuilder()\n .withEnableDynamicField(true)\n .addFieldType(id)\n .addFieldType(vector)\n .addFieldType(scalar1)\n .addFieldType(scalar2)\n .build();\n","from pymilvus.bulk_writer import LocalBulkWriter, BulkFileType\n# Use `from pymilvus import LocalBulkWriter, BulkFileType` \n# when you use pymilvus earlier than 2.4.2 \n\nwriter = LocalBulkWriter(\n schema=schema,\n local_path='.',\n segment_size=512 * 1024 * 1024, # Default value\n file_type=BulkFileType.PARQUET\n)\n","import io.milvus.bulkwriter.LocalBulkWriter;\nimport io.milvus.bulkwriter.LocalBulkWriterParam;\nimport io.milvus.bulkwriter.common.clientenum.BulkFileType;\n\nLocalBulkWriterParam localBulkWriterParam = LocalBulkWriterParam.newBuilder()\n .withCollectionSchema(schema)\n .withLocalPath(\".\")\n .withChunkSize(512 * 1024 * 1024)\n .withFileType(BulkFileType.PARQUET)\n .build();\n\nLocalBulkWriter localBulkWriter = new LocalBulkWriter(localBulkWriterParam);\n","from pymilvus.bulk_writer import RemoteBulkWriter\n# Use `from pymilvus import RemoteBulkWriter` \n# when you use pymilvus earlier than 2.4.2 \n\n# Third-party constants\nACCESS_KEY=\"minioadmin\"\nSECRET_KEY=\"minioadmin\"\nBUCKET_NAME=\"milvus-bucket\"\n\n# Connections parameters to access the remote bucket\nconn = RemoteBulkWriter.S3ConnectParam(\n endpoint=\"localhost:9000\", # the default MinIO service started along with Milvus\n access_key=ACCESS_KEY,\n secret_key=SECRET_KEY,\n bucket_name=BUCKET_NAME,\n secure=False\n)\n","import io.milvus.bulkwriter.common.clientenum.BulkFileType;\nimport io.milvus.bulkwriter.connect.S3ConnectParam;\nimport io.milvus.bulkwriter.connect.StorageConnectParam;\n\nString ACCESS_KEY = \"minioadmin\";\nString SECRET_KEY = \"minioadmin\";\nString BUCKET_NAME = \"milvus-bucket\";\n\nStorageConnectParam storageConnectParam = S3ConnectParam.newBuilder()\n .withEndpoint(MINIO_URI)\n .withAccessKey(ACCESS_KEY)\n .withSecretKey(SECRET_KEY)\n .withBucketName(BUCKET_NAME)\n .build();\n","from pymilvus.bulk_writer import BulkFileType\n# Use `from pymilvus import BulkFileType` \n# when you use pymilvus earlier than 2.4.2 \n\nwriter = RemoteBulkWriter(\n schema=schema,\n remote_path=\"/\",\n connect_param=conn,\n file_type=BulkFileType.PARQUET\n)\n","import io.milvus.bulkwriter.RemoteBulkWriter;\nimport io.milvus.bulkwriter.RemoteBulkWriterParam;\n\nRemoteBulkWriterParam remoteBulkWriterParam = RemoteBulkWriterParam.newBuilder()\n .withCollectionSchema(schema)\n .withConnectParam(storageConnectParam)\n .withChunkSize(512 * 1024 * 1024)\n .withRemotePath(\"/\")\n .withFileType(BulkFileType.PARQUET)\n .build();\n\nRemoteBulkWriter remoteBulkWriter = new RemoteBulkWriter(remoteBulkWriterParam);\n","import random\nimport string\n\ndef generate_random_str(length=5):\n letters = string.ascii_uppercase\n digits = string.digits\n \n return ''.join(random.choices(letters + digits, k=length))\n\nfor i in range(10000):\n writer.append_row({\n \"id\": i, \n \"vector\": [random.uniform(-1, 1) for _ in range(768)],\n \"scalar_1\": generate_random_str(random.randint(1, 20)),\n \"scalar_2\": random.randint(0, 100)\n })\n \nwriter.commit()\n","import com.alibaba.fastjson.JSONObject;\n\nfor (int i = 0; i < 10000; i++) {\n JSONObject json = new JSONObject();\n json.put(\"id\", i);\n json.put(\"vector\", get_random_vector(768));\n json.put(\"scalar_1\", get_random_string(20));\n json.put(\"scalar_2\", (long) (Math.random() * 100));\n\n // localBulkWriter.appendRow(json);\n remoteBulkWriter.appendRow(json);\n}\n\n// localBulkWriter.commit(false);\nremoteBulkWriter.commit(false);\n","import random\nimport string\n\ndef generate_random_string(length=5):\n letters = string.ascii_uppercase\n digits = string.digits\n \n return ''.join(random.choices(letters + digits, k=length))\n\nfor i in range(10000):\n writer.append_row({\n \"id\": i, \n \"vector\":[random.uniform(-1, 1) for _ in range(768)],\n \"scalar_1\": generate_random_string(),\n \"scalar_2\": random.randint(0, 100),\n \"dynamic_field_1\": random.choice([True, False]),\n \"dynamic_field_2\": random.randint(0, 100)\n })\n \nwriter.commit()\n","for (int i = 0; i < 10000; i++) {\n JSONObject json = new JSONObject();\n json.put(\"id\", i);\n json.put(\"vector\", get_random_vector(768));\n json.put(\"scalar_1\", get_random_string(20));\n json.put(\"scalar_2\", (long) (Math.random() * 100));\n json.put(\"dynamic_field_1\", get_random_boolean());\n json.put(\"dynamic_field_2\", (long) (Math.random() * 100));\n\n // localBulkWriter.appendRow(json);\n remoteBulkWriter.appendRow(json);\n}\n\n// localBulkWriter.commit(false);\nremoteBulkWriter.commit(false);\n","print(writer.batch_files)\n\n# [['d4220a9e-45be-4ccb-8cb5-bf09304b9f23/1.parquet'],\n# ['d4220a9e-45be-4ccb-8cb5-bf09304b9f23/2.parquet']]\n","// localBulkWriter.getBatchFiles();\nremoteBulkWriter.getBatchFiles();\n\n// \n\n// Close the BulkWriter\ntry {\n localBulkWriter.close();\n remoteBulkWriter.close(); \n} catch (Exception e) {\n // TODO: handle exception\n e.printStackTrace();\n}\n","# JSON\n├── folder\n│ └── 45ae1139-1d87-4aff-85f5-0039111f9e6b\n│ └── 1.json \n\n# Parquet\n├── folder\n│ └── 45ae1139-1d87-4aff-85f5-0039111f9e6b\n│ └── 1.parquet \n"],"headingContent":"","anchorList":[{"label":"Préparer les données sources","href":"Prepare-Source-Data","type":1,"isActive":false},{"label":"Avant de commencer","href":"Before-you-start","type":2,"isActive":false},{"label":"Configurer BulkWriter","href":"Set-up-BulkWriter","type":2,"isActive":false},{"label":"Démarrer l'écriture","href":"Start-writing","type":2,"isActive":false},{"label":"Vérifier les résultats","href":"Verify-the-results","type":2,"isActive":false}]} \ No newline at end of file +{"codeList":["from pymilvus import MilvusClient, DataType\n\n# You need to work out a collection schema out of your dataset.\nschema = MilvusClient.create_schema(\n auto_id=False,\n enable_dynamic_field=True\n)\n\nDIM = 512\n\nschema.add_field(field_name=\"id\", datatype=DataType.INT64, is_primary=True),\nschema.add_field(field_name=\"bool\", datatype=DataType.BOOL),\nschema.add_field(field_name=\"int8\", datatype=DataType.INT8),\nschema.add_field(field_name=\"int16\", datatype=DataType.INT16),\nschema.add_field(field_name=\"int32\", datatype=DataType.INT32),\nschema.add_field(field_name=\"int64\", datatype=DataType.INT64),\nschema.add_field(field_name=\"float\", datatype=DataType.FLOAT),\nschema.add_field(field_name=\"double\", datatype=DataType.DOUBLE),\nschema.add_field(field_name=\"varchar\", datatype=DataType.VARCHAR, max_length=512),\nschema.add_field(field_name=\"json\", datatype=DataType.JSON),\nschema.add_field(field_name=\"array_str\", datatype=DataType.ARRAY, max_capacity=100, element_type=DataType.VARCHAR, max_length=128)\nschema.add_field(field_name=\"array_int\", datatype=DataType.ARRAY, max_capacity=100, element_type=DataType.INT64)\nschema.add_field(field_name=\"float_vector\", datatype=DataType.FLOAT_VECTOR, dim=DIM),\nschema.add_field(field_name=\"binary_vector\", datatype=DataType.BINARY_VECTOR, dim=DIM),\nschema.add_field(field_name=\"float16_vector\", datatype=DataType.FLOAT16_VECTOR, dim=DIM),\n# schema.add_field(field_name=\"bfloat16_vector\", datatype=DataType.BFLOAT16_VECTOR, dim=DIM),\nschema.add_field(field_name=\"sparse_vector\", datatype=DataType.SPARSE_FLOAT_VECTOR)\n\nschema.verify()\n\nprint(schema)\n","import com.google.gson.Gson;\nimport com.google.gson.JsonObject;\nimport io.milvus.bulkwriter.BulkImport;\nimport io.milvus.bulkwriter.RemoteBulkWriter;\nimport io.milvus.bulkwriter.RemoteBulkWriterParam;\nimport io.milvus.bulkwriter.common.clientenum.BulkFileType;\nimport io.milvus.bulkwriter.common.clientenum.CloudStorage;\nimport io.milvus.bulkwriter.connect.S3ConnectParam;\nimport io.milvus.bulkwriter.connect.StorageConnectParam;\nimport io.milvus.bulkwriter.request.describe.MilvusDescribeImportRequest;\nimport io.milvus.bulkwriter.request.import_.MilvusImportRequest;\nimport io.milvus.bulkwriter.request.list.MilvusListImportJobsRequest;\nimport io.milvus.common.utils.Float16Utils;\nimport io.milvus.v2.client.ConnectConfig;\nimport io.milvus.v2.client.MilvusClientV2;\nimport io.milvus.v2.common.DataType;\nimport io.milvus.v2.service.collection.request.*;\n\nimport java.io.IOException;\nimport java.nio.ByteBuffer;\nimport java.util.*;\nimport java.util.concurrent.TimeUnit;\n\nprivate static final String MINIO_ENDPOINT = CloudStorage.MINIO.getEndpoint(\"http://127.0.0.1:9000\");\nprivate static final String BUCKET_NAME = \"a-bucket\";\nprivate static final String ACCESS_KEY = \"minioadmin\";\nprivate static final String SECRET_KEY = \"minioadmin\";\n\nprivate static final Integer DIM = 512;\nprivate static final Gson GSON_INSTANCE = new Gson();\n\nprivate static CreateCollectionReq.CollectionSchema createSchema() {\n CreateCollectionReq.CollectionSchema schema = CreateCollectionReq.CollectionSchema.builder()\n .enableDynamicField(true)\n .build();\n schema.addField(AddFieldReq.builder()\n .fieldName(\"id\")\n .dataType(io.milvus.v2.common.DataType.Int64)\n .isPrimaryKey(Boolean.TRUE)\n .autoID(false)\n .build());\n schema.addField(AddFieldReq.builder()\n .fieldName(\"bool\")\n .dataType(DataType.Bool)\n .build());\n schema.addField(AddFieldReq.builder()\n .fieldName(\"int8\")\n .dataType(DataType.Int8)\n .build());\n schema.addField(AddFieldReq.builder()\n .fieldName(\"int16\")\n .dataType(DataType.Int16)\n .build());\n schema.addField(AddFieldReq.builder()\n .fieldName(\"int32\")\n .dataType(DataType.Int32)\n .build());\n schema.addField(AddFieldReq.builder()\n .fieldName(\"int64\")\n .dataType(DataType.Int64)\n .build());\n schema.addField(AddFieldReq.builder()\n .fieldName(\"float\")\n .dataType(DataType.Float)\n .build());\n schema.addField(AddFieldReq.builder()\n .fieldName(\"double\")\n .dataType(DataType.Double)\n .build());\n schema.addField(AddFieldReq.builder()\n .fieldName(\"varchar\")\n .dataType(DataType.VarChar)\n .maxLength(512)\n .build());\n schema.addField(AddFieldReq.builder()\n .fieldName(\"json\")\n .dataType(io.milvus.v2.common.DataType.JSON)\n .build());\n schema.addField(AddFieldReq.builder()\n .fieldName(\"array_int\")\n .dataType(io.milvus.v2.common.DataType.Array)\n .maxCapacity(100)\n .elementType(io.milvus.v2.common.DataType.Int64)\n .build());\n schema.addField(AddFieldReq.builder()\n .fieldName(\"array_str\")\n .dataType(io.milvus.v2.common.DataType.Array)\n .maxCapacity(100)\n .elementType(io.milvus.v2.common.DataType.VarChar)\n .maxLength(128)\n .build());\n schema.addField(AddFieldReq.builder()\n .fieldName(\"float_vector\")\n .dataType(io.milvus.v2.common.DataType.FloatVector)\n .dimension(DIM)\n .build());\n schema.addField(AddFieldReq.builder()\n .fieldName(\"binary_vector\")\n .dataType(io.milvus.v2.common.DataType.BinaryVector)\n .dimension(DIM)\n .build());\n schema.addField(AddFieldReq.builder()\n .fieldName(\"float16_vector\")\n .dataType(io.milvus.v2.common.DataType.Float16Vector)\n .dimension(DIM)\n .build());\n schema.addField(AddFieldReq.builder()\n .fieldName(\"sparse_vector\")\n .dataType(io.milvus.v2.common.DataType.SparseFloatVector)\n .build());\n \n return schema;\n}\n","from pymilvus.bulk_writer import LocalBulkWriter, BulkFileType\n# Use `from pymilvus import LocalBulkWriter, BulkFileType` \n# when you use pymilvus earlier than 2.4.2 \n\nwriter = LocalBulkWriter(\n schema=schema,\n local_path='.',\n segment_size=512 * 1024 * 1024, # Default value\n file_type=BulkFileType.PARQUET\n)\n","import io.milvus.bulkwriter.LocalBulkWriter;\nimport io.milvus.bulkwriter.LocalBulkWriterParam;\nimport io.milvus.bulkwriter.common.clientenum.BulkFileType;\n\nLocalBulkWriterParam localBulkWriterParam = LocalBulkWriterParam.newBuilder()\n .withCollectionSchema(schema)\n .withLocalPath(\".\")\n .withChunkSize(512 * 1024 * 1024)\n .withFileType(BulkFileType.PARQUET)\n .build();\n\nLocalBulkWriter localBulkWriter = new LocalBulkWriter(localBulkWriterParam);\n","from pymilvus.bulk_writer import RemoteBulkWriter\n# Use `from pymilvus import RemoteBulkWriter` \n# when you use pymilvus earlier than 2.4.2 \n\n# Third-party constants\nACCESS_KEY=\"minioadmin\"\nSECRET_KEY=\"minioadmin\"\nBUCKET_NAME=\"a-bucket\"\n\n# Connections parameters to access the remote bucket\nconn = RemoteBulkWriter.S3ConnectParam(\n endpoint=\"localhost:9000\", # the default MinIO service started along with Milvus\n access_key=ACCESS_KEY,\n secret_key=SECRET_KEY,\n bucket_name=BUCKET_NAME,\n secure=False\n)\n\nfrom pymilvus.bulk_writer import BulkFileType\n# Use `from pymilvus import BulkFileType` \n# when you use pymilvus earlier than 2.4.2 \n\nwriter = RemoteBulkWriter(\n schema=schema,\n remote_path=\"/\",\n connect_param=conn,\n file_type=BulkFileType.PARQUET\n)\n\nprint('bulk writer created.')\n","private static RemoteBulkWriter createRemoteBulkWriter(CreateCollectionReq.CollectionSchema collectionSchema) throws IOException {\n StorageConnectParam connectParam = S3ConnectParam.newBuilder()\n .withEndpoint(MINIO_ENDPOINT)\n .withBucketName(BUCKET_NAME)\n .withAccessKey(ACCESS_KEY)\n .withSecretKey(SECRET_KEY)\n .build();\n RemoteBulkWriterParam bulkWriterParam = RemoteBulkWriterParam.newBuilder()\n .withCollectionSchema(collectionSchema)\n .withRemotePath(\"/\")\n .withConnectParam(connectParam)\n .withFileType(BulkFileType.PARQUET)\n .build();\n return new RemoteBulkWriter(bulkWriterParam);\n}\n","from pymilvus.bulk_writer import BulkFileType\n# Use `from pymilvus import BulkFileType` \n# when you use pymilvus earlier than 2.4.2 \n\nwriter = RemoteBulkWriter(\n schema=schema,\n remote_path=\"/\",\n connect_param=conn,\n file_type=BulkFileType.PARQUET\n)\n","import io.milvus.bulkwriter.RemoteBulkWriter;\nimport io.milvus.bulkwriter.RemoteBulkWriterParam;\n\nRemoteBulkWriterParam remoteBulkWriterParam = RemoteBulkWriterParam.newBuilder()\n .withCollectionSchema(schema)\n .withConnectParam(storageConnectParam)\n .withChunkSize(512 * 1024 * 1024)\n .withRemotePath(\"/\")\n .withFileType(BulkFileType.PARQUET)\n .build();\n\nRemoteBulkWriter remoteBulkWriter = new RemoteBulkWriter(remoteBulkWriterParam);\n","import random, string, json\nimport numpy as np\nimport tensorflow as tf\n\ndef generate_random_str(length=5):\n letters = string.ascii_uppercase\n digits = string.digits\n \n return ''.join(random.choices(letters + digits, k=length))\n\n# optional input for binary vector:\n# 1. list of int such as [1, 0, 1, 1, 0, 0, 1, 0]\n# 2. numpy array of uint8\ndef gen_binary_vector(to_numpy_arr):\n raw_vector = [random.randint(0, 1) for i in range(DIM)]\n if to_numpy_arr:\n return np.packbits(raw_vector, axis=-1)\n return raw_vector\n\n# optional input for float vector:\n# 1. list of float such as [0.56, 1.859, 6.55, 9.45]\n# 2. numpy array of float32\ndef gen_float_vector(to_numpy_arr):\n raw_vector = [random.random() for _ in range(DIM)]\n if to_numpy_arr:\n return np.array(raw_vector, dtype=\"float32\")\n return raw_vector\n\n# # optional input for bfloat16 vector:\n# # 1. list of float such as [0.56, 1.859, 6.55, 9.45]\n# # 2. numpy array of bfloat16\n# def gen_bf16_vector(to_numpy_arr):\n# raw_vector = [random.random() for _ in range(DIM)]\n# if to_numpy_arr:\n# return tf.cast(raw_vector, dtype=tf.bfloat16).numpy()\n# return raw_vector\n\n# optional input for float16 vector:\n# 1. list of float such as [0.56, 1.859, 6.55, 9.45]\n# 2. numpy array of float16\ndef gen_fp16_vector(to_numpy_arr):\n raw_vector = [random.random() for _ in range(DIM)]\n if to_numpy_arr:\n return np.array(raw_vector, dtype=np.float16)\n return raw_vector\n\n# optional input for sparse vector:\n# only accepts dict like {2: 13.23, 45: 0.54} or {\"indices\": [1, 2], \"values\": [0.1, 0.2]}\n# note: no need to sort the keys\ndef gen_sparse_vector(pair_dict: bool):\n raw_vector = {}\n dim = random.randint(2, 20)\n if pair_dict:\n raw_vector[\"indices\"] = [i for i in range(dim)]\n raw_vector[\"values\"] = [random.random() for _ in range(dim)]\n else:\n for i in range(dim):\n raw_vector[i] = random.random()\n return raw_vector\n\nfor i in range(10000):\n writer.append_row({\n \"id\": np.int64(i),\n \"bool\": True if i % 3 == 0 else False,\n \"int8\": np.int8(i%128),\n \"int16\": np.int16(i%1000),\n \"int32\": np.int32(i%100000),\n \"int64\": np.int64(i),\n \"float\": np.float32(i/3),\n \"double\": np.float64(i/7),\n \"varchar\": f\"varchar_{i}\",\n \"json\": json.dumps({\"dummy\": i, \"ok\": f\"name_{i}\"}),\n \"array_str\": np.array([f\"str_{k}\" for k in range(5)], np.dtype(\"str\")),\n \"array_int\": np.array([k for k in range(10)], np.dtype(\"int64\")),\n \"float_vector\": gen_float_vector(True),\n \"binary_vector\": gen_binary_vector(True),\n \"float16_vector\": gen_fp16_vector(True),\n # \"bfloat16_vector\": gen_bf16_vector(True),\n \"sparse_vector\": gen_sparse_vector(True),\n f\"dynamic_{i}\": i,\n })\n if (i+1)%1000 == 0:\n writer.commit()\n print('committed')\n\nprint(writer.batch_files)\n","private static byte[] genBinaryVector() {\n Random ran = new Random();\n int byteCount = DIM / 8;\n ByteBuffer vector = ByteBuffer.allocate(byteCount);\n for (int i = 0; i < byteCount; ++i) {\n vector.put((byte) ran.nextInt(Byte.MAX_VALUE));\n }\n return vector.array();\n}\n\nprivate static List genFloatVector() {\n Random ran = new Random();\n List vector = new ArrayList<>();\n for (int i = 0; i < DIM; ++i) {\n vector.add(ran.nextFloat());\n }\n return vector;\n}\n\nprivate static byte[] genFloat16Vector() {\n List originalVector = genFloatVector();\n return Float16Utils.f32VectorToFp16Buffer(originalVector).array();\n}\n\nprivate static SortedMap genSparseVector() {\n Random ran = new Random();\n SortedMap sparse = new TreeMap<>();\n int dim = ran.nextInt(18) + 2; // [2, 20)\n for (int i = 0; i < dim; ++i) {\n sparse.put((long)ran.nextInt(1000000), ran.nextFloat());\n }\n return sparse;\n}\n\nprivate static List genStringArray(int length) {\n List arr = new ArrayList<>();\n for (int i = 0; i < length; i++) {\n arr.add(\"str_\" + i);\n }\n return arr;\n}\n\nprivate static List genIntArray(int length) {\n List arr = new ArrayList<>();\n for (long i = 0; i < length; i++) {\n arr.add(i);\n }\n return arr;\n}\n\nprivate static RemoteBulkWriter createRemoteBulkWriter(CreateCollectionReq.CollectionSchema collectionSchema) throws IOException {\n StorageConnectParam connectParam = S3ConnectParam.newBuilder()\n .withEndpoint(MINIO_ENDPOINT)\n .withBucketName(BUCKET_NAME)\n .withAccessKey(ACCESS_KEY)\n .withSecretKey(SECRET_KEY)\n .build();\n RemoteBulkWriterParam bulkWriterParam = RemoteBulkWriterParam.newBuilder()\n .withCollectionSchema(collectionSchema)\n .withRemotePath(\"/\")\n .withConnectParam(connectParam)\n .withFileType(BulkFileType.PARQUET)\n .build();\n return new RemoteBulkWriter(bulkWriterParam);\n}\n\nprivate static List> uploadData() throws Exception {\n CreateCollectionReq.CollectionSchema collectionSchema = createSchema();\n try (RemoteBulkWriter remoteBulkWriter = createRemoteBulkWriter(collectionSchema)) {\n for (int i = 0; i < 10000; ++i) {\n JsonObject rowObject = new JsonObject();\n\n rowObject.addProperty(\"id\", i);\n rowObject.addProperty(\"bool\", i % 3 == 0);\n rowObject.addProperty(\"int8\", i % 128);\n rowObject.addProperty(\"int16\", i % 1000);\n rowObject.addProperty(\"int32\", i % 100000);\n rowObject.addProperty(\"int64\", i);\n rowObject.addProperty(\"float\", i / 3);\n rowObject.addProperty(\"double\", i / 7);\n rowObject.addProperty(\"varchar\", \"varchar_\" + i);\n rowObject.addProperty(\"json\", String.format(\"{\\\"dummy\\\": %s, \\\"ok\\\": \\\"name_%s\\\"}\", i, i));\n rowObject.add(\"array_str\", GSON_INSTANCE.toJsonTree(genStringArray(5)));\n rowObject.add(\"array_int\", GSON_INSTANCE.toJsonTree(genIntArray(10)));\n rowObject.add(\"float_vector\", GSON_INSTANCE.toJsonTree(genFloatVector()));\n rowObject.add(\"binary_vector\", GSON_INSTANCE.toJsonTree(genBinaryVector()));\n rowObject.add(\"float16_vector\", GSON_INSTANCE.toJsonTree(genFloat16Vector()));\n rowObject.add(\"sparse_vector\", GSON_INSTANCE.toJsonTree(genSparseVector()));\n rowObject.addProperty(\"dynamic\", \"dynamic_\" + i);\n\n remoteBulkWriter.appendRow(rowObject);\n\n if ((i+1)%1000 == 0) {\n remoteBulkWriter.commit(false);\n }\n }\n\n List> batchFiles = remoteBulkWriter.getBatchFiles();\n System.out.println(batchFiles);\n return batchFiles;\n } catch (Exception e) {\n throw e;\n }\n}\n\npublic static void main(String[] args) throws Exception {\n List> batchFiles = uploadData();\n}\n","print(writer.batch_files)\n\n# [['d4220a9e-45be-4ccb-8cb5-bf09304b9f23/1.parquet'],\n# ['d4220a9e-45be-4ccb-8cb5-bf09304b9f23/2.parquet']]\n","// localBulkWriter.getBatchFiles();\nremoteBulkWriter.getBatchFiles();\n\n// \n\n// Close the BulkWriter\ntry {\n localBulkWriter.close();\n remoteBulkWriter.close(); \n} catch (Exception e) {\n // TODO: handle exception\n e.printStackTrace();\n}\n","# JSON\n├── folder\n│ └── 45ae1139-1d87-4aff-85f5-0039111f9e6b\n│ └── 1.json \n\n# Parquet\n├── folder\n│ └── 45ae1139-1d87-4aff-85f5-0039111f9e6b\n│ └── 1.parquet \n"],"headingContent":"Prepare Source Data","anchorList":[{"label":"Préparer les données sources","href":"Prepare-Source-Data","type":1,"isActive":false},{"label":"Avant de commencer","href":"Before-you-start","type":2,"isActive":false},{"label":"Configurer BulkWriter","href":"Set-up-BulkWriter","type":2,"isActive":false},{"label":"Démarrer l'écriture","href":"Start-writing","type":2,"isActive":false},{"label":"Vérifier les résultats","href":"Verify-the-results","type":2,"isActive":false}]} \ No newline at end of file diff --git a/localization/v2.4.x/site/fr/userGuide/data-import/prepare-source-data.md b/localization/v2.4.x/site/fr/userGuide/data-import/prepare-source-data.md index 31c19c1ea..1ae5dca8e 100644 --- a/localization/v2.4.x/site/fr/userGuide/data-import/prepare-source-data.md +++ b/localization/v2.4.x/site/fr/userGuide/data-import/prepare-source-data.md @@ -21,7 +21,7 @@ summary: >- d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z" > -

                                                                                                                                                                                                                                  Cette page traite des éléments à prendre en compte avant de commencer à insérer des données en vrac dans votre collection.

                                                                                                                                                                                                                                  +

                                                                                                                                                                                                                                  Cette page traite d'un aspect que vous devez prendre en compte avant de commencer à insérer des données en vrac dans votre collection.

                                                                                                                                                                                                                                  Avant de commencer

                                                                                                                                                                                                                                  -
                                                                                                                                                                                                                                  import io.milvus.grpc.DataType;
                                                                                                                                                                                                                                  -import io.milvus.param.collection.CollectionSchemaParam;
                                                                                                                                                                                                                                  -import io.milvus.param.collection.FieldType;
                                                                                                                                                                                                                                  -
                                                                                                                                                                                                                                  -// Define schema for the target collection
                                                                                                                                                                                                                                  -FieldType id = FieldType.newBuilder()
                                                                                                                                                                                                                                  -        .withName("id")
                                                                                                                                                                                                                                  -        .withDataType(DataType.Int64)
                                                                                                                                                                                                                                  -        .withPrimaryKey(true)
                                                                                                                                                                                                                                  -        .withAutoID(false)
                                                                                                                                                                                                                                  -        .build();
                                                                                                                                                                                                                                  +
                                                                                                                                                                                                                                  import com.google.gson.Gson;
                                                                                                                                                                                                                                  +import com.google.gson.JsonObject;
                                                                                                                                                                                                                                  +import io.milvus.bulkwriter.BulkImport;
                                                                                                                                                                                                                                  +import io.milvus.bulkwriter.RemoteBulkWriter;
                                                                                                                                                                                                                                  +import io.milvus.bulkwriter.RemoteBulkWriterParam;
                                                                                                                                                                                                                                  +import io.milvus.bulkwriter.common.clientenum.BulkFileType;
                                                                                                                                                                                                                                  +import io.milvus.bulkwriter.common.clientenum.CloudStorage;
                                                                                                                                                                                                                                  +import io.milvus.bulkwriter.connect.S3ConnectParam;
                                                                                                                                                                                                                                  +import io.milvus.bulkwriter.connect.StorageConnectParam;
                                                                                                                                                                                                                                  +import io.milvus.bulkwriter.request.describe.MilvusDescribeImportRequest;
                                                                                                                                                                                                                                  +import io.milvus.bulkwriter.request.import_.MilvusImportRequest;
                                                                                                                                                                                                                                  +import io.milvus.bulkwriter.request.list.MilvusListImportJobsRequest;
                                                                                                                                                                                                                                  +import io.milvus.common.utils.Float16Utils;
                                                                                                                                                                                                                                  +import io.milvus.v2.client.ConnectConfig;
                                                                                                                                                                                                                                  +import io.milvus.v2.client.MilvusClientV2;
                                                                                                                                                                                                                                  +import io.milvus.v2.common.DataType;
                                                                                                                                                                                                                                  +import io.milvus.v2.service.collection.request.*;
                                                                                                                                                                                                                                   
                                                                                                                                                                                                                                  -FieldType vector = FieldType.newBuilder()
                                                                                                                                                                                                                                  -        .withName("vector")
                                                                                                                                                                                                                                  -        .withDataType(DataType.FloatVector)
                                                                                                                                                                                                                                  -        .withDimension(768)
                                                                                                                                                                                                                                  -        .build();
                                                                                                                                                                                                                                  +import java.io.IOException;
                                                                                                                                                                                                                                  +import java.nio.ByteBuffer;
                                                                                                                                                                                                                                  +import java.util.*;
                                                                                                                                                                                                                                  +import java.util.concurrent.TimeUnit;
                                                                                                                                                                                                                                   
                                                                                                                                                                                                                                  -FieldType scalar1 = FieldType.newBuilder()
                                                                                                                                                                                                                                  -        .withName("scalar_1")
                                                                                                                                                                                                                                  -        .withDataType(DataType.VarChar)
                                                                                                                                                                                                                                  -        .withMaxLength(512)
                                                                                                                                                                                                                                  -        .build();
                                                                                                                                                                                                                                  +private static final String MINIO_ENDPOINT = CloudStorage.MINIO.getEndpoint("http://127.0.0.1:9000");
                                                                                                                                                                                                                                  +private static final String BUCKET_NAME = "a-bucket";
                                                                                                                                                                                                                                  +private static final String ACCESS_KEY = "minioadmin";
                                                                                                                                                                                                                                  +private static final String SECRET_KEY = "minioadmin";
                                                                                                                                                                                                                                   
                                                                                                                                                                                                                                  -FieldType scalar2 = FieldType.newBuilder()
                                                                                                                                                                                                                                  -        .withName("scalar_2")
                                                                                                                                                                                                                                  -        .withDataType(DataType.Int64)
                                                                                                                                                                                                                                  -        .build();
                                                                                                                                                                                                                                  +private static final Integer DIM = 512;
                                                                                                                                                                                                                                  +private static final Gson GSON_INSTANCE = new Gson();
                                                                                                                                                                                                                                   
                                                                                                                                                                                                                                  -CollectionSchemaParam schema = CollectionSchemaParam.newBuilder()
                                                                                                                                                                                                                                  -        .withEnableDynamicField(true)
                                                                                                                                                                                                                                  -        .addFieldType(id)
                                                                                                                                                                                                                                  -        .addFieldType(vector)
                                                                                                                                                                                                                                  -        .addFieldType(scalar1)
                                                                                                                                                                                                                                  -        .addFieldType(scalar2)
                                                                                                                                                                                                                                  +private static CreateCollectionReq.CollectionSchema createSchema() {
                                                                                                                                                                                                                                  +    CreateCollectionReq.CollectionSchema schema = CreateCollectionReq.CollectionSchema.builder()
                                                                                                                                                                                                                                  +        .enableDynamicField(true)
                                                                                                                                                                                                                                           .build();
                                                                                                                                                                                                                                  +    schema.addField(AddFieldReq.builder()
                                                                                                                                                                                                                                  +            .fieldName("id")
                                                                                                                                                                                                                                  +            .dataType(io.milvus.v2.common.DataType.Int64)
                                                                                                                                                                                                                                  +            .isPrimaryKey(Boolean.TRUE)
                                                                                                                                                                                                                                  +            .autoID(false)
                                                                                                                                                                                                                                  +            .build());
                                                                                                                                                                                                                                  +    schema.addField(AddFieldReq.builder()
                                                                                                                                                                                                                                  +            .fieldName("bool")
                                                                                                                                                                                                                                  +            .dataType(DataType.Bool)
                                                                                                                                                                                                                                  +            .build());
                                                                                                                                                                                                                                  +    schema.addField(AddFieldReq.builder()
                                                                                                                                                                                                                                  +            .fieldName("int8")
                                                                                                                                                                                                                                  +            .dataType(DataType.Int8)
                                                                                                                                                                                                                                  +            .build());
                                                                                                                                                                                                                                  +    schema.addField(AddFieldReq.builder()
                                                                                                                                                                                                                                  +            .fieldName("int16")
                                                                                                                                                                                                                                  +            .dataType(DataType.Int16)
                                                                                                                                                                                                                                  +            .build());
                                                                                                                                                                                                                                  +    schema.addField(AddFieldReq.builder()
                                                                                                                                                                                                                                  +            .fieldName("int32")
                                                                                                                                                                                                                                  +            .dataType(DataType.Int32)
                                                                                                                                                                                                                                  +            .build());
                                                                                                                                                                                                                                  +    schema.addField(AddFieldReq.builder()
                                                                                                                                                                                                                                  +            .fieldName("int64")
                                                                                                                                                                                                                                  +            .dataType(DataType.Int64)
                                                                                                                                                                                                                                  +            .build());
                                                                                                                                                                                                                                  +    schema.addField(AddFieldReq.builder()
                                                                                                                                                                                                                                  +            .fieldName("float")
                                                                                                                                                                                                                                  +            .dataType(DataType.Float)
                                                                                                                                                                                                                                  +            .build());
                                                                                                                                                                                                                                  +    schema.addField(AddFieldReq.builder()
                                                                                                                                                                                                                                  +            .fieldName("double")
                                                                                                                                                                                                                                  +            .dataType(DataType.Double)
                                                                                                                                                                                                                                  +            .build());
                                                                                                                                                                                                                                  +    schema.addField(AddFieldReq.builder()
                                                                                                                                                                                                                                  +            .fieldName("varchar")
                                                                                                                                                                                                                                  +            .dataType(DataType.VarChar)
                                                                                                                                                                                                                                  +            .maxLength(512)
                                                                                                                                                                                                                                  +            .build());
                                                                                                                                                                                                                                  +    schema.addField(AddFieldReq.builder()
                                                                                                                                                                                                                                  +            .fieldName("json")
                                                                                                                                                                                                                                  +            .dataType(io.milvus.v2.common.DataType.JSON)
                                                                                                                                                                                                                                  +            .build());
                                                                                                                                                                                                                                  +    schema.addField(AddFieldReq.builder()
                                                                                                                                                                                                                                  +            .fieldName("array_int")
                                                                                                                                                                                                                                  +            .dataType(io.milvus.v2.common.DataType.Array)
                                                                                                                                                                                                                                  +            .maxCapacity(100)
                                                                                                                                                                                                                                  +            .elementType(io.milvus.v2.common.DataType.Int64)
                                                                                                                                                                                                                                  +            .build());
                                                                                                                                                                                                                                  +    schema.addField(AddFieldReq.builder()
                                                                                                                                                                                                                                  +            .fieldName("array_str")
                                                                                                                                                                                                                                  +            .dataType(io.milvus.v2.common.DataType.Array)
                                                                                                                                                                                                                                  +            .maxCapacity(100)
                                                                                                                                                                                                                                  +            .elementType(io.milvus.v2.common.DataType.VarChar)
                                                                                                                                                                                                                                  +            .maxLength(128)
                                                                                                                                                                                                                                  +            .build());
                                                                                                                                                                                                                                  +    schema.addField(AddFieldReq.builder()
                                                                                                                                                                                                                                  +            .fieldName("float_vector")
                                                                                                                                                                                                                                  +            .dataType(io.milvus.v2.common.DataType.FloatVector)
                                                                                                                                                                                                                                  +            .dimension(DIM)
                                                                                                                                                                                                                                  +            .build());
                                                                                                                                                                                                                                  +    schema.addField(AddFieldReq.builder()
                                                                                                                                                                                                                                  +            .fieldName("binary_vector")
                                                                                                                                                                                                                                  +            .dataType(io.milvus.v2.common.DataType.BinaryVector)
                                                                                                                                                                                                                                  +            .dimension(DIM)
                                                                                                                                                                                                                                  +            .build());
                                                                                                                                                                                                                                  +    schema.addField(AddFieldReq.builder()
                                                                                                                                                                                                                                  +            .fieldName("float16_vector")
                                                                                                                                                                                                                                  +            .dataType(io.milvus.v2.common.DataType.Float16Vector)
                                                                                                                                                                                                                                  +            .dimension(DIM)
                                                                                                                                                                                                                                  +            .build());
                                                                                                                                                                                                                                  +    schema.addField(AddFieldReq.builder()
                                                                                                                                                                                                                                  +            .fieldName("sparse_vector")
                                                                                                                                                                                                                                  +            .dataType(io.milvus.v2.common.DataType.SparseFloatVector)
                                                                                                                                                                                                                                  +            .build());
                                                                                                                                                                                                                                  +    
                                                                                                                                                                                                                                  +    return schema;
                                                                                                                                                                                                                                  +}
                                                                                                                                                                                                                                   

                                                                                                                                                                                                                                  Configurer BulkWriter

                                                                                                                    -

                                                                                                                    Configuration de RemoteBulkWriter

                                                                                                                    Au lieu d'enregistrer les données ajoutées dans un fichier local, un RemoteBulkWriter les enregistre dans un bucket distant. Par conséquent, vous devez configurer un objet ConnectParam avant de créer un RemoteBulkWriter.

                                                                                                                    +

                                                                                                                    Configuration de RemoteBulkWriter

                                                                                                                    Au lieu d'enregistrer les données ajoutées dans un fichier local, un RemoteBulkWriter les enregistre dans un panier distant. Par conséquent, vous devez configurer un objet ConnectParam avant de créer un RemoteBulkWriter.

                                                                                                                    from pymilvus.bulk_writer import RemoteBulkWriter
                                                                                                                    @@ -190,7 +284,7 @@ writer = LocalBulkWriter(
                                                                                                                     # Third-party constants
                                                                                                                     ACCESS_KEY="minioadmin"
                                                                                                                     SECRET_KEY="minioadmin"
                                                                                                                    -BUCKET_NAME="milvus-bucket"
                                                                                                                    +BUCKET_NAME="a-bucket"
                                                                                                                     
                                                                                                                     # Connections parameters to access the remote bucket
                                                                                                                     conn = RemoteBulkWriter.S3ConnectParam(
                                                                                                                    @@ -200,21 +294,35 @@ conn = RemoteBulkWriter.S3ConnectParam(
                                                                                                                         bucket_name=BUCKET_NAME,
                                                                                                                         secure=False
                                                                                                                     )
                                                                                                                    -
                                                                                                                    -
                                                                                                                    import io.milvus.bulkwriter.common.clientenum.BulkFileType;
                                                                                                                    -import io.milvus.bulkwriter.connect.S3ConnectParam;
                                                                                                                    -import io.milvus.bulkwriter.connect.StorageConnectParam;
                                                                                                                     
                                                                                                                    -String ACCESS_KEY = "minioadmin";
                                                                                                                    -String SECRET_KEY = "minioadmin";
                                                                                                                    -String BUCKET_NAME = "milvus-bucket";
                                                                                                                    +from pymilvus.bulk_writer import BulkFileType
                                                                                                                    +# Use `from pymilvus import BulkFileType` 
                                                                                                                    +# when you use pymilvus earlier than 2.4.2 
                                                                                                                     
                                                                                                                    -StorageConnectParam storageConnectParam = S3ConnectParam.newBuilder()
                                                                                                                    -    .withEndpoint(MINIO_URI)
                                                                                                                    -    .withAccessKey(ACCESS_KEY)
                                                                                                                    -    .withSecretKey(SECRET_KEY)
                                                                                                                    -    .withBucketName(BUCKET_NAME)
                                                                                                                    -    .build();
                                                                                                                    +writer = RemoteBulkWriter(
                                                                                                                    +    schema=schema,
                                                                                                                    +    remote_path="/",
                                                                                                                    +    connect_param=conn,
                                                                                                                    +    file_type=BulkFileType.PARQUET
                                                                                                                    +)
                                                                                                                    +
                                                                                                                    +print('bulk writer created.')
                                                                                                                    +
                                                                                                                    +
                                                                                                                    private static RemoteBulkWriter createRemoteBulkWriter(CreateCollectionReq.CollectionSchema collectionSchema) throws IOException {
                                                                                                                    +    StorageConnectParam connectParam = S3ConnectParam.newBuilder()
                                                                                                                    +            .withEndpoint(MINIO_ENDPOINT)
                                                                                                                    +            .withBucketName(BUCKET_NAME)
                                                                                                                    +            .withAccessKey(ACCESS_KEY)
                                                                                                                    +            .withSecretKey(SECRET_KEY)
                                                                                                                    +            .build();
                                                                                                                    +    RemoteBulkWriterParam bulkWriterParam = RemoteBulkWriterParam.newBuilder()
                                                                                                                    +            .withCollectionSchema(collectionSchema)
                                                                                                                    +            .withRemotePath("/")
                                                                                                                    +            .withConnectParam(connectParam)
                                                                                                                    +            .withFileType(BulkFileType.PARQUET)
                                                                                                                    +            .build();
                                                                                                                    +    return new RemoteBulkWriter(bulkWriterParam);
                                                                                                                    +}
                                                                                                                     

                                                                                                                    Une fois que les paramètres de connexion sont prêts, vous pouvez les référencer dans le RemoteBulkWriter comme suit :

                                                                                                                    @@ -268,85 +376,206 @@ writer = RemoteBulkWriter(

                                                                                                                    Un BulkWriter possède deux méthodes : append_row() ajoute une ligne à partir d'un jeu de données source et commit() valide les lignes ajoutées dans un fichier local ou un bucket distant.

                                                                                                                    -

                                                                                                                    Un BulkWriter possède deux méthodes : appendRow() ajoute une ligne à partir d'un jeu de données source et commit() enregistre les lignes ajoutées dans un fichier local ou un panier distant.

                                                                                                                    +

                                                                                                                    Un BulkWriter possède deux méthodes : appendRow() ajoute une ligne à partir d'un jeu de données source et commit() enregistre les lignes ajoutées dans un fichier local ou dans une base de données distante.

                                                                                                                    À des fins de démonstration, le code suivant ajoute des données générées de manière aléatoire.

                                                                                                                    -
                                                                                                                    import random
                                                                                                                    -import string
                                                                                                                    +
                                                                                                                    import random, string, json
                                                                                                                    +import numpy as np
                                                                                                                    +import tensorflow as tf
                                                                                                                     
                                                                                                                    -def generate_random_str(length=5):
                                                                                                                    -    letters = string.ascii_uppercase
                                                                                                                    -    digits = string.digits
                                                                                                                    +def generate_random_str(length=5):
                                                                                                                    +    letters = string.ascii_uppercase
                                                                                                                    +    digits = string.digits
                                                                                                                         
                                                                                                                         return ''.join(random.choices(letters + digits, k=length))
                                                                                                                     
                                                                                                                    -for i in range(10000):
                                                                                                                    -    writer.append_row({
                                                                                                                    -        "id": i, 
                                                                                                                    -        "vector": [random.uniform(-1, 1) for _ in range(768)],
                                                                                                                    -        "scalar_1": generate_random_str(random.randint(1, 20)),
                                                                                                                    -        "scalar_2": random.randint(0, 100)
                                                                                                                    -    })
                                                                                                                    -    
                                                                                                                    -writer.commit()
                                                                                                                    -
                                                                                                                    -
                                                                                                                    import com.alibaba.fastjson.JSONObject;
                                                                                                                    +# optional input for binary vector:
                                                                                                                    +# 1. list of int such as [1, 0, 1, 1, 0, 0, 1, 0]
                                                                                                                    +# 2. numpy array of uint8
                                                                                                                    +def gen_binary_vector(to_numpy_arr):
                                                                                                                    +    raw_vector = [random.randint(0, 1) for i in range(DIM)]
                                                                                                                    +    if to_numpy_arr:
                                                                                                                    +        return np.packbits(raw_vector, axis=-1)
                                                                                                                    +    return raw_vector
                                                                                                                     
                                                                                                                    -for (int i = 0; i < 10000; i++) {
                                                                                                                    -    JSONObject json = new JSONObject();
                                                                                                                    -    json.put("id", i);
                                                                                                                    -    json.put("vector", get_random_vector(768));
                                                                                                                    -    json.put("scalar_1", get_random_string(20));
                                                                                                                    -    json.put("scalar_2", (long) (Math.random() * 100));
                                                                                                                    +# optional input for float vector:
                                                                                                                    +# 1. list of float such as [0.56, 1.859, 6.55, 9.45]
                                                                                                                    +# 2. numpy array of float32
                                                                                                                    +def gen_float_vector(to_numpy_arr):
                                                                                                                    +    raw_vector = [random.random() for _ in range(DIM)]
                                                                                                                    +    if to_numpy_arr:
                                                                                                                    +        return np.array(raw_vector, dtype="float32")
                                                                                                                    +    return raw_vector
                                                                                                                     
                                                                                                                    -    // localBulkWriter.appendRow(json);
                                                                                                                    -    remoteBulkWriter.appendRow(json);
                                                                                                                    -}
                                                                                                                    +# # optional input for bfloat16 vector:
                                                                                                                    +# # 1. list of float such as [0.56, 1.859, 6.55, 9.45]
                                                                                                                    +# # 2. numpy array of bfloat16
                                                                                                                    +# def gen_bf16_vector(to_numpy_arr):
                                                                                                                    +#     raw_vector = [random.random() for _ in range(DIM)]
                                                                                                                    +#     if to_numpy_arr:
                                                                                                                    +#         return tf.cast(raw_vector, dtype=tf.bfloat16).numpy()
                                                                                                                    +#     return raw_vector
                                                                                                                     
                                                                                                                    -// localBulkWriter.commit(false);
                                                                                                                    -remoteBulkWriter.commit(false);
                                                                                                                    -
                                                                                                                    -

                                                                                                                    Étant donné que le schéma défini autorise les champs dynamiques, vous pouvez également inclure des champs non définis par le schéma dans les données à insérer, comme suit.

                                                                                                                    - -
                                                                                                                    import random
                                                                                                                    -import string
                                                                                                                    +# optional input for float16 vector:
                                                                                                                    +# 1. list of float such as [0.56, 1.859, 6.55, 9.45]
                                                                                                                    +# 2. numpy array of float16
                                                                                                                    +def gen_fp16_vector(to_numpy_arr):
                                                                                                                    +    raw_vector = [random.random() for _ in range(DIM)]
                                                                                                                    +    if to_numpy_arr:
                                                                                                                    +        return np.array(raw_vector, dtype=np.float16)
                                                                                                                    +    return raw_vector
                                                                                                                     
                                                                                                                    -def generate_random_string(length=5):
                                                                                                                    -    letters = string.ascii_uppercase
                                                                                                                    -    digits = string.digits
                                                                                                                    -    
                                                                                                                    -    return ''.join(random.choices(letters + digits, k=length))
                                                                                                                    +# optional input for sparse vector:
                                                                                                                    +# only accepts dict like {2: 13.23, 45: 0.54} or {"indices": [1, 2], "values": [0.1, 0.2]}
                                                                                                                    +# note: no need to sort the keys
                                                                                                                    +def gen_sparse_vector(pair_dict: bool):
                                                                                                                    +    raw_vector = {}
                                                                                                                    +    dim = random.randint(2, 20)
                                                                                                                    +    if pair_dict:
                                                                                                                    +        raw_vector["indices"] = [i for i in range(dim)]
                                                                                                                    +        raw_vector["values"] = [random.random() for _ in range(dim)]
                                                                                                                    +    else:
                                                                                                                    +        for i in range(dim):
                                                                                                                    +            raw_vector[i] = random.random()
                                                                                                                    +    return raw_vector
                                                                                                                     
                                                                                                                     for i in range(10000):
                                                                                                                         writer.append_row({
                                                                                                                    -        "id": i, 
                                                                                                                    -        "vector":[random.uniform(-1, 1) for _ in range(768)],
                                                                                                                    -        "scalar_1": generate_random_string(),
                                                                                                                    -        "scalar_2": random.randint(0, 100),
                                                                                                                    -        "dynamic_field_1": random.choice([True, False]),
                                                                                                                    -        "dynamic_field_2": random.randint(0, 100)
                                                                                                                    +        "id": np.int64(i),
                                                                                                                    +        "bool": True if i % 3 == 0 else False,
                                                                                                                    +        "int8": np.int8(i%128),
                                                                                                                    +        "int16": np.int16(i%1000),
                                                                                                                    +        "int32": np.int32(i%100000),
                                                                                                                    +        "int64": np.int64(i),
                                                                                                                    +        "float": np.float32(i/3),
                                                                                                                    +        "double": np.float64(i/7),
                                                                                                                    +        "varchar": f"varchar_{i}",
                                                                                                                    +        "json": json.dumps({"dummy": i, "ok": f"name_{i}"}),
                                                                                                                    +        "array_str": np.array([f"str_{k}" for k in range(5)], np.dtype("str")),
                                                                                                                    +        "array_int": np.array([k for k in range(10)], np.dtype("int64")),
                                                                                                                    +        "float_vector": gen_float_vector(True),
                                                                                                                    +        "binary_vector": gen_binary_vector(True),
                                                                                                                    +        "float16_vector": gen_fp16_vector(True),
                                                                                                                    +        # "bfloat16_vector": gen_bf16_vector(True),
                                                                                                                    +        "sparse_vector": gen_sparse_vector(True),
                                                                                                                    +        f"dynamic_{i}": i,
                                                                                                                         })
                                                                                                                    -    
                                                                                                                    -writer.commit()
                                                                                                                    +    if (i+1)%1000 == 0:
                                                                                                                    +        writer.commit()
                                                                                                                    +        print('committed')
                                                                                                                    +
                                                                                                                    +print(writer.batch_files)
                                                                                                                     
                                                                                                                    -
                                                                                                                    for (int i = 0; i < 10000; i++) {
                                                                                                                    -    JSONObject json = new JSONObject();
                                                                                                                    -    json.put("id", i);
                                                                                                                    -    json.put("vector", get_random_vector(768));
                                                                                                                    -    json.put("scalar_1", get_random_string(20));
                                                                                                                    -    json.put("scalar_2", (long) (Math.random() * 100));
                                                                                                                    -    json.put("dynamic_field_1", get_random_boolean());
                                                                                                                    -    json.put("dynamic_field_2", (long) (Math.random() * 100));
                                                                                                                    -
                                                                                                                    -    // localBulkWriter.appendRow(json);
                                                                                                                    -    remoteBulkWriter.appendRow(json);
                                                                                                                    +
                                                                                                                    private static byte[] genBinaryVector() {
                                                                                                                    +    Random ran = new Random();
                                                                                                                    +    int byteCount = DIM / 8;
                                                                                                                    +    ByteBuffer vector = ByteBuffer.allocate(byteCount);
                                                                                                                    +    for (int i = 0; i < byteCount; ++i) {
                                                                                                                    +        vector.put((byte) ran.nextInt(Byte.MAX_VALUE));
                                                                                                                    +    }
                                                                                                                    +    return vector.array();
                                                                                                                    +}
                                                                                                                    +
                                                                                                                    +private static List<Float> genFloatVector() {
                                                                                                                    +    Random ran = new Random();
                                                                                                                    +    List<Float> vector = new ArrayList<>();
                                                                                                                    +    for (int i = 0; i < DIM; ++i) {
                                                                                                                    +        vector.add(ran.nextFloat());
                                                                                                                    +    }
                                                                                                                    +    return vector;
                                                                                                                    +}
                                                                                                                    +
                                                                                                                    +private static byte[] genFloat16Vector() {
                                                                                                                    +    List<Float> originalVector = genFloatVector();
                                                                                                                    +    return Float16Utils.f32VectorToFp16Buffer(originalVector).array();
                                                                                                                     }
                                                                                                                     
                                                                                                                    -// localBulkWriter.commit(false);
                                                                                                                    -remoteBulkWriter.commit(false);
                                                                                                                    +private static SortedMap<Long, Float> genSparseVector() {
                                                                                                                    +    Random ran = new Random();
                                                                                                                    +    SortedMap<Long, Float> sparse = new TreeMap<>();
                                                                                                                    +    int dim = ran.nextInt(18) + 2; // [2, 20)
                                                                                                                    +    for (int i = 0; i < dim; ++i) {
                                                                                                                    +        sparse.put((long)ran.nextInt(1000000), ran.nextFloat());
                                                                                                                    +    }
                                                                                                                    +    return sparse;
                                                                                                                    +}
                                                                                                                    +
                                                                                                                    +private static List<String> genStringArray(int length) {
                                                                                                                    +    List<String> arr = new ArrayList<>();
                                                                                                                    +    for (int i = 0; i < length; i++) {
                                                                                                                    +        arr.add("str_" + i);
                                                                                                                    +    }
                                                                                                                    +    return arr;
                                                                                                                    +}
                                                                                                                    +
                                                                                                                    +private static List<Long> genIntArray(int length) {
                                                                                                                    +    List<Long> arr = new ArrayList<>();
                                                                                                                    +    for (long i = 0; i < length; i++) {
                                                                                                                    +        arr.add(i);
                                                                                                                    +    }
                                                                                                                    +    return arr;
                                                                                                                    +}
                                                                                                                    +
                                                                                                                    +private static RemoteBulkWriter createRemoteBulkWriter(CreateCollectionReq.CollectionSchema collectionSchema) throws IOException {
                                                                                                                    +    StorageConnectParam connectParam = S3ConnectParam.newBuilder()
                                                                                                                    +            .withEndpoint(MINIO_ENDPOINT)
                                                                                                                    +            .withBucketName(BUCKET_NAME)
                                                                                                                    +            .withAccessKey(ACCESS_KEY)
                                                                                                                    +            .withSecretKey(SECRET_KEY)
                                                                                                                    +            .build();
                                                                                                                    +    RemoteBulkWriterParam bulkWriterParam = RemoteBulkWriterParam.newBuilder()
                                                                                                                    +            .withCollectionSchema(collectionSchema)
                                                                                                                    +            .withRemotePath("/")
                                                                                                                    +            .withConnectParam(connectParam)
                                                                                                                    +            .withFileType(BulkFileType.PARQUET)
                                                                                                                    +            .build();
                                                                                                                    +    return new RemoteBulkWriter(bulkWriterParam);
                                                                                                                    +}
                                                                                                                    +
                                                                                                                    +private static List<List<String>> uploadData() throws Exception {
                                                                                                                    +    CreateCollectionReq.CollectionSchema collectionSchema = createSchema();
                                                                                                                    +    try (RemoteBulkWriter remoteBulkWriter = createRemoteBulkWriter(collectionSchema)) {
                                                                                                                    +        for (int i = 0; i < 10000; ++i) {
                                                                                                                    +            JsonObject rowObject = new JsonObject();
                                                                                                                    +
                                                                                                                    +            rowObject.addProperty("id", i);
                                                                                                                    +            rowObject.addProperty("bool", i % 3 == 0);
                                                                                                                    +            rowObject.addProperty("int8", i % 128);
                                                                                                                    +            rowObject.addProperty("int16", i % 1000);
                                                                                                                    +            rowObject.addProperty("int32", i % 100000);
                                                                                                                    +            rowObject.addProperty("int64", i);
                                                                                                                    +            rowObject.addProperty("float", i / 3);
                                                                                                                    +            rowObject.addProperty("double", i / 7);
                                                                                                                    +            rowObject.addProperty("varchar", "varchar_" + i);
                                                                                                                    +            rowObject.addProperty("json", String.format("{\"dummy\": %s, \"ok\": \"name_%s\"}", i, i));
                                                                                                                    +            rowObject.add("array_str", GSON_INSTANCE.toJsonTree(genStringArray(5)));
                                                                                                                    +            rowObject.add("array_int", GSON_INSTANCE.toJsonTree(genIntArray(10)));
                                                                                                                    +            rowObject.add("float_vector", GSON_INSTANCE.toJsonTree(genFloatVector()));
                                                                                                                    +            rowObject.add("binary_vector", GSON_INSTANCE.toJsonTree(genBinaryVector()));
                                                                                                                    +            rowObject.add("float16_vector", GSON_INSTANCE.toJsonTree(genFloat16Vector()));
                                                                                                                    +            rowObject.add("sparse_vector", GSON_INSTANCE.toJsonTree(genSparseVector()));
                                                                                                                    +            rowObject.addProperty("dynamic", "dynamic_" + i);
                                                                                                                    +
                                                                                                                    +            remoteBulkWriter.appendRow(rowObject);
                                                                                                                    +
                                                                                                                    +            if ((i+1)%1000 == 0) {
                                                                                                                    +                remoteBulkWriter.commit(false);
                                                                                                                    +            }
                                                                                                                    +        }
                                                                                                                    +
                                                                                                                    +        List<List<String>> batchFiles = remoteBulkWriter.getBatchFiles();
                                                                                                                    +        System.out.println(batchFiles);
                                                                                                                    +        return batchFiles;
                                                                                                                    +    } catch (Exception e) {
                                                                                                                    +        throw e;
                                                                                                                    +    }
                                                                                                                    +}
                                                                                                                    +
                                                                                                                    +public static void main(String[] args) throws Exception {
                                                                                                                    +    List<List<String>> batchFiles = uploadData();
                                                                                                                    +}
                                                                                                                     

                                                                                                                    Vérifier les résultats

                                                                                                                    En exploitant les métadonnées stockées dans un fichier d'index, Milvus organise vos données dans une structure spécialisée, ce qui facilite la récupération rapide des informations demandées lors des recherches ou des requêtes.

                                                                                                                    -

                                                                                                                    Milvus propose plusieurs types d'index et de métriques pour trier les valeurs des champs afin d'effectuer des recherches de similarité efficaces. Le tableau suivant répertorie les types d'index et les métriques pris en charge pour différents types de champs vectoriels. Pour plus de détails, voir Index en mémoire et métriques de similarité.

                                                                                                                    +

                                                                                                                    Milvus propose plusieurs types d'index et de métriques pour trier les valeurs des champs afin d'effectuer des recherches de similarité efficaces. Le tableau suivant répertorie les types d'index et les métriques pris en charge pour différents types de champs vectoriels. Actuellement, Milvus prend en charge différents types de données vectorielles, notamment les encastrements à virgule flottante (souvent appelés vecteurs à virgule flottante ou vecteurs denses), les encastrements binaires (également appelés vecteurs binaires) et les encastrements épars (également appelés vecteurs épars). Pour plus d'informations, reportez-vous à la section Index en mémoire et métriques de similarité.

                                                                                                                    + Encastrements en virgule flottante Encastrements binaires Encastrements épars
                                                                                                                    diff --git a/localization/v2.4.x/site/it/adminGuide/configure-docker.json b/localization/v2.4.x/site/it/adminGuide/configure-docker.json index bb7e4b632..c085fd081 100644 --- a/localization/v2.4.x/site/it/adminGuide/configure-docker.json +++ b/localization/v2.4.x/site/it/adminGuide/configure-docker.json @@ -1 +1 @@ -{"codeList":["$ wget https://raw.githubusercontent.com/milvus-io/milvus/v2.4.15/configs/milvus.yaml\n","# For Milvus standalone\n$ wget https://github.com/milvus-io/milvus/releases/download/v2.4.15/milvus-standalone-docker-compose.yml -O docker-compose.yml\n","...\n standalone:\n container_name: milvus-standalone\n image: milvusdb/milvus:v2.2.13\n command: [\"milvus\", \"run\", \"standalone\"]\n environment:\n ETCD_ENDPOINTS: etcd:2379\n MINIO_ADDRESS: minio:9000\n volumes:\n - /local/path/to/your/milvus.yaml:/milvus/configs/milvus.yaml # Map the local path to the container path\n - ${DOCKER_VOLUME_DIRECTORY:-.}/volumes/milvus:/var/lib/milvus\n ports:\n - \"19530:19530\"\n - \"9091:9091\"\n depends_on:\n - \"etcd\"\n - \"minio\"\n...\n","$ sudo docker compose up -d\n"],"headingContent":"Configure Milvus with Docker Compose","anchorList":[{"label":"Configurare Milvus con Docker Compose","href":"Configure-Milvus-with-Docker-Compose","type":1,"isActive":false},{"label":"Scaricare un file di configurazione","href":"Download-a-configuration-file","type":2,"isActive":false},{"label":"Modificare il file di configurazione","href":"Modify-the-configuration-file","type":2,"isActive":false},{"label":"Scaricare un file di installazione","href":"Download-an-installation-file","type":2,"isActive":false},{"label":"Modificare il file di installazione","href":"Modify-the-installation-file","type":2,"isActive":false},{"label":"Avviare Milvus","href":"Start-Milvus","type":2,"isActive":false},{"label":"Cosa succede dopo","href":"Whats-next","type":2,"isActive":false}]} \ No newline at end of file +{"codeList":["$ wget https://raw.githubusercontent.com/milvus-io/milvus/v2.4.17/configs/milvus.yaml\n","# For Milvus standalone\n$ wget https://github.com/milvus-io/milvus/releases/download/v2.4.17/milvus-standalone-docker-compose.yml -O docker-compose.yml\n","...\n standalone:\n container_name: milvus-standalone\n image: milvusdb/milvus:v2.2.13\n command: [\"milvus\", \"run\", \"standalone\"]\n environment:\n ETCD_ENDPOINTS: etcd:2379\n MINIO_ADDRESS: minio:9000\n volumes:\n - /local/path/to/your/milvus.yaml:/milvus/configs/milvus.yaml # Map the local path to the container path\n - ${DOCKER_VOLUME_DIRECTORY:-.}/volumes/milvus:/var/lib/milvus\n ports:\n - \"19530:19530\"\n - \"9091:9091\"\n depends_on:\n - \"etcd\"\n - \"minio\"\n...\n","$ sudo docker compose up -d\n"],"headingContent":"Configure Milvus with Docker Compose","anchorList":[{"label":"Configurare Milvus con Docker Compose","href":"Configure-Milvus-with-Docker-Compose","type":1,"isActive":false},{"label":"Scaricare un file di configurazione","href":"Download-a-configuration-file","type":2,"isActive":false},{"label":"Modificare il file di configurazione","href":"Modify-the-configuration-file","type":2,"isActive":false},{"label":"Scaricare un file di installazione","href":"Download-an-installation-file","type":2,"isActive":false},{"label":"Modificare il file di installazione","href":"Modify-the-installation-file","type":2,"isActive":false},{"label":"Avviare Milvus","href":"Start-Milvus","type":2,"isActive":false},{"label":"Cosa succede dopo","href":"Whats-next","type":2,"isActive":false}]} \ No newline at end of file diff --git a/localization/v2.4.x/site/it/adminGuide/configure-docker.md b/localization/v2.4.x/site/it/adminGuide/configure-docker.md index 63f4460d4..06fe49300 100644 --- a/localization/v2.4.x/site/it/adminGuide/configure-docker.md +++ b/localization/v2.4.x/site/it/adminGuide/configure-docker.md @@ -38,8 +38,8 @@ Nella versione attuale, tutti i parametri hanno effetto solo dopo il riavvio di d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z" > -

                                                                                                                    Scaricare milvus.yaml direttamente o con il seguente comando.

                                                                                                                    -
                                                                                                                    $ wget https://raw.githubusercontent.com/milvus-io/milvus/v2.4.15/configs/milvus.yaml
                                                                                                                    +    

                                                                                                                    Scaricare milvus.yaml direttamente o con il seguente comando.

                                                                                                                    +
                                                                                                                    $ wget https://raw.githubusercontent.com/milvus-io/milvus/v2.4.17/configs/milvus.yaml
                                                                                                                     

                                                                                                                    Modificare il file di configurazione

                                                                                                                    Scaricate il file di installazione di Milvus standalone e salvatelo come docker-compose.yml.

                                                                                                                    +

                                                                                                                    Scaricate il file di installazione di Milvus standalone e salvatelo come docker-compose.yml.

                                                                                                                    È anche possibile eseguire semplicemente il seguente comando.

                                                                                                                    # For Milvus standalone
                                                                                                                    -$ wget https://github.com/milvus-io/milvus/releases/download/v2.4.15/milvus-standalone-docker-compose.yml -O docker-compose.yml
                                                                                                                    +$ wget https://github.com/milvus-io/milvus/releases/download/v2.4.17/milvus-standalone-docker-compose.yml -O docker-compose.yml
                                                                                                                     

                                                                                                                    Modificare il file di installazione

                                                                                                                    Questo argomento descrive come aggiornare Milvus utilizzando Docker Compose.

                                                                                                                    -

                                                                                                                    In casi normali, è possibile aggiornare Milvus cambiando la sua immagine. Tuttavia, è necessario migrare i metadati prima di qualsiasi aggiornamento dalla versione v2.1.x alla versione v2.4.15.

                                                                                                                    +

                                                                                                                    In casi normali, è possibile aggiornare Milvus cambiando la sua immagine. Tuttavia, è necessario migrare i metadati prima di effettuare l'aggiornamento dalla versione v2.1.x alla versione v2.4.17.

                                                                                                                    Aggiornare Milvus cambiando l'immagine

                                                                                                                  • Eseguire i seguenti comandi per eseguire l'aggiornamento.

                                                                                                                    docker compose down
                                                                                                                    @@ -105,7 +105,7 @@ cmd:
                                                                                                                       runWithBackup: true
                                                                                                                     config:
                                                                                                                       sourceVersion: 2.1.4   # Specify your milvus version
                                                                                                                    -  targetVersion: 2.4.15
                                                                                                                    +  targetVersion: 2.4.17
                                                                                                                       backupFilePath: /tmp/migration.bak
                                                                                                                     metastore:
                                                                                                                       type: etcd
                                                                                                                    diff --git a/localization/v2.4.x/site/it/adminGuide/upgrade_milvus_cluster-helm.json b/localization/v2.4.x/site/it/adminGuide/upgrade_milvus_cluster-helm.json
                                                                                                                    index 21242b37b..ea2e364ce 100644
                                                                                                                    --- a/localization/v2.4.x/site/it/adminGuide/upgrade_milvus_cluster-helm.json
                                                                                                                    +++ b/localization/v2.4.x/site/it/adminGuide/upgrade_milvus_cluster-helm.json
                                                                                                                    @@ -1 +1 @@
                                                                                                                    -{"codeList":["$ helm repo update\n$ helm search repo zilliztech/milvus --versions\n","helm repo add zilliztech https://zilliztech.github.io/milvus-helm\nhelm repo update\n# upgrade existing helm release\nhelm upgrade my-release zilliztech/milvus\n","NAME                    CHART VERSION   APP VERSION             DESCRIPTION                                       \nzilliztech/milvus       4.1.34          2.4.5                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.33          2.4.4                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.32          2.4.3                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.31          2.4.1                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.30          2.4.1                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.29          2.4.0                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.24          2.3.11                  Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.23          2.3.10                  Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.22          2.3.10                  Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.21          2.3.10                  Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.20          2.3.10                  Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.18          2.3.10                  Milvus is an open-source vector database built ... \nzilliztech/milvus       4.1.18          2.3.9                   Milvus is an open-source vector database built ...                                       \nzilliztech/milvus       4.1.17          2.3.8                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.16          2.3.7                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.15          2.3.5                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.14          2.3.6                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.13          2.3.5                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.12          2.3.5                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.11          2.3.4                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.10          2.3.3                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.9           2.3.3                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.8           2.3.2                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.7           2.3.2                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.6           2.3.1                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.5           2.3.1                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.4           2.3.1                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.3           2.3.1                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.2           2.3.1                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.1           2.3.0                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.0           2.3.0                   Milvus is an open-source vector database built ...\n","sh rollingUpdate.sh -n default -i my-release -o update -t 2.4.15 -w 'milvusdb/milvus:v2.4.15'\n","helm repo update\nhelm upgrade my-release zilliztech/milvus --reuse-values --version=4.1.24 # use the helm chart version here\n","NAME                NAMESPACE   REVISION    UPDATED                                 STATUS      CHART           APP VERSION    \nnew-release         default     1           2022-11-21 15:41:25.51539 +0800 CST     deployed    milvus-3.2.18   2.1.4 \n","NAME                                             READY   STATUS      RESTARTS   AGE\nmy-release-etcd-0                               1/1     Running     0          21m\nmy-release-etcd-1                               1/1     Running     0          21m\nmy-release-etcd-2                               1/1     Running     0          21m\nmy-release-milvus-datacoord-664c58798d-fl75s    1/1     Running     0          21m\nmy-release-milvus-datanode-5f75686c55-xfg2r     1/1     Running     0          21m\nmy-release-milvus-indexcoord-5f98b97589-2l48r   1/1     Running     0          21m\nmy-release-milvus-indexnode-857b4ddf98-vmd75    1/1     Running     0          21m\nmy-release-milvus-proxy-6c548f787f-scspp        1/1     Running     0          21m\nmy-release-milvus-querycoord-c454f44cd-dwmwq    1/1     Running     0          21m\nmy-release-milvus-querynode-76bb4946d-lbrz6     1/1     Running     0          21m\nmy-release-milvus-rootcoord-7764c5b686-62msm    1/1     Running     0          21m\nmy-release-minio-0                              1/1     Running     0          21m\nmy-release-minio-1                              1/1     Running     0          21m\nmy-release-minio-2                              1/1     Running     0          21m\nmy-release-minio-3                              1/1     Running     0          21m\nmy-release-pulsar-bookie-0                      1/1     Running     0          21m\nmy-release-pulsar-bookie-1                      1/1     Running     0          21m\nmy-release-pulsar-bookie-2                      1/1     Running     0          21m\nmy-release-pulsar-bookie-init-tjxpj             0/1     Completed   0          21m\nmy-release-pulsar-broker-0                      1/1     Running     0          21m\nmy-release-pulsar-proxy-0                       1/1     Running     0          21m\nmy-release-pulsar-pulsar-init-c8vvc             0/1     Completed   0          21m\nmy-release-pulsar-recovery-0                    1/1     Running     0          21m\nmy-release-pulsar-zookeeper-0                   1/1     Running     0          21m\nmy-release-pulsar-zookeeper-1                   1/1     Running     0          20m\nmy-release-pulsar-zookeeper-2                   1/1     Running     0          20m\n","$ kubectl get pods my-release-milvus-proxy-6c548f787f-scspp -o=jsonpath='{$.spec.containers[0].image}'\n# milvusdb/milvus:v2.1.4\n","./migrate.sh -i my-release -s 2.1.4 -t 2.2.0\n","./migrate.sh -i my-release -n milvus -s 2.1.4 -t 2.2.0\n","./migrate.sh -i my-release -n milvus -s 2.1.4 -t 2.2.0 -r by-dev\n","./migrate.sh -i my-release -n milvus -s 2.1.4 -t 2.2.0 -r by-dev -w milvusdb/milvus:v2.2.0\n","./migrate.sh -i my-release -n milvus -s 2.1.4 -t 2.2.0 -w milvusdb/milvus:v2.2.0 -d true\n","./migrate.sh -i my-release -n milvus -s 2.1.4 -t 2.2.0 -r by-dev -o rollback -w milvusdb/milvus:v2.1.4\n./migrate.sh -i my-release -n milvus -s 2.1.4 -t 2.2.0 -r by-dev -o migrate -w milvusdb/milvus:v2.2.0\n"],"headingContent":"Upgrade Milvus Cluster with Helm Chart","anchorList":[{"label":"Aggiornamento del cluster Milvus con i grafici Helm","href":"Upgrade-Milvus-Cluster-with-Helm-Chart","type":1,"isActive":false},{"label":"Controllare i grafici di Milvus Helm","href":"Check-Milvus-Helm-Chart","type":2,"isActive":false},{"label":"Eseguire un aggiornamento continuo","href":"Conduct-a-rolling-upgrade","type":2,"isActive":false},{"label":"Aggiornare Milvus con Helm","href":"Upgrade-Milvus-using-Helm","type":2,"isActive":false},{"label":"Migrazione dei metadati","href":"Migrate-the-metadata","type":2,"isActive":false}]}
                                                                                                                    \ No newline at end of file
                                                                                                                    +{"codeList":["$ helm repo update zilliztech\n$ helm search repo zilliztech/milvus --versions\n","helm repo add zilliztech https://zilliztech.github.io/milvus-helm\nhelm repo update\n# upgrade existing helm release\nhelm upgrade my-release zilliztech/milvus --reset-then-reuse-values\n","NAME                    CHART VERSION   APP VERSION             DESCRIPTION                                       \nzilliztech/milvus       4.1.34          2.4.5                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.33          2.4.4                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.32          2.4.3                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.31          2.4.1                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.30          2.4.1                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.29          2.4.0                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.24          2.3.11                  Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.23          2.3.10                  Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.22          2.3.10                  Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.21          2.3.10                  Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.20          2.3.10                  Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.18          2.3.10                  Milvus is an open-source vector database built ... \nzilliztech/milvus       4.1.18          2.3.9                   Milvus is an open-source vector database built ...                                       \nzilliztech/milvus       4.1.17          2.3.8                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.16          2.3.7                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.15          2.3.5                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.14          2.3.6                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.13          2.3.5                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.12          2.3.5                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.11          2.3.4                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.10          2.3.3                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.9           2.3.3                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.8           2.3.2                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.7           2.3.2                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.6           2.3.1                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.5           2.3.1                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.4           2.3.1                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.3           2.3.1                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.2           2.3.1                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.1           2.3.0                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.0           2.3.0                   Milvus is an open-source vector database built ...\n","sh rollingUpdate.sh -n default -i my-release -o update -t 2.4.17 -w 'milvusdb/milvus:v2.4.17'\n","helm repo update zilliztech\nhelm upgrade my-release zilliztech/milvus --reset-then-reuse-values --version=4.1.24 # use the helm chart version here\n","NAME                NAMESPACE   REVISION    UPDATED                                 STATUS      CHART           APP VERSION    \nnew-release         default     1           2022-11-21 15:41:25.51539 +0800 CST     deployed    milvus-3.2.18   2.1.4 \n","NAME                                             READY   STATUS      RESTARTS   AGE\nmy-release-etcd-0                               1/1     Running     0          21m\nmy-release-etcd-1                               1/1     Running     0          21m\nmy-release-etcd-2                               1/1     Running     0          21m\nmy-release-milvus-datacoord-664c58798d-fl75s    1/1     Running     0          21m\nmy-release-milvus-datanode-5f75686c55-xfg2r     1/1     Running     0          21m\nmy-release-milvus-indexcoord-5f98b97589-2l48r   1/1     Running     0          21m\nmy-release-milvus-indexnode-857b4ddf98-vmd75    1/1     Running     0          21m\nmy-release-milvus-proxy-6c548f787f-scspp        1/1     Running     0          21m\nmy-release-milvus-querycoord-c454f44cd-dwmwq    1/1     Running     0          21m\nmy-release-milvus-querynode-76bb4946d-lbrz6     1/1     Running     0          21m\nmy-release-milvus-rootcoord-7764c5b686-62msm    1/1     Running     0          21m\nmy-release-minio-0                              1/1     Running     0          21m\nmy-release-minio-1                              1/1     Running     0          21m\nmy-release-minio-2                              1/1     Running     0          21m\nmy-release-minio-3                              1/1     Running     0          21m\nmy-release-pulsar-bookie-0                      1/1     Running     0          21m\nmy-release-pulsar-bookie-1                      1/1     Running     0          21m\nmy-release-pulsar-bookie-2                      1/1     Running     0          21m\nmy-release-pulsar-bookie-init-tjxpj             0/1     Completed   0          21m\nmy-release-pulsar-broker-0                      1/1     Running     0          21m\nmy-release-pulsar-proxy-0                       1/1     Running     0          21m\nmy-release-pulsar-pulsar-init-c8vvc             0/1     Completed   0          21m\nmy-release-pulsar-recovery-0                    1/1     Running     0          21m\nmy-release-pulsar-zookeeper-0                   1/1     Running     0          21m\nmy-release-pulsar-zookeeper-1                   1/1     Running     0          20m\nmy-release-pulsar-zookeeper-2                   1/1     Running     0          20m\n","$ kubectl get pods my-release-milvus-proxy-6c548f787f-scspp -o=jsonpath='{$.spec.containers[0].image}'\n# milvusdb/milvus:v2.1.4\n","./migrate.sh -i my-release -s 2.1.4 -t 2.2.0\n","./migrate.sh -i my-release -n milvus -s 2.1.4 -t 2.2.0\n","./migrate.sh -i my-release -n milvus -s 2.1.4 -t 2.2.0 -r by-dev\n","./migrate.sh -i my-release -n milvus -s 2.1.4 -t 2.2.0 -r by-dev -w milvusdb/milvus:v2.2.0\n","./migrate.sh -i my-release -n milvus -s 2.1.4 -t 2.2.0 -w milvusdb/milvus:v2.2.0 -d true\n","./migrate.sh -i my-release -n milvus -s 2.1.4 -t 2.2.0 -r by-dev -o rollback -w milvusdb/milvus:v2.1.4\n./migrate.sh -i my-release -n milvus -s 2.1.4 -t 2.2.0 -r by-dev -o migrate -w milvusdb/milvus:v2.2.0\n"],"headingContent":"Upgrade Milvus Cluster with Helm Chart","anchorList":[{"label":"Aggiornamento del cluster Milvus con i grafici Helm","href":"Upgrade-Milvus-Cluster-with-Helm-Chart","type":1,"isActive":false},{"label":"Prerequisiti","href":"Prerequisites","type":2,"isActive":false},{"label":"Controllare la carta di Milvus Helm","href":"Check-Milvus-Helm-Chart","type":2,"isActive":false},{"label":"Eseguire un aggiornamento continuo","href":"Conduct-a-rolling-upgrade","type":2,"isActive":false},{"label":"Aggiornare Milvus con Helm","href":"Upgrade-Milvus-using-Helm","type":2,"isActive":false},{"label":"Migrazione dei metadati","href":"Migrate-the-metadata","type":2,"isActive":false}]}
                                                                                                                    \ No newline at end of file
                                                                                                                    diff --git a/localization/v2.4.x/site/it/adminGuide/upgrade_milvus_cluster-helm.md b/localization/v2.4.x/site/it/adminGuide/upgrade_milvus_cluster-helm.md
                                                                                                                    index d0f82484c..b3929c5b7 100644
                                                                                                                    --- a/localization/v2.4.x/site/it/adminGuide/upgrade_milvus_cluster-helm.md
                                                                                                                    +++ b/localization/v2.4.x/site/it/adminGuide/upgrade_milvus_cluster-helm.md
                                                                                                                    @@ -24,7 +24,29 @@ title: Aggiornamento del cluster Milvus con i grafici Helm
                                                                                                                             >
                                                                                                                           
                                                                                                                         

                                                                                                                    Questa guida descrive come aggiornare il cluster Milvus con i grafici Milvus Helm.

                                                                                                                    -

                                                                                                                    Controllare i grafici di Milvus Helm

                                                                                                                      +
                                                                                                                    • Versione di Helm >= 3.14.0
                                                                                                                    • +
                                                                                                                    • Versione di Kubernetes >= 1.20.0
                                                                                                                    • +
                                                                                                                    +
                                                                                                                    +

                                                                                                                    Dalla versione 4.2.21 del grafico Milvus-Helm, abbiamo introdotto il grafico pulsar-v3.x come dipendenza. Per la retrocompatibilità, aggiornare helm alla versione 3.14 o successiva e assicurarsi di aggiungere l'opzione --reset-then-reuse-values ogni volta che si utilizza helm upgrade.

                                                                                                                    +
                                                                                                                    +

                                                                                                                    Controllare la carta di Milvus Helm

                                                                                                                    Eseguite i seguenti comandi per verificare le nuove versioni di Milvus.

                                                                                                                    -
                                                                                                                    $ helm repo update
                                                                                                                    +
                                                                                                                    $ helm repo update zilliztech
                                                                                                                     $ helm search repo zilliztech/milvus --versions
                                                                                                                     
                                                                                                                    @@ -48,7 +70,7 @@ $ helm search repo zilliztech/milvus --versions
                                                                                                                    helm repo add zilliztech https://zilliztech.github.io/milvus-helm
                                                                                                                     helm repo update
                                                                                                                     # upgrade existing helm release
                                                                                                                    -helm upgrade my-release zilliztech/milvus
                                                                                                                    +helm upgrade my-release zilliztech/milvus --reset-then-reuse-values
                                                                                                                     

                                                                                                                    Il repo archiviato è ancora disponibile per i grafici fino alla versione 4.0.31. Per le versioni successive, utilizzare invece il nuovo repo.

                                                                                                                    @@ -86,10 +108,10 @@ zilliztech/milvus 4.1.1 2.3.0 Milvus is an ope zilliztech/milvus 4.1.0 2.3.0 Milvus is an open-source vector database built ...

                                                                                                                    È possibile scegliere il percorso di aggiornamento per il proprio Milvus come segue:

                                                                                                                    -
                                                                                                                    - Eseguire un aggiornamento continuo](#conduct-a-rolling-upgrade) da Milvus v2.2.3 e versioni successive a v2.4.15.
                                                                                                                    +
                                                                                                                    - Eseguire un aggiornamento continuo](#conduct-a-rolling-upgrade) da Milvus v2.2.3 e versioni successive a v2.4.17.

                                                                                                                    Eseguire un aggiornamento continuo

                                                                                                                  • oOperazioneupdateFalso
                                                                                                                    -

                                                                                                                    Dopo essersi assicurati che tutte le installazioni nella vostra istanza Milvus siano nello stato normale. È possibile eseguire il comando seguente per aggiornare l'istanza Milvus alla versione 2.4.15.

                                                                                                                    -
                                                                                                                    sh rollingUpdate.sh -n default -i my-release -o update -t 2.4.15 -w 'milvusdb/milvus:v2.4.15'
                                                                                                                    +

                                                                                                                    Dopo essersi assicurati che tutte le installazioni nella vostra istanza Milvus siano nello stato normale. È possibile eseguire il seguente comando per aggiornare l'istanza Milvus alla versione 2.4.17.

                                                                                                                    +
                                                                                                                    sh rollingUpdate.sh -n default -i my-release -o update -t 2.4.17 -w 'milvusdb/milvus:v2.4.17'
                                                                                                                     
                                                                                                                      @@ -150,8 +172,8 @@ zilliztech/milvus 4.1.0 2.3.0 Milvus is an ope >

                                                                                                                      Per aggiornare Milvus da una versione minore precedente alla v2.2.3 alla più recente, eseguire i seguenti comandi:

                                                                                                                      -
                                                                                                                      helm repo update
                                                                                                                      -helm upgrade my-release zilliztech/milvus --reuse-values --version=4.1.24 # use the helm chart version here
                                                                                                                      +
                                                                                                                      helm repo update zilliztech
                                                                                                                      +helm upgrade my-release zilliztech/milvus --reset-then-reuse-values --version=4.1.24 # use the helm chart version here
                                                                                                                       

                                                                                                                      Utilizzare la versione del grafico Helm nel comando precedente. Per i dettagli su come ottenere la versione del grafico di Helm, fare riferimento a Controllare la versione di Milvus.

                                                                                                                      Migrazione dei metadati

                                                                                                                      A partire da Milvus 2.2.0, i metadati sono incompatibili con quelli delle versioni precedenti. Gli esempi seguenti presuppongono un aggiornamento da Milvus 2.1.4 a Milvus 2.2.0.

                                                                                                                      +

                                                                                                                      A partire da Milvus 2.2.0, i metadati sono incompatibili con quelli delle versioni precedenti. I seguenti esempi ipotizzano un aggiornamento da Milvus 2.1.4 a Milvus 2.2.0.

                                                                                                                      1. Controllare la versione di Milvus

                                                                                                                      Eseguire $ helm list per verificare la versione dell'applicazione Milvus. Si può notare che APP VERSION è 2.1.4.

                                                                                                                      NAME                NAMESPACE   REVISION    UPDATED                                 STATUS      CHART           APP VERSION    
                                                                                                                       new-release         default     1           2022-11-21 15:41:25.51539 +0800 CST     deployed    milvus-3.2.18   2.1.4 
                                                                                                                      @@ -203,7 +225,7 @@ my-release-pulsar-zookeeper-0
                                                                                                                       my-release-pulsar-zookeeper-1                   1/1     Running     0          20m
                                                                                                                       my-release-pulsar-zookeeper-2                   1/1     Running     0          20m
                                                                                                                       
                                                                                                                      -

                                                                                                                      3. Controllare il tag immagine

                                                                                                                      Controllare il tag image per il pod my-release-milvus-proxy-6c548f787f-scspp. Si può vedere che la release del cluster Milvus è v2.1.4.

                                                                                                                      +

                                                                                                                      3. Controllare il tag immagine

                                                                                                                      Controllare il tag image per il pod my-release-milvus-proxy-6c548f787f-scspp. È possibile vedere che la release del cluster Milvus è v2.1.4.

                                                                                                                      $ kubectl get pods my-release-milvus-proxy-6c548f787f-scspp -o=jsonpath='{$.spec.containers[0].image}'
                                                                                                                       # milvusdb/milvus:v2.1.4
                                                                                                                       
                                                                                                                      diff --git a/localization/v2.4.x/site/it/adminGuide/upgrade_milvus_cluster-operator.json b/localization/v2.4.x/site/it/adminGuide/upgrade_milvus_cluster-operator.json index 6c318206e..220ef021d 100644 --- a/localization/v2.4.x/site/it/adminGuide/upgrade_milvus_cluster-operator.json +++ b/localization/v2.4.x/site/it/adminGuide/upgrade_milvus_cluster-operator.json @@ -1 +1 @@ -{"codeList":["helm repo add zilliztech-milvus-operator https://zilliztech.github.io/milvus-operator/\nhelm repo update zilliztech-milvus-operator\nhelm -n milvus-operator upgrade milvus-operator zilliztech-milvus-operator/milvus-operator\n","apiVersion: milvus.io/v1beta1\nkind: Milvus\nmetadata:\n name: my-release\nspec:\n components:\n enableRollingUpdate: true\n imageUpdateMode: rollingUpgrade # Default value, can be omitted\n image: milvusdb/milvus:v2.4.15\n","apiVersion: milvus.io/v1beta1\nkind: Milvus\nmetadata:\n name: my-release\nspec:\n components:\n enableRollingUpdate: true\n imageUpdateMode: all\n image: milvusdb/milvus:v2.4.15\n","apiVersion: milvus.io/v1beta1\nkind: Milvus\nmetadata:\n name: my-release\nspec:\n components:\n enableRollingUpdate: true\n imageUpdateMode: rollingDowngrade\n image: milvusdb/milvus:\n","kubectl apply -f milvusupgrade.yml\n","apiVersion: milvus.io/v1beta1\nkind: Milvus\nmetadata:\n name: my-release\nspec:\n # Omit other fields ...\n components:\n image: milvusdb/milvus:v2.4.15\n","kubectl apply -f milvusupgrade.yaml\n","apiVersion: milvus.io/v1beta1\nkind: MilvusUpgrade\nmetadata:\n name: my-release-upgrade\nspec:\n milvus:\n namespace: default\n name: my-release\n sourceVersion: \"v2.1.4\"\n targetVersion: \"v2.4.15\"\n # below are some omit default values:\n # targetImage: \"milvusdb/milvus:v2.4.15\"\n # toolImage: \"milvusdb/meta-migration:v2.2.0\"\n # operation: upgrade\n # rollbackIfFailed: true\n # backupPVC: \"\"\n # maxRetry: 3\n","$ kubectl apply -f https://github.com/zilliztech/milvus-operator/blob/main/config/samples/beta/milvusupgrade.yaml\n","kubectl describe milvus release-name\n"],"headingContent":"Upgrade Milvus Cluster with Milvus Operator","anchorList":[{"label":"Aggiornamento del cluster Milvus con Milvus Operator","href":"Upgrade-Milvus-Cluster-with-Milvus-Operator","type":1,"isActive":false},{"label":"Aggiornare l'operatore Milvus","href":"Upgrade-your-Milvus-operator","type":2,"isActive":false},{"label":"Eseguire un aggiornamento continuo","href":"Conduct-a-rolling-upgrade","type":2,"isActive":false},{"label":"Aggiornare Milvus cambiando l'immagine","href":"Upgrade-Milvus-by-changing-its-image","type":2,"isActive":false},{"label":"Migrare i metadati","href":"Migrate-the-metadata","type":2,"isActive":false}]} \ No newline at end of file +{"codeList":["helm repo add zilliztech-milvus-operator https://zilliztech.github.io/milvus-operator/\nhelm repo update zilliztech-milvus-operator\nhelm -n milvus-operator upgrade milvus-operator zilliztech-milvus-operator/milvus-operator\n","apiVersion: milvus.io/v1beta1\nkind: Milvus\nmetadata:\n name: my-release\nspec:\n components:\n enableRollingUpdate: true\n imageUpdateMode: rollingUpgrade # Default value, can be omitted\n image: milvusdb/milvus:v2.4.17\n","apiVersion: milvus.io/v1beta1\nkind: Milvus\nmetadata:\n name: my-release\nspec:\n components:\n enableRollingUpdate: true\n imageUpdateMode: all\n image: milvusdb/milvus:v2.4.17\n","apiVersion: milvus.io/v1beta1\nkind: Milvus\nmetadata:\n name: my-release\nspec:\n components:\n enableRollingUpdate: true\n imageUpdateMode: rollingDowngrade\n image: milvusdb/milvus:\n","kubectl patch -f milvusupgrade.yml\n","apiVersion: milvus.io/v1beta1\nkind: Milvus\nmetadata:\n name: my-release\nspec:\n # Omit other fields ...\n components:\n image: milvusdb/milvus:v2.4.17\n","kubectl patch -f milvusupgrade.yaml\n","apiVersion: milvus.io/v1beta1\nkind: MilvusUpgrade\nmetadata:\n name: my-release-upgrade\nspec:\n milvus:\n namespace: default\n name: my-release\n sourceVersion: \"v2.1.4\"\n targetVersion: \"v2.4.17\"\n # below are some omit default values:\n # targetImage: \"milvusdb/milvus:v2.4.17\"\n # toolImage: \"milvusdb/meta-migration:v2.2.0\"\n # operation: upgrade\n # rollbackIfFailed: true\n # backupPVC: \"\"\n # maxRetry: 3\n","$ kubectl create -f https://github.com/zilliztech/milvus-operator/blob/main/config/samples/beta/milvusupgrade.yaml\n","kubectl describe milvus release-name\n"],"headingContent":"Upgrade Milvus Cluster with Milvus Operator","anchorList":[{"label":"Aggiornamento del cluster Milvus con Milvus Operator","href":"Upgrade-Milvus-Cluster-with-Milvus-Operator","type":1,"isActive":false},{"label":"Aggiornare l'operatore Milvus","href":"Upgrade-your-Milvus-operator","type":2,"isActive":false},{"label":"Eseguire un aggiornamento continuo","href":"Conduct-a-rolling-upgrade","type":2,"isActive":false},{"label":"Aggiornare Milvus cambiando la sua immagine","href":"Upgrade-Milvus-by-changing-its-image","type":2,"isActive":false},{"label":"Migrare i metadati","href":"Migrate-the-metadata","type":2,"isActive":false}]} \ No newline at end of file diff --git a/localization/v2.4.x/site/it/adminGuide/upgrade_milvus_cluster-operator.md b/localization/v2.4.x/site/it/adminGuide/upgrade_milvus_cluster-operator.md index 50569b439..dee121274 100644 --- a/localization/v2.4.x/site/it/adminGuide/upgrade_milvus_cluster-operator.md +++ b/localization/v2.4.x/site/it/adminGuide/upgrade_milvus_cluster-operator.md @@ -46,9 +46,9 @@ helm -n milvus-operator upgrade milvus-

                                                                                                                      Una volta aggiornato l'operatore Milvus alla versione più recente, avete le seguenti possibilità:

                                                                                                                      Eseguire un aggiornamento continuo

                                                                                                                      A partire da Milvus 2.2.3, è possibile configurare i coordinatori di Milvus in modo che lavorino in modalità active-standby e attivare la funzione di aggiornamento continuo per loro, in modo che Milvus possa rispondere alle richieste in arrivo durante gli aggiornamenti dei coordinatori. Nelle versioni precedenti, i coordinatori dovevano essere rimossi e poi creati durante un aggiornamento, il che poteva comportare alcuni tempi di inattività del servizio.

                                                                                                                      +

                                                                                                                      A partire da Milvus 2.2.3, è possibile configurare i coordinatori di Milvus per lavorare in modalità active-standby e abilitare la funzione di aggiornamento continuo per loro, in modo che Milvus possa rispondere alle richieste in arrivo durante gli aggiornamenti dei coordinatori. Nelle versioni precedenti, i coordinatori dovevano essere rimossi e poi creati durante un aggiornamento, il che poteva comportare alcuni tempi di inattività del servizio.

                                                                                                                      Basandosi sulle funzionalità di aggiornamento continuo fornite da Kubernetes, il gestore di Milvus impone un aggiornamento ordinato delle distribuzioni in base alle loro dipendenze. Inoltre, Milvus implementa un meccanismo per garantire che i suoi componenti rimangano compatibili con quelli che dipendono da loro durante l'aggiornamento, riducendo in modo significativo il potenziale downtime del servizio.

                                                                                                                      La funzione di aggiornamento continuo è disabilitata per impostazione predefinita. È necessario abilitarla esplicitamente attraverso un file di configurazione.

                                                                                                                      apiVersion: milvus.io/v1beta1
                                                                                                                      @@ -76,7 +76,7 @@ spec:
                                                                                                                         components:
                                                                                                                           enableRollingUpdate: true
                                                                                                                           imageUpdateMode: rollingUpgrade # Default value, can be omitted
                                                                                                                      -    image: milvusdb/milvus:v2.4.15
                                                                                                                      +    image: milvusdb/milvus:v2.4.17
                                                                                                                       

                                                                                                                      In questo file di configurazione, impostare spec.components.enableRollingUpdate su true e spec.components.image sulla versione di Milvus desiderata.

                                                                                                                      Per impostazione predefinita, Milvus esegue l'aggiornamento continuo dei coordinatori in modo ordinato, sostituendo le immagini dei pod dei coordinatori una dopo l'altra. Per ridurre il tempo di aggiornamento, si può impostare spec.components.imageUpdateMode su all, in modo che Milvus sostituisca tutte le immagini dei pod nello stesso momento.

                                                                                                                      @@ -88,7 +88,7 @@ spec: components: enableRollingUpdate: true imageUpdateMode: all - image: milvusdb/milvus:v2.4.15 + image: milvusdb/milvus:v2.4.17

                                                                                                                    Si può impostare spec.components.imageUpdateMode su rollingDowngrade per far sì che Milvus sostituisca le immagini dei pod coordinatori con una versione inferiore.

                                                                                                                    apiVersion: milvus.io/v1beta1
                                                                                                                    @@ -101,10 +101,10 @@ spec:
                                                                                                                         imageUpdateMode: rollingDowngrade
                                                                                                                         image: milvusdb/milvus:<some-old-version>
                                                                                                                     
                                                                                                                    -

                                                                                                                    Salvare quindi la configurazione in un file YAML (ad esempio, milvusupgrade.yml) e applicare questo file di configurazione alla propria istanza Milvus come segue:

                                                                                                                    -
                                                                                                                    kubectl apply -f milvusupgrade.yml
                                                                                                                    +

                                                                                                                    Salvare quindi la configurazione in un file YAML (ad esempio, milvusupgrade.yml) e applicare il file di configurazione alla propria istanza Milvus come segue:

                                                                                                                    +
                                                                                                                    kubectl patch -f milvusupgrade.yml
                                                                                                                     
                                                                                                                    -

                                                                                                                    Aggiornare Milvus cambiando l'immagine

                                                                                                                    Eseguire quindi quanto segue per eseguire l'aggiornamento:

                                                                                                                    -
                                                                                                                    kubectl apply -f milvusupgrade.yaml
                                                                                                                    +
                                                                                                                    kubectl patch -f milvusupgrade.yaml
                                                                                                                     

                                                                                                                    Migrare i metadati

                                                                                                                    A partire da Milvus 2.2.0, i metadati sono incompatibili con quelli delle versioni precedenti. I seguenti esempi ipotizzano un aggiornamento da Milvus 2.1.4 a Milvus 2.4.15.

                                                                                                                    -

                                                                                                                    1. Creare un file .yaml per la migrazione dei metadati

                                                                                                                    Creare un file di migrazione dei metadati. Il seguente è un esempio. È necessario specificare i file name, sourceVersion e targetVersion nel file di configurazione. L'esempio seguente imposta name su my-release-upgrade, sourceVersion su v2.1.4 e targetVersion su v2.4.15. Ciò significa che il cluster Milvus verrà aggiornato dalla v2.1.4 alla v2.4.15.

                                                                                                                    +

                                                                                                                    A partire da Milvus 2.2.0, i metadati sono incompatibili con quelli delle versioni precedenti. I seguenti esempi presuppongono un aggiornamento da Milvus 2.1.4 a Milvus 2.4.17.

                                                                                                                    +

                                                                                                                    1. Creare un file .yaml per la migrazione dei metadati

                                                                                                                    Creare un file di migrazione dei metadati. Il seguente è un esempio. È necessario specificare i file name, sourceVersion e targetVersion nel file di configurazione. L'esempio seguente imposta name su my-release-upgrade, sourceVersion su v2.1.4 e targetVersion su v2.4.17. Ciò significa che il cluster Milvus verrà aggiornato dalla versione 2.1.4 alla versione 2.4.17.

                                                                                                                    apiVersion: milvus.io/v1beta1
                                                                                                                     kind: MilvusUpgrade
                                                                                                                     metadata:
                                                                                                                    @@ -159,17 +159,17 @@ spec:
                                                                                                                         namespace: default
                                                                                                                         name: my-release
                                                                                                                       sourceVersion: "v2.1.4"
                                                                                                                    -  targetVersion: "v2.4.15"
                                                                                                                    +  targetVersion: "v2.4.17"
                                                                                                                       # below are some omit default values:
                                                                                                                    -  # targetImage: "milvusdb/milvus:v2.4.15"
                                                                                                                    +  # targetImage: "milvusdb/milvus:v2.4.17"
                                                                                                                       # toolImage: "milvusdb/meta-migration:v2.2.0"
                                                                                                                       # operation: upgrade
                                                                                                                       # rollbackIfFailed: true
                                                                                                                       # backupPVC: ""
                                                                                                                       # maxRetry: 3
                                                                                                                     
                                                                                                                    -

                                                                                                                    2. Applicare la nuova configurazione

                                                                                                                    Eseguite il seguente comando per applicare la nuova configurazione.

                                                                                                                    -
                                                                                                                    $ kubectl apply -f https://github.com/zilliztech/milvus-operator/blob/main/config/samples/beta/milvusupgrade.yaml
                                                                                                                    +

                                                                                                                    2. Applicare la nuova configurazione

                                                                                                                    Eseguite il seguente comando per creare la nuova configurazione.

                                                                                                                    +
                                                                                                                    $ kubectl create -f https://github.com/zilliztech/milvus-operator/blob/main/config/samples/beta/milvusupgrade.yaml
                                                                                                                     

                                                                                                                    3. Controllare lo stato della migrazione dei metadati

                                                                                                                    Eseguire il seguente comando per verificare lo stato della migrazione dei metadati.

                                                                                                                    kubectl describe milvus release-name
                                                                                                                    diff --git a/localization/v2.4.x/site/it/adminGuide/upgrade_milvus_standalone-docker.json b/localization/v2.4.x/site/it/adminGuide/upgrade_milvus_standalone-docker.json
                                                                                                                    index d6f22845c..6251f18a8 100644
                                                                                                                    --- a/localization/v2.4.x/site/it/adminGuide/upgrade_milvus_standalone-docker.json
                                                                                                                    +++ b/localization/v2.4.x/site/it/adminGuide/upgrade_milvus_standalone-docker.json
                                                                                                                    @@ -1 +1 @@
                                                                                                                    -{"codeList":["...\nstandalone:\n  container_name: milvus-standalone\n  image: milvusdb/milvus:v2.4.15\n","docker compose down\ndocker compose up -d\n","docker stop \n","# migration.yaml\ncmd:\n  # Option: run/backup/rollback\n  type: run\n  runWithBackup: true\nconfig:\n  sourceVersion: 2.1.4   # Specify your milvus version\n  targetVersion: 2.4.15\n  backupFilePath: /tmp/migration.bak\nmetastore:\n  type: etcd\netcd:\n  endpoints:\n    - milvus-etcd:2379  # Use the etcd container name\n  rootPath: by-dev # The root path where data is stored in etcd\n  metaSubPath: meta\n  kvSubPath: kv\n","# Suppose your docker-compose run with the default milvus network,\n# and you put migration.yaml in the same directory with docker-compose.yaml.\ndocker run --rm -it --network milvus -v $(pwd)/migration.yaml:/milvus/configs/migration.yaml milvusdb/meta-migration:v2.2.0 /milvus/bin/meta-migration -config=/milvus/configs/migration.yaml\n","// Run the following only after update the milvus image tag in the docker-compose.yaml\ndocker compose down\ndocker compose up -d\n"],"headingContent":"Upgrade Milvus Standalone with Docker Compose","anchorList":[{"label":"Aggiornamento di Milvus Standalone con Docker Compose","href":"Upgrade-Milvus-Standalone-with-Docker-Compose","type":1,"isActive":false},{"label":"Aggiornare Milvus cambiando l'immagine","href":"Upgrade-Milvus-by-changing-its-image","type":2,"isActive":false},{"label":"Migrare i metadati","href":"Migrate-the-metadata","type":2,"isActive":false},{"label":"Cosa fare dopo","href":"Whats-next","type":2,"isActive":false}]}
                                                                                                                    \ No newline at end of file
                                                                                                                    +{"codeList":["...\nstandalone:\n  container_name: milvus-standalone\n  image: milvusdb/milvus:v2.4.17\n","docker compose down\ndocker compose up -d\n","docker stop \n","# migration.yaml\ncmd:\n  # Option: run/backup/rollback\n  type: run\n  runWithBackup: true\nconfig:\n  sourceVersion: 2.1.4   # Specify your milvus version\n  targetVersion: 2.4.17\n  backupFilePath: /tmp/migration.bak\nmetastore:\n  type: etcd\netcd:\n  endpoints:\n    - milvus-etcd:2379  # Use the etcd container name\n  rootPath: by-dev # The root path where data is stored in etcd\n  metaSubPath: meta\n  kvSubPath: kv\n","# Suppose your docker-compose run with the default milvus network,\n# and you put migration.yaml in the same directory with docker-compose.yaml.\ndocker run --rm -it --network milvus -v $(pwd)/migration.yaml:/milvus/configs/migration.yaml milvusdb/meta-migration:v2.2.0 /milvus/bin/meta-migration -config=/milvus/configs/migration.yaml\n","// Run the following only after update the milvus image tag in the docker-compose.yaml\ndocker compose down\ndocker compose up -d\n"],"headingContent":"Upgrade Milvus Standalone with Docker Compose","anchorList":[{"label":"Aggiornamento di Milvus Standalone con Docker Compose","href":"Upgrade-Milvus-Standalone-with-Docker-Compose","type":1,"isActive":false},{"label":"Aggiornare Milvus cambiando l'immagine","href":"Upgrade-Milvus-by-changing-its-image","type":2,"isActive":false},{"label":"Migrare i metadati","href":"Migrate-the-metadata","type":2,"isActive":false},{"label":"Cosa fare dopo","href":"Whats-next","type":2,"isActive":false}]}
                                                                                                                    \ No newline at end of file
                                                                                                                    diff --git a/localization/v2.4.x/site/it/adminGuide/upgrade_milvus_standalone-docker.md b/localization/v2.4.x/site/it/adminGuide/upgrade_milvus_standalone-docker.md
                                                                                                                    index 9567b50d0..156205a8e 100644
                                                                                                                    --- a/localization/v2.4.x/site/it/adminGuide/upgrade_milvus_standalone-docker.md
                                                                                                                    +++ b/localization/v2.4.x/site/it/adminGuide/upgrade_milvus_standalone-docker.md
                                                                                                                    @@ -24,7 +24,7 @@ title: Aggiornamento di Milvus Standalone con Docker Compose
                                                                                                                             >
                                                                                                                           
                                                                                                                         

                                                                                                                    Questo argomento descrive come aggiornare Milvus utilizzando Docker Compose.

                                                                                                                    -

                                                                                                                    In casi normali, è possibile aggiornare Milvus cambiando l'immagine. Tuttavia, è necessario migrare i metadati prima di effettuare l'aggiornamento dalla versione v2.1.x alla versione v2.4.15.

                                                                                                                    +

                                                                                                                    In casi normali, è possibile aggiornare Milvus cambiando l'immagine. Tuttavia, è necessario migrare i metadati prima di qualsiasi aggiornamento dalla versione v2.1.x alla versione v2.4.17.

                                                                                                                    A causa di problemi di sicurezza, Milvus aggiorna il proprio MinIO a RELEASE.2023-03-20T20-16-18Z con il rilascio della v2.2.5. Prima di qualsiasi aggiornamento da versioni precedenti di Milvus Standalone installate con Docker Compose, è necessario creare un deployment MinIO a singolo nodo e singola unità e migrare le impostazioni e i contenuti di MinIO esistenti al nuovo deployment. Per i dettagli, fate riferimento a questa guida.

                                                                                                                    @@ -49,7 +49,7 @@ title: Aggiornamento di Milvus Standalone con Docker Compose
                                                                                                                    ...
                                                                                                                     standalone:
                                                                                                                       container_name: milvus-standalone
                                                                                                                    -  image: milvusdb/milvus:v2.4.15
                                                                                                                    +  image: milvusdb/milvus:v2.4.17
                                                                                                                     
                                                                                                                  • Eseguite i seguenti comandi per eseguire l'aggiornamento.

                                                                                                                    docker compose down
                                                                                                                    @@ -83,7 +83,7 @@ cmd:
                                                                                                                       runWithBackup: true
                                                                                                                     config:
                                                                                                                       sourceVersion: 2.1.4   # Specify your milvus version
                                                                                                                    -  targetVersion: 2.4.15
                                                                                                                    +  targetVersion: 2.4.17
                                                                                                                       backupFilePath: /tmp/migration.bak
                                                                                                                     metastore:
                                                                                                                       type: etcd
                                                                                                                    diff --git a/localization/v2.4.x/site/it/adminGuide/upgrade_milvus_standalone-helm.json b/localization/v2.4.x/site/it/adminGuide/upgrade_milvus_standalone-helm.json
                                                                                                                    index de23e8f80..6375c27cd 100644
                                                                                                                    --- a/localization/v2.4.x/site/it/adminGuide/upgrade_milvus_standalone-helm.json
                                                                                                                    +++ b/localization/v2.4.x/site/it/adminGuide/upgrade_milvus_standalone-helm.json
                                                                                                                    @@ -1 +1 @@
                                                                                                                    -{"codeList":["$ helm repo update\n$ helm search repo zilliztech/milvus --versions\n","helm repo add zilliztech https://zilliztech.github.io/milvus-helm\nhelm repo update\n# upgrade existing helm release\nhelm upgrade my-release zilliztech/milvus\n","NAME                    CHART VERSION   APP VERSION             DESCRIPTION                                       \nzilliztech/milvus       4.1.34          2.4.5                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.33          2.4.4                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.32          2.4.3                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.31          2.4.1                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.30          2.4.1                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.29          2.4.0                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.24          2.3.11                  Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.23          2.3.10                  Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.22          2.3.10                  Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.21          2.3.10                  Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.20          2.3.10                  Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.18          2.3.10                  Milvus is an open-source vector database built ... \nzilliztech/milvus       4.1.18          2.3.9                   Milvus is an open-source vector database built ...                                       \nzilliztech/milvus       4.1.17          2.3.8                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.16          2.3.7                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.15          2.3.5                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.14          2.3.6                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.13          2.3.5                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.12          2.3.5                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.11          2.3.4                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.10          2.3.3                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.9           2.3.3                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.8           2.3.2                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.7           2.3.2                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.6           2.3.1                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.5           2.3.1                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.4           2.3.1                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.3           2.3.1                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.2           2.3.1                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.1           2.3.0                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.0           2.3.0                   Milvus is an open-source vector database built ...\n","sh rollingUpdate.sh -n default -i my-release -o update -t 2.4.15 -w 'milvusdb/milvus:v2.4.15'\n","helm repo update\nhelm upgrade my-release milvus/milvus --reuse-values --version=4.1.24 # use the helm chart version here\n","NAME                NAMESPACE   REVISION    UPDATED                                 STATUS      CHART           APP VERSION     \nmy-release          default     1           2022-11-21 15:41:25.51539 +0800 CST     deployed    milvus-3.2.18   2.1.4\n","NAME                                            READY   STATUS    RESTARTS   AGE\nmy-release-etcd-0                               1/1     Running   0          84s\nmy-release-milvus-standalone-75c599fffc-6rwlj   1/1     Running   0          84s\nmy-release-minio-744dd9586f-qngzv               1/1     Running   0          84s\n","$ kubectl get pods my-release-milvus-proxy-6c548f787f-scspp -o=jsonpath='{$.spec.containers[0].image}'\n# milvusdb/milvus:v2.1.4\n","./migrate.sh -i my-release -s 2.1.4 -t 2.4.15\n","./migrate.sh -i my-release -n milvus -s 2.1.4 -t 2.4.15\n","./migrate.sh -i my-release -n milvus -s 2.1.4 -t 2.4.15 -r by-dev\n","./migrate.sh -i my-release -n milvus -s 2.1.4 -t 2.4.15 -r by-dev -w milvusdb/milvus:v2.4.15\n","./migrate.sh -i my-release -n milvus -s 2.1.4 -t 2.4.15 -w milvusdb/milvus:v2.4.15 -d true\n","./migrate.sh -i my-release -n milvus -s 2.1.4 -t 2.4.15 -r by-dev -o rollback -w milvusdb/milvus:v2.1.1\n./migrate.sh -i my-release -n milvus -s 2.1.4 -t 2.4.15 -r by-dev -o migrate -w milvusdb/milvus:v2.4.15\n"],"headingContent":"Upgrade Milvus Standalone with Helm Chart","anchorList":[{"label":"Aggiornamento di Milvus standalone con i grafici Helm","href":"Upgrade-Milvus-Standalone-with-Helm-Chart","type":1,"isActive":false},{"label":"Controllare la versione di Milvus","href":"Check-the-Milvus-version","type":2,"isActive":false},{"label":"Eseguire un aggiornamento continuo","href":"Conduct-a-rolling-upgrade","type":2,"isActive":false},{"label":"Aggiornare Milvus con Helm","href":"Upgrade-Milvus-using-Helm","type":2,"isActive":false},{"label":"Migrazione dei metadati","href":"Migrate-the-metadata","type":2,"isActive":false}]}
                                                                                                                    \ No newline at end of file
                                                                                                                    +{"codeList":["$ helm repo update\n$ helm search repo zilliztech/milvus --versions\n","helm repo add zilliztech https://zilliztech.github.io/milvus-helm\nhelm repo update zilliztech\n# upgrade existing helm release\nhelm upgrade my-release zilliztech/milvus --reset-then-reuse-values\n","NAME                    CHART VERSION   APP VERSION             DESCRIPTION                                       \nzilliztech/milvus       4.1.34          2.4.5                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.33          2.4.4                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.32          2.4.3                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.31          2.4.1                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.30          2.4.1                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.29          2.4.0                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.24          2.3.11                  Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.23          2.3.10                  Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.22          2.3.10                  Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.21          2.3.10                  Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.20          2.3.10                  Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.18          2.3.10                  Milvus is an open-source vector database built ... \nzilliztech/milvus       4.1.18          2.3.9                   Milvus is an open-source vector database built ...                                       \nzilliztech/milvus       4.1.17          2.3.8                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.16          2.3.7                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.15          2.3.5                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.14          2.3.6                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.13          2.3.5                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.12          2.3.5                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.11          2.3.4                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.10          2.3.3                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.9           2.3.3                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.8           2.3.2                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.7           2.3.2                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.6           2.3.1                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.5           2.3.1                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.4           2.3.1                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.3           2.3.1                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.2           2.3.1                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.1           2.3.0                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.0           2.3.0                   Milvus is an open-source vector database built ...\n","sh rollingUpdate.sh -n default -i my-release -o update -t 2.4.17 -w 'milvusdb/milvus:v2.4.17'\n","helm repo update\nhelm upgrade my-release milvus/milvus --reset-then-reuse-values --version=4.1.24 # use the helm chart version here\n","NAME                NAMESPACE   REVISION    UPDATED                                 STATUS      CHART           APP VERSION     \nmy-release          default     1           2022-11-21 15:41:25.51539 +0800 CST     deployed    milvus-3.2.18   2.1.4\n","NAME                                            READY   STATUS    RESTARTS   AGE\nmy-release-etcd-0                               1/1     Running   0          84s\nmy-release-milvus-standalone-75c599fffc-6rwlj   1/1     Running   0          84s\nmy-release-minio-744dd9586f-qngzv               1/1     Running   0          84s\n","$ kubectl get pods my-release-milvus-proxy-6c548f787f-scspp -o=jsonpath='{$.spec.containers[0].image}'\n# milvusdb/milvus:v2.1.4\n","./migrate.sh -i my-release -s 2.1.4 -t 2.4.17\n","./migrate.sh -i my-release -n milvus -s 2.1.4 -t 2.4.17\n","./migrate.sh -i my-release -n milvus -s 2.1.4 -t 2.4.17 -r by-dev\n","./migrate.sh -i my-release -n milvus -s 2.1.4 -t 2.4.17 -r by-dev -w milvusdb/milvus:v2.4.17\n","./migrate.sh -i my-release -n milvus -s 2.1.4 -t 2.4.17 -w milvusdb/milvus:v2.4.17 -d true\n","./migrate.sh -i my-release -n milvus -s 2.1.4 -t 2.4.17 -r by-dev -o rollback -w milvusdb/milvus:v2.1.1\n./migrate.sh -i my-release -n milvus -s 2.1.4 -t 2.4.17 -r by-dev -o migrate -w milvusdb/milvus:v2.4.17\n"],"headingContent":"Upgrade Milvus Standalone with Helm Chart","anchorList":[{"label":"Aggiornamento di Milvus standalone con i grafici Helm","href":"Upgrade-Milvus-Standalone-with-Helm-Chart","type":1,"isActive":false},{"label":"Prerequisiti","href":"Prerequisites","type":2,"isActive":false},{"label":"Controllare la versione di Milvus","href":"Check-the-Milvus-version","type":2,"isActive":false},{"label":"Eseguire un aggiornamento continuo","href":"Conduct-a-rolling-upgrade","type":2,"isActive":false},{"label":"Aggiornare Milvus con Helm","href":"Upgrade-Milvus-using-Helm","type":2,"isActive":false},{"label":"Migrazione dei metadati","href":"Migrate-the-metadata","type":2,"isActive":false}]}
                                                                                                                    \ No newline at end of file
                                                                                                                    diff --git a/localization/v2.4.x/site/it/adminGuide/upgrade_milvus_standalone-helm.md b/localization/v2.4.x/site/it/adminGuide/upgrade_milvus_standalone-helm.md
                                                                                                                    index e682125bf..2ba08bb66 100644
                                                                                                                    --- a/localization/v2.4.x/site/it/adminGuide/upgrade_milvus_standalone-helm.md
                                                                                                                    +++ b/localization/v2.4.x/site/it/adminGuide/upgrade_milvus_standalone-helm.md
                                                                                                                    @@ -7,7 +7,7 @@ related_key: upgrade Milvus Standalone
                                                                                                                     summary: Scoprite come aggiornare Milvus standalone con Helm Chart.
                                                                                                                     title: Aggiornamento di Milvus standalone con i grafici Helm
                                                                                                                     ---
                                                                                                                    -
                                                                                                                    +
                                                                                                                     

                                                                                                                    Aggiornamento di Milvus standalone con i grafici Helm

                                                                                                                    Questa guida descrive come aggiornare Milvus standalone con i grafici di Milvus Helm.

                                                                                                                    +

                                                                                                                    Prerequisiti

                                                                                                                      +
                                                                                                                    • Versione di Helm >= 3.14.0
                                                                                                                    • +
                                                                                                                    • Versione di Kubernetes >= 1.20.0
                                                                                                                    • +
                                                                                                                    +
                                                                                                                    +

                                                                                                                    Dalla versione 4.2.21 del grafico Milvus-Helm, abbiamo introdotto il grafico pulsar-v3.x come dipendenza. Per la retrocompatibilità, aggiornare helm alla versione 3.14 o successiva e assicurarsi di aggiungere l'opzione --reset-then-reuse-values ogni volta che si utilizza helm upgrade.

                                                                                                                    +

                                                                                                                    Controllare la versione di Milvus

                                                                                                                    Eseguite i seguenti comandi per verificare le nuove versioni di Milvus.

                                                                                                                    +

                                                                                                                    Eseguire i seguenti comandi per verificare le nuove versioni di Milvus.

                                                                                                                    $ helm repo update
                                                                                                                     $ helm search repo zilliztech/milvus --versions
                                                                                                                     

                                                                                                                    Il repo di Milvus Helm Charts all'indirizzo https://milvus-io.github.io/milvus-helm/ è stato archiviato ed è possibile ottenere ulteriori aggiornamenti da https://zilliztech.github.io/milvus-helm/ come segue:

                                                                                                                    helm repo add zilliztech https://zilliztech.github.io/milvus-helm
                                                                                                                    -helm repo update
                                                                                                                    +helm repo update zilliztech
                                                                                                                     # upgrade existing helm release
                                                                                                                    -helm upgrade my-release zilliztech/milvus
                                                                                                                    +helm upgrade my-release zilliztech/milvus --reset-then-reuse-values
                                                                                                                     

                                                                                                                    Il repo archiviato è ancora disponibile per i grafici fino alla versione 4.0.31. Per le versioni successive, utilizzare invece il nuovo repo.

                                                                                                                    @@ -86,10 +108,10 @@ zilliztech/milvus 4.1.1 2.3.0 Milvus is an ope zilliztech/milvus 4.1.0 2.3.0 Milvus is an open-source vector database built ...

                                                                                                                    È possibile scegliere il percorso di aggiornamento per il proprio Milvus come segue:

                                                                                                                    -
                                                                                                                    - Eseguire un aggiornamento continuo](#conduct-a-rolling-upgrade) da Milvus v2.2.3 e versioni successive alla v2.4.15.
                                                                                                                    +
                                                                                                                    - Eseguire un aggiornamento continuo](#conduct-a-rolling-upgrade) da Milvus v2.2.3 e versioni successive a v2.4.17.

                                                                                                                    Eseguire un aggiornamento continuo

                                                                                                                    1. @@ -152,7 +174,7 @@ zilliztech/milvus 4.1.0 2.3.0 Milvus is an ope

                                                                                                                      Per aggiornare Milvus da una versione minore precedente alla v2.2.3 alla più recente, eseguire i seguenti comandi:

                                                                                                                      helm repo update
                                                                                                                      -helm upgrade my-release milvus/milvus --reuse-values --version=4.1.24 # use the helm chart version here
                                                                                                                      +helm upgrade my-release milvus/milvus --reset-then-reuse-values --version=4.1.24 # use the helm chart version here
                                                                                                                       

                                                                                                                      Utilizzare la versione del grafico Helm nel comando precedente. Per i dettagli su come ottenere la versione del grafico di Helm, fare riferimento a Controllare la versione di Milvus.

                                                                                                                      Migrazione dei metadati

                                                                                                                      A partire da Milvus 2.2.0, i metadati sono incompatibili con quelli delle versioni precedenti. Gli esempi seguenti presuppongono un aggiornamento da Milvus 2.1.4 a Milvus 2.2.0.

                                                                                                                      +

                                                                                                                      A partire da Milvus 2.2.0, i metadati sono incompatibili con quelli delle versioni precedenti. I seguenti esempi ipotizzano un aggiornamento da Milvus 2.1.4 a Milvus 2.2.0.

                                                                                                                      1. Controllare la versione di Milvus

                                                                                                                      Eseguire $ helm list per verificare la versione dell'applicazione Milvus. Si può notare che APP VERSION è 2.1.4.

                                                                                                                      NAME                NAMESPACE   REVISION    UPDATED                                 STATUS      CHART           APP VERSION     
                                                                                                                       my-release          default     1           2022-11-21 15:41:25.51539 +0800 CST     deployed    milvus-3.2.18   2.1.4
                                                                                                                      @@ -213,25 +235,25 @@ my-release-minio-744dd9586f-qngzv               1/1     Running   0          84s
                                                                                                                       
                                                                                                                    2. Migrare i metadati di Milvus.
                                                                                                                    3. Avviare i componenti Milvus con una nuova immagine.
                                                                                                                    -

                                                                                                                    2. Aggiornare Milvus dalla v2.1.x alla 2.4.15

                                                                                                                    I comandi seguenti presuppongono l'aggiornamento di Milvus dalla v2.1.4 alla 2.4.15. Modificateli in base alle vostre esigenze.

                                                                                                                    +

                                                                                                                    2. Aggiornamento di Milvus dalla v2.1.x alla 2.4.17

                                                                                                                    I comandi seguenti presuppongono l'aggiornamento di Milvus dalla versione 2.1.4 alla 2.4.17. Modificateli in base alle vostre esigenze.

                                                                                                                    1. Specificare il nome dell'istanza Milvus, la versione Milvus di origine e la versione Milvus di destinazione.

                                                                                                                      -
                                                                                                                      ./migrate.sh -i my-release -s 2.1.4 -t 2.4.15
                                                                                                                      +
                                                                                                                      ./migrate.sh -i my-release -s 2.1.4 -t 2.4.17
                                                                                                                       
                                                                                                                    2. Specificate lo spazio dei nomi con -n se Milvus non è installato nello spazio dei nomi predefinito di K8s.

                                                                                                                      -
                                                                                                                      ./migrate.sh -i my-release -n milvus -s 2.1.4 -t 2.4.15
                                                                                                                      +
                                                                                                                      ./migrate.sh -i my-release -n milvus -s 2.1.4 -t 2.4.17
                                                                                                                       
                                                                                                                    3. Specificare il percorso della radice con -r se Milvus è installato con il percorso personalizzato rootpath.

                                                                                                                      -
                                                                                                                      ./migrate.sh -i my-release -n milvus -s 2.1.4 -t 2.4.15 -r by-dev
                                                                                                                      +
                                                                                                                      ./migrate.sh -i my-release -n milvus -s 2.1.4 -t 2.4.17 -r by-dev
                                                                                                                       
                                                                                                                    4. Specificate il tag dell'immagine con -w se Milvus è installato con il tag personalizzato image.

                                                                                                                      -
                                                                                                                      ./migrate.sh -i my-release -n milvus -s 2.1.4 -t 2.4.15 -r by-dev -w milvusdb/milvus:v2.4.15
                                                                                                                      +
                                                                                                                      ./migrate.sh -i my-release -n milvus -s 2.1.4 -t 2.4.17 -r by-dev -w milvusdb/milvus:v2.4.17
                                                                                                                       
                                                                                                                    5. Impostare -d true se si desidera rimuovere automaticamente il pod di migrazione al termine della migrazione.

                                                                                                                      -
                                                                                                                      ./migrate.sh -i my-release -n milvus -s 2.1.4 -t 2.4.15 -w milvusdb/milvus:v2.4.15 -d true
                                                                                                                      +
                                                                                                                      ./migrate.sh -i my-release -n milvus -s 2.1.4 -t 2.4.17 -w milvusdb/milvus:v2.4.17 -d true
                                                                                                                       
                                                                                                                    6. Se la migrazione non va a buon fine, si può tornare indietro e migrare di nuovo.

                                                                                                                      -
                                                                                                                      ./migrate.sh -i my-release -n milvus -s 2.1.4 -t 2.4.15 -r by-dev -o rollback -w milvusdb/milvus:v2.1.1
                                                                                                                      -./migrate.sh -i my-release -n milvus -s 2.1.4 -t 2.4.15 -r by-dev -o migrate -w milvusdb/milvus:v2.4.15
                                                                                                                      +
                                                                                                                      ./migrate.sh -i my-release -n milvus -s 2.1.4 -t 2.4.17 -r by-dev -o rollback -w milvusdb/milvus:v2.1.1
                                                                                                                      +./migrate.sh -i my-release -n milvus -s 2.1.4 -t 2.4.17 -r by-dev -o migrate -w milvusdb/milvus:v2.4.17
                                                                                                                       
                                                                                                                    diff --git a/localization/v2.4.x/site/it/adminGuide/upgrade_milvus_standalone-operator.json b/localization/v2.4.x/site/it/adminGuide/upgrade_milvus_standalone-operator.json index c774d81f1..084da24e3 100644 --- a/localization/v2.4.x/site/it/adminGuide/upgrade_milvus_standalone-operator.json +++ b/localization/v2.4.x/site/it/adminGuide/upgrade_milvus_standalone-operator.json @@ -1 +1 @@ -{"codeList":["helm repo add zilliztech-milvus-operator https://zilliztech.github.io/milvus-operator/\nhelm repo update zilliztech-milvus-operator\nhelm -n milvus-operator upgrade milvus-operator zilliztech-milvus-operator/milvus-operator\n","apiVersion: milvus.io/v1beta1\nkind: Milvus\nmetadata:\n name: my-release\nspec:\n components:\n enableRollingUpdate: true\n imageUpdateMode: rollingUpgrade # Default value, can be omitted\n image: milvusdb/milvus:v2.4.15\n","apiVersion: milvus.io/v1beta1\nkind: Milvus\nmetadata:\n name: my-release\nspec:\n components:\n enableRollingUpdate: true\n imageUpdateMode: all\n image: milvusdb/milvus:v2.4.15\n","apiVersion: milvus.io/v1beta1\nkind: Milvus\nmetadata:\n name: my-release\nspec:\n components:\n enableRollingUpdate: true\n imageUpdateMode: rollingDowngrade\n image: milvusdb/milvus:\n","kubectl apply -f milvusupgrade.yml\n","apiVersion: milvus.io/v1beta1\nkind: Milvus\nmetadata:\n name: my-release\nlabels:\n app: milvus\nspec:\n # Omit other fields ...\n components:\n image: milvusdb/milvus:v2.4.15\n","kubectl apply -f milvusupgrade.yaml\n","apiVersion: milvus.io/v1beta1\nkind: MilvusUpgrade\nmetadata:\n name: my-release-upgrade\nspec:\n milvus:\n namespace: default\n name: my-release\n sourceVersion: \"v2.1.4\"\n targetVersion: \"v2.4.15\"\n # below are some omit default values:\n # targetImage: \"milvusdb/milvus:v2.4.15\"\n # toolImage: \"milvusdb/meta-migration:v2.2.0\"\n # operation: upgrade\n # rollbackIfFailed: true\n # backupPVC: \"\"\n # maxRetry: 3\n","$ kubectl apply -f https://raw.githubusercontent.com/zilliztech/milvus-operator/main/config/samples/milvusupgrade.yaml\n","kubectl describe milvus release-name\n"],"headingContent":"Upgrade Milvus Standalone with Milvus Operator","anchorList":[{"label":"Aggiornamento di Milvus standalone con Milvus Operator","href":"Upgrade-Milvus-Standalone-with-Milvus-Operator","type":1,"isActive":false},{"label":"Aggiornare l'operatore Milvus","href":"Upgrade-your-Milvus-operator","type":2,"isActive":false},{"label":"Eseguire un aggiornamento continuo","href":"Conduct-a-rolling-upgrade","type":2,"isActive":false},{"label":"Aggiornare Milvus cambiando l'immagine","href":"Upgrade-Milvus-by-changing-its-image","type":2,"isActive":false},{"label":"Migrare i metadati","href":"Migrate-the-metadata","type":2,"isActive":false}]} \ No newline at end of file +{"codeList":["helm repo add zilliztech-milvus-operator https://zilliztech.github.io/milvus-operator/\nhelm repo update zilliztech-milvus-operator\nhelm -n milvus-operator upgrade milvus-operator zilliztech-milvus-operator/milvus-operator\n","apiVersion: milvus.io/v1beta1\nkind: Milvus\nmetadata:\n name: my-release\nspec:\n components:\n enableRollingUpdate: true\n imageUpdateMode: rollingUpgrade # Default value, can be omitted\n image: milvusdb/milvus:v2.4.17\n","apiVersion: milvus.io/v1beta1\nkind: Milvus\nmetadata:\n name: my-release\nspec:\n components:\n enableRollingUpdate: true\n imageUpdateMode: all\n image: milvusdb/milvus:v2.4.17\n","apiVersion: milvus.io/v1beta1\nkind: Milvus\nmetadata:\n name: my-release\nspec:\n components:\n enableRollingUpdate: true\n imageUpdateMode: rollingDowngrade\n image: milvusdb/milvus:\n","kubectl patch -f milvusupgrade.yml\n","apiVersion: milvus.io/v1beta1\nkind: Milvus\nmetadata:\n name: my-release\nlabels:\n app: milvus\nspec:\n # Omit other fields ...\n components:\n image: milvusdb/milvus:v2.4.17\n","kubectl patch -f milvusupgrade.yaml\n","apiVersion: milvus.io/v1beta1\nkind: MilvusUpgrade\nmetadata:\n name: my-release-upgrade\nspec:\n milvus:\n namespace: default\n name: my-release\n sourceVersion: \"v2.1.4\"\n targetVersion: \"v2.4.17\"\n # below are some omit default values:\n # targetImage: \"milvusdb/milvus:v2.4.17\"\n # toolImage: \"milvusdb/meta-migration:v2.2.0\"\n # operation: upgrade\n # rollbackIfFailed: true\n # backupPVC: \"\"\n # maxRetry: 3\n","$ kubectl create -f https://raw.githubusercontent.com/zilliztech/milvus-operator/main/config/samples/milvusupgrade.yaml\n","kubectl describe milvus release-name\n"],"headingContent":"Upgrade Milvus Standalone with Milvus Operator","anchorList":[{"label":"Aggiornamento di Milvus standalone con Milvus Operator","href":"Upgrade-Milvus-Standalone-with-Milvus-Operator","type":1,"isActive":false},{"label":"Aggiornare l'operatore Milvus","href":"Upgrade-your-Milvus-operator","type":2,"isActive":false},{"label":"Eseguire un aggiornamento continuo","href":"Conduct-a-rolling-upgrade","type":2,"isActive":false},{"label":"Aggiornare Milvus cambiando la sua immagine","href":"Upgrade-Milvus-by-changing-its-image","type":2,"isActive":false},{"label":"Migrare i metadati","href":"Migrate-the-metadata","type":2,"isActive":false}]} \ No newline at end of file diff --git a/localization/v2.4.x/site/it/adminGuide/upgrade_milvus_standalone-operator.md b/localization/v2.4.x/site/it/adminGuide/upgrade_milvus_standalone-operator.md index df453ea57..5e2749353 100644 --- a/localization/v2.4.x/site/it/adminGuide/upgrade_milvus_standalone-operator.md +++ b/localization/v2.4.x/site/it/adminGuide/upgrade_milvus_standalone-operator.md @@ -46,9 +46,9 @@ helm -n milvus-operator upgrade milvus-

                                                                                                                    Una volta aggiornato l'operatore Milvus alla versione più recente, avete le seguenti possibilità:

                                                                                                                    Eseguire un aggiornamento continuo

                                                                                                                    A partire da Milvus 2.2.3, è possibile configurare i coordinatori di Milvus in modo che lavorino in modalità active-standby e attivare la funzione di aggiornamento continuo per loro, in modo che Milvus possa rispondere alle richieste in arrivo durante gli aggiornamenti dei coordinatori. Nelle versioni precedenti, i coordinatori dovevano essere rimossi e poi creati durante un aggiornamento, il che poteva comportare alcuni tempi di inattività del servizio.

                                                                                                                    +

                                                                                                                    A partire da Milvus 2.2.3, è possibile configurare i coordinatori di Milvus per lavorare in modalità active-standby e abilitare la funzione di aggiornamento continuo per loro, in modo che Milvus possa rispondere alle richieste in arrivo durante gli aggiornamenti dei coordinatori. Nelle versioni precedenti, i coordinatori dovevano essere rimossi e poi creati durante un aggiornamento, il che poteva comportare alcuni tempi di inattività del servizio.

                                                                                                                    Basandosi sulle funzionalità di aggiornamento continuo fornite da Kubernetes, il gestore di Milvus impone un aggiornamento ordinato delle distribuzioni in base alle loro dipendenze. Inoltre, Milvus implementa un meccanismo per garantire che i suoi componenti rimangano compatibili con quelli che dipendono da loro durante l'aggiornamento, riducendo in modo significativo il potenziale downtime del servizio.

                                                                                                                    La funzione di aggiornamento continuo è disabilitata per impostazione predefinita. È necessario abilitarla esplicitamente attraverso un file di configurazione.

                                                                                                                    apiVersion: milvus.io/v1beta1
                                                                                                                    @@ -76,7 +76,7 @@ spec:
                                                                                                                       components:
                                                                                                                         enableRollingUpdate: true
                                                                                                                         imageUpdateMode: rollingUpgrade # Default value, can be omitted
                                                                                                                    -    image: milvusdb/milvus:v2.4.15
                                                                                                                    +    image: milvusdb/milvus:v2.4.17
                                                                                                                     

                                                                                                                    In questo file di configurazione, impostare spec.components.enableRollingUpdate su true e spec.components.image sulla versione di Milvus desiderata.

                                                                                                                    Per impostazione predefinita, Milvus esegue un aggiornamento continuo dei coordinatori in modo ordinato, sostituendo le immagini dei pod dei coordinatori una dopo l'altra. Per ridurre il tempo di aggiornamento, si può impostare spec.components.imageUpdateMode su all, in modo che Milvus sostituisca tutte le immagini dei pod nello stesso momento.

                                                                                                                    @@ -88,7 +88,7 @@ spec: components: enableRollingUpdate: true imageUpdateMode: all - image: milvusdb/milvus:v2.4.15 + image: milvusdb/milvus:v2.4.17

                                                                                                                    Si può impostare spec.components.imageUpdateMode su rollingDowngrade per far sì che Milvus sostituisca le immagini dei pod coordinatori con una versione inferiore.

                                                                                                                    apiVersion: milvus.io/v1beta1
                                                                                                                    @@ -101,10 +101,10 @@ spec:
                                                                                                                         imageUpdateMode: rollingDowngrade
                                                                                                                         image: milvusdb/milvus:<some-older-version>
                                                                                                                     
                                                                                                                    -

                                                                                                                    Salvare quindi la configurazione in un file YAML (ad esempio, milvusupgrade.yml) e applicare questo file di configurazione alla propria istanza Milvus come segue:

                                                                                                                    -
                                                                                                                    kubectl apply -f milvusupgrade.yml
                                                                                                                    +

                                                                                                                    Salvare quindi la configurazione in un file YAML (ad esempio, milvusupgrade.yml) e applicare il file di configurazione alla propria istanza Milvus come segue:

                                                                                                                    +
                                                                                                                    kubectl patch -f milvusupgrade.yml
                                                                                                                     
                                                                                                                    -

                                                                                                                    Aggiornare Milvus cambiando l'immagine

                                                                                                                    Eseguire quindi quanto segue per eseguire l'aggiornamento:

                                                                                                                    -
                                                                                                                    kubectl apply -f milvusupgrade.yaml
                                                                                                                    +
                                                                                                                    kubectl patch -f milvusupgrade.yaml
                                                                                                                     

                                                                                                                    Migrare i metadati

                                                                                                                    A partire da Milvus 2.2.0, i metadati sono incompatibili con quelli delle versioni precedenti. I seguenti esempi ipotizzano un aggiornamento da Milvus 2.1.4 a Milvus v2.4.15.

                                                                                                                    -

                                                                                                                    1. Creare un file .yaml per la migrazione dei metadati

                                                                                                                    Creare un file di migrazione dei metadati. Il seguente è un esempio. È necessario specificare i file name, sourceVersion e targetVersion nel file di configurazione. L'esempio seguente imposta name su my-release-upgrade, sourceVersion su v2.1.4 e targetVersion su v2.4.15. Ciò significa che l'istanza di Milvus verrà aggiornata dalla v2.1.4 alla v2.4.15.

                                                                                                                    +

                                                                                                                    A partire da Milvus 2.2.0, i metadati sono incompatibili con quelli delle versioni precedenti. I seguenti esempi ipotizzano un aggiornamento da Milvus 2.1.4 a Milvus v2.4.17.

                                                                                                                    +

                                                                                                                    1. Creare un file .yaml per la migrazione dei metadati

                                                                                                                    Creare un file di migrazione dei metadati. Il seguente è un esempio. È necessario specificare i file name, sourceVersion e targetVersion nel file di configurazione. L'esempio seguente imposta name su my-release-upgrade, sourceVersion su v2.1.4 e targetVersion su v2.4.17. Ciò significa che l'istanza di Milvus verrà aggiornata dalla v2.1.4 alla v2.4.17.

                                                                                                                    apiVersion: milvus.io/v1beta1
                                                                                                                     kind: MilvusUpgrade
                                                                                                                     metadata:
                                                                                                                    @@ -161,9 +161,9 @@ spec:
                                                                                                                         namespace: default
                                                                                                                         name: my-release
                                                                                                                       sourceVersion: "v2.1.4"
                                                                                                                    -  targetVersion: "v2.4.15"
                                                                                                                    +  targetVersion: "v2.4.17"
                                                                                                                       # below are some omit default values:
                                                                                                                    -  # targetImage: "milvusdb/milvus:v2.4.15"
                                                                                                                    +  # targetImage: "milvusdb/milvus:v2.4.17"
                                                                                                                       # toolImage: "milvusdb/meta-migration:v2.2.0"
                                                                                                                       # operation: upgrade
                                                                                                                       # rollbackIfFailed: true
                                                                                                                    @@ -171,7 +171,7 @@ spec:
                                                                                                                       # maxRetry: 3
                                                                                                                     

                                                                                                                    2. Applicare la nuova configurazione

                                                                                                                    Eseguite il seguente comando per applicare la nuova configurazione.

                                                                                                                    -
                                                                                                                    $ kubectl apply -f https://raw.githubusercontent.com/zilliztech/milvus-operator/main/config/samples/milvusupgrade.yaml
                                                                                                                    +
                                                                                                                    $ kubectl create -f https://raw.githubusercontent.com/zilliztech/milvus-operator/main/config/samples/milvusupgrade.yaml
                                                                                                                     

                                                                                                                    3. Controllare lo stato della migrazione dei metadati

                                                                                                                    Eseguire il seguente comando per verificare lo stato della migrazione dei metadati.

                                                                                                                    kubectl describe milvus release-name
                                                                                                                    diff --git a/localization/v2.4.x/site/it/getstarted/run-milvus-docker/install_standalone-docker-compose.json b/localization/v2.4.x/site/it/getstarted/run-milvus-docker/install_standalone-docker-compose.json
                                                                                                                    index 7e7a07388..f70b13090 100644
                                                                                                                    --- a/localization/v2.4.x/site/it/getstarted/run-milvus-docker/install_standalone-docker-compose.json
                                                                                                                    +++ b/localization/v2.4.x/site/it/getstarted/run-milvus-docker/install_standalone-docker-compose.json
                                                                                                                    @@ -1 +1 @@
                                                                                                                    -{"codeList":["# Download the configuration file\n$ wget https://github.com/milvus-io/milvus/releases/download/v2.4.15/milvus-standalone-docker-compose.yml -O docker-compose.yml\n\n# Start Milvus\n$ sudo docker-compose up -d\n\nCreating milvus-etcd  ... done\nCreating milvus-minio ... done\nCreating milvus-standalone ... done\n","$ sudo docker-compose ps\n\n      Name                     Command                  State                            Ports\n--------------------------------------------------------------------------------------------------------------------\nmilvus-etcd         etcd -advertise-client-url ...   Up             2379/tcp, 2380/tcp\nmilvus-minio        /usr/bin/docker-entrypoint ...   Up (healthy)   9000/tcp\nmilvus-standalone   /tini -- milvus run standalone   Up             0.0.0.0:19530->19530/tcp, 0.0.0.0:9091->9091/tcp\n","# Stop Milvus\n$ sudo docker-compose down\n\n# Delete service data\n$ sudo rm -rf volumes\n"],"headingContent":"Run Milvus with Docker Compose","anchorList":[{"label":"Eseguire Milvus con Docker Compose","href":"Run-Milvus-with-Docker-Compose","type":1,"isActive":false},{"label":"Prerequisiti","href":"Prerequisites","type":2,"isActive":false},{"label":"Installare Milvus","href":"Install-Milvus","type":2,"isActive":false},{"label":"Cosa succede dopo","href":"Whats-next","type":2,"isActive":false}]}
                                                                                                                    \ No newline at end of file
                                                                                                                    +{"codeList":["# Download the configuration file\n$ wget https://github.com/milvus-io/milvus/releases/download/v2.4.17/milvus-standalone-docker-compose.yml -O docker-compose.yml\n\n# Start Milvus\n$ sudo docker-compose up -d\n\nCreating milvus-etcd  ... done\nCreating milvus-minio ... done\nCreating milvus-standalone ... done\n","$ sudo docker-compose ps\n\n      Name                     Command                  State                            Ports\n--------------------------------------------------------------------------------------------------------------------\nmilvus-etcd         etcd -advertise-client-url ...   Up             2379/tcp, 2380/tcp\nmilvus-minio        /usr/bin/docker-entrypoint ...   Up (healthy)   9000/tcp\nmilvus-standalone   /tini -- milvus run standalone   Up             0.0.0.0:19530->19530/tcp, 0.0.0.0:9091->9091/tcp\n","# Stop Milvus\n$ sudo docker-compose down\n\n# Delete service data\n$ sudo rm -rf volumes\n"],"headingContent":"Run Milvus with Docker Compose","anchorList":[{"label":"Eseguire Milvus con Docker Compose","href":"Run-Milvus-with-Docker-Compose","type":1,"isActive":false},{"label":"Prerequisiti","href":"Prerequisites","type":2,"isActive":false},{"label":"Installare Milvus","href":"Install-Milvus","type":2,"isActive":false},{"label":"Cosa succede dopo","href":"Whats-next","type":2,"isActive":false}]}
                                                                                                                    \ No newline at end of file
                                                                                                                    diff --git a/localization/v2.4.x/site/it/getstarted/run-milvus-docker/install_standalone-docker-compose.md b/localization/v2.4.x/site/it/getstarted/run-milvus-docker/install_standalone-docker-compose.md
                                                                                                                    index 0f347778c..7dda2168a 100644
                                                                                                                    --- a/localization/v2.4.x/site/it/getstarted/run-milvus-docker/install_standalone-docker-compose.md
                                                                                                                    +++ b/localization/v2.4.x/site/it/getstarted/run-milvus-docker/install_standalone-docker-compose.md
                                                                                                                    @@ -57,7 +57,7 @@ title: Eseguire Milvus con Docker Compose
                                                                                                                           
                                                                                                                         

                                                                                                                    Milvus fornisce un file di configurazione di Docker Compose nel repository Milvus. Per installare Milvus usando Docker Compose, basta eseguire il comando

                                                                                                                    # Download the configuration file
                                                                                                                    -$ wget https://github.com/milvus-io/milvus/releases/download/v2.4.15/milvus-standalone-docker-compose.yml -O docker-compose.yml
                                                                                                                    +$ wget https://github.com/milvus-io/milvus/releases/download/v2.4.17/milvus-standalone-docker-compose.yml -O docker-compose.yml
                                                                                                                     
                                                                                                                     # Start Milvus
                                                                                                                     $ sudo docker-compose up -d
                                                                                                                    diff --git a/localization/v2.4.x/site/it/getstarted/run-milvus-gpu/install_standalone-docker-compose-gpu.json b/localization/v2.4.x/site/it/getstarted/run-milvus-gpu/install_standalone-docker-compose-gpu.json
                                                                                                                    index 4a21f0e88..7fa673e18 100644
                                                                                                                    --- a/localization/v2.4.x/site/it/getstarted/run-milvus-gpu/install_standalone-docker-compose-gpu.json
                                                                                                                    +++ b/localization/v2.4.x/site/it/getstarted/run-milvus-gpu/install_standalone-docker-compose-gpu.json
                                                                                                                    @@ -1 +1 @@
                                                                                                                    -{"codeList":["$ wget https://github.com/milvus-io/milvus/releases/download/v2.4.15/milvus-standalone-docker-compose-gpu.yml -O docker-compose.yml\n","...\nstandalone:\n  ...\n  deploy:\n    resources:\n      reservations:\n        devices:\n          - driver: nvidia\n            capabilities: [\"gpu\"]\n            device_ids: [\"0\"]\n...\n","...\nstandalone:\n  ...\n  deploy:\n    resources:\n      reservations:\n        devices:\n          - driver: nvidia\n            capabilities: [\"gpu\"]\n            device_ids: ['0', '1']\n...\n","$ sudo docker compose up -d\n\nCreating milvus-etcd  ... done\nCreating milvus-minio ... done\nCreating milvus-standalone ... done\n","$ sudo docker compose ps\n\n      Name                     Command                  State                            Ports\n--------------------------------------------------------------------------------------------------------------------\nmilvus-etcd         etcd -advertise-client-url ...   Up             2379/tcp, 2380/tcp\nmilvus-minio        /usr/bin/docker-entrypoint ...   Up (healthy)   9000/tcp\nmilvus-standalone   /tini -- milvus run standalone   Up             0.0.0.0:19530->19530/tcp, 0.0.0.0:9091->9091/tcp\n","$ CUDA_VISIBLE_DEVICES=0 ./milvus run standalone\n","$ CUDA_VISIBLE_DEVICES=0,1 ./milvus run standalone\n","# Stop Milvus\n$ sudo docker compose down\n\n# Delete service data\n$ sudo rm -rf volumes\n","docker cp :/milvus/configs/milvus.yaml milvus.yaml\n","vim milvus.yaml\n","...\ngpu:\n  initMemSize: 0\n  maxMemSize: 0\n...\n","docker cp milvus.yaml :/milvus/configs/milvus.yaml\n","docker stop \ndocker start \n"],"headingContent":"Run Milvus with GPU Support Using Docker Compose","anchorList":[{"label":"Esecuzione di Milvus con supporto GPU tramite Docker Compose","href":"Run-Milvus-with-GPU-Support-Using-Docker-Compose","type":1,"isActive":false},{"label":"Prerequisiti","href":"Prerequisites","type":2,"isActive":false},{"label":"Installare Milvus","href":"Install-Milvus","type":2,"isActive":false},{"label":"Configurare il pool di memoria","href":"Configure-memory-pool","type":2,"isActive":false},{"label":"Cosa succede ora","href":"Whats-next","type":2,"isActive":false}]}
                                                                                                                    \ No newline at end of file
                                                                                                                    +{"codeList":["$ wget https://github.com/milvus-io/milvus/releases/download/v2.4.17/milvus-standalone-docker-compose-gpu.yml -O docker-compose.yml\n","...\nstandalone:\n  ...\n  deploy:\n    resources:\n      reservations:\n        devices:\n          - driver: nvidia\n            capabilities: [\"gpu\"]\n            device_ids: [\"0\"]\n...\n","...\nstandalone:\n  ...\n  deploy:\n    resources:\n      reservations:\n        devices:\n          - driver: nvidia\n            capabilities: [\"gpu\"]\n            device_ids: ['0', '1']\n...\n","$ sudo docker compose up -d\n\nCreating milvus-etcd  ... done\nCreating milvus-minio ... done\nCreating milvus-standalone ... done\n","$ sudo docker compose ps\n\n      Name                     Command                  State                            Ports\n--------------------------------------------------------------------------------------------------------------------\nmilvus-etcd         etcd -advertise-client-url ...   Up             2379/tcp, 2380/tcp\nmilvus-minio        /usr/bin/docker-entrypoint ...   Up (healthy)   9000/tcp\nmilvus-standalone   /tini -- milvus run standalone   Up             0.0.0.0:19530->19530/tcp, 0.0.0.0:9091->9091/tcp\n","$ CUDA_VISIBLE_DEVICES=0 ./milvus run standalone\n","$ CUDA_VISIBLE_DEVICES=0,1 ./milvus run standalone\n","# Stop Milvus\n$ sudo docker compose down\n\n# Delete service data\n$ sudo rm -rf volumes\n","docker cp :/milvus/configs/milvus.yaml milvus.yaml\n","vim milvus.yaml\n","...\ngpu:\n  initMemSize: 0\n  maxMemSize: 0\n...\n","docker cp milvus.yaml :/milvus/configs/milvus.yaml\n","docker stop \ndocker start \n"],"headingContent":"Run Milvus with GPU Support Using Docker Compose","anchorList":[{"label":"Esecuzione di Milvus con supporto GPU tramite Docker Compose","href":"Run-Milvus-with-GPU-Support-Using-Docker-Compose","type":1,"isActive":false},{"label":"Prerequisiti","href":"Prerequisites","type":2,"isActive":false},{"label":"Installare Milvus","href":"Install-Milvus","type":2,"isActive":false},{"label":"Configurare il pool di memoria","href":"Configure-memory-pool","type":2,"isActive":false},{"label":"Cosa succede ora","href":"Whats-next","type":2,"isActive":false}]}
                                                                                                                    \ No newline at end of file
                                                                                                                    diff --git a/localization/v2.4.x/site/it/getstarted/run-milvus-gpu/install_standalone-docker-compose-gpu.md b/localization/v2.4.x/site/it/getstarted/run-milvus-gpu/install_standalone-docker-compose-gpu.md
                                                                                                                    index c0e7d9b27..a9c95341e 100644
                                                                                                                    --- a/localization/v2.4.x/site/it/getstarted/run-milvus-gpu/install_standalone-docker-compose-gpu.md
                                                                                                                    +++ b/localization/v2.4.x/site/it/getstarted/run-milvus-gpu/install_standalone-docker-compose-gpu.md
                                                                                                                    @@ -58,9 +58,9 @@ title: Esecuzione di Milvus con supporto GPU tramite Docker Compose
                                                                                                                               d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
                                                                                                                             >
                                                                                                                           
                                                                                                                    -    

                                                                                                                    Per installare Milvus con supporto GPU usando Docker Compose, seguite i seguenti passaggi.

                                                                                                                    -

                                                                                                                    1. Scaricare e configurare il file YAML

                                                                                                                    Scaricare milvus-standalone-docker-compose-gpu.yml e salvarlo come docker-compose.yml manualmente o con il seguente comando.

                                                                                                                    -
                                                                                                                    $ wget https://github.com/milvus-io/milvus/releases/download/v2.4.15/milvus-standalone-docker-compose-gpu.yml -O docker-compose.yml
                                                                                                                    +    

                                                                                                                    Per installare Milvus con supporto GPU usando Docker Compose, seguite i seguenti passi.

                                                                                                                    +

                                                                                                                    1. Scaricare e configurare il file YAML

                                                                                                                    Scaricare milvus-standalone-docker-compose-gpu.yml e salvarlo come docker-compose.yml manualmente o con il seguente comando.

                                                                                                                    +
                                                                                                                    $ wget https://github.com/milvus-io/milvus/releases/download/v2.4.17/milvus-standalone-docker-compose-gpu.yml -O docker-compose.yml
                                                                                                                     

                                                                                                                    È necessario apportare alcune modifiche alle variabili d'ambiente del servizio standalone nel file YAML come segue:

                                                                                                                      @@ -100,7 +100,7 @@ Creating milvus-minio ... done Creating milvus-standalone ... done
                                                                                                                    -

                                                                                                                    Se non si è riusciti a eseguire il comando precedente, verificare se sul sistema è installato Docker Compose V1. In tal caso, si consiglia di migrare a Docker Compose V2, come indicato nelle note di questa pagina.

                                                                                                                    +

                                                                                                                    Se non si è riusciti a eseguire il comando precedente, verificare se nel sistema è installato Docker Compose V1. In tal caso, si consiglia di migrare a Docker Compose V2, come indicato nelle note di questa pagina.

                                                                                                                    Dopo aver avviato Milvus,

                                                                                                                      @@ -123,7 +123,7 @@ milvus-standalone /tini -- milvus run standalone Up 0.0.0.0:1953

                                                                                                                      Rendere visibile a Milvus il dispositivo GPU 0:

                                                                                                                      $ CUDA_VISIBLE_DEVICES=0 ./milvus run standalone
                                                                                                                       
                                                                                                                      -

                                                                                                                      Rendere i dispositivi GPU 0 e 1 visibili a Milvus:

                                                                                                                      +

                                                                                                                      Rendere visibili a Milvus i dispositivi GPU 0 e 1:

                                                                                                                      $ CUDA_VISIBLE_DEVICES=0,1 ./milvus run standalone
                                                                                                                       

                                                                                                                      È possibile arrestare ed eliminare questo contenitore come segue.

                                                                                                                      @@ -148,7 +148,7 @@ $ sudo rm d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z" > -

                                                                                                                      Dopo che Milvus è stato avviato, è possibile personalizzare il pool di memoria modificando le impostazioni di initMemSize e maxMemSize nel file milvus.yaml.

                                                                                                                      +

                                                                                                                      Dopo che Milvus è in funzione, è possibile personalizzare il pool di memoria modificando le impostazioni di initMemSize e maxMemSize nel file milvus.yaml.

                                                                                                                      Il file milvus.yaml si trova nella directory /milvus/configs/ all'interno del contenitore Milvus.

                                                                                                                      diff --git a/localization/v2.4.x/site/it/menuStructure/it.json b/localization/v2.4.x/site/it/menuStructure/it.json index 5981d2a93..b5049b3d9 100644 --- a/localization/v2.4.x/site/it/menuStructure/it.json +++ b/localization/v2.4.x/site/it/menuStructure/it.json @@ -1409,7 +1409,7 @@ "children": [] }, { - "label": "Dificare", + "label": "Dify", "id": "dify_with_milvus.md", "order": 6, "children": [] @@ -1687,7 +1687,7 @@ "children": [] }, { - "label": "Ricerca di somiglianza audio", + "label": "Ricerca della somiglianza audio", "id": "audio_similarity_search.md", "order": 8, "children": [] diff --git a/localization/v2.4.x/site/it/reference/index.json b/localization/v2.4.x/site/it/reference/index.json index a349c5e6a..87b3f9911 100644 --- a/localization/v2.4.x/site/it/reference/index.json +++ b/localization/v2.4.x/site/it/reference/index.json @@ -1 +1 @@ -{"codeList":[],"headingContent":"In-memory Index","anchorList":[{"label":"Indice in memoria","href":"In-memory-Index","type":1,"isActive":false},{"label":"Indici vettoriali ANNS","href":"ANNS-vector-indexes","type":2,"isActive":false},{"label":"Indici supportati in Milvus","href":"Indexes-supported-in-Milvus","type":2,"isActive":false},{"label":"FAQ","href":"FAQ","type":2,"isActive":false},{"label":"Cosa c'è dopo","href":"Whats-next","type":2,"isActive":false}]} \ No newline at end of file +{"codeList":[],"headingContent":"In-memory Index","anchorList":[{"label":"Indice in-memory","href":"In-memory-Index","type":1,"isActive":false},{"label":"Indici vettoriali ANNS","href":"ANNS-vector-indexes","type":2,"isActive":false},{"label":"Indici supportati in Milvus","href":"Indexes-supported-in-Milvus","type":2,"isActive":false},{"label":"FAQ","href":"FAQ","type":2,"isActive":false},{"label":"Cosa c'è dopo","href":"Whats-next","type":2,"isActive":false}]} \ No newline at end of file diff --git a/localization/v2.4.x/site/it/reference/index.md b/localization/v2.4.x/site/it/reference/index.md index bfd8d5a02..0d1e13878 100644 --- a/localization/v2.4.x/site/it/reference/index.md +++ b/localization/v2.4.x/site/it/reference/index.md @@ -2,9 +2,9 @@ id: index.md related_key: index summary: Meccanismo di indicizzazione a Milvus. -title: Indice in memoria +title: Indice in-memory --- -

                                                                                                                      Indice in memoria

                                                                                                                      Milvus supporta diversi tipi di indici, classificati in base al tipo di incorporamento che gestiscono: a virgola mobile, binario e rado.

                                                                                                                      +

                                                                                                                      Milvus supporta diversi tipi di indici, classificati in base al tipo di incorporazioni vettoriali che gestiscono: incorporazioni in virgola mobile (note anche come vettori in virgola mobile o vettori densi), incorporazioni binarie (note anche come vettori binari) e incorporazioni rade (note anche come vettori radi).

                                                                                                                      + Incorporazioni in virgola mobile Incorporazioni binarie Incorporazioni rade
                                                                                                                    -

                                                                                                                    Indici per incorporazioni in virgola mobile

                                                                                                                    Per le incorporazioni in virgola mobile a 128 dimensioni, la memoria occupata è 128 * la dimensione del float = 512 byte. Le metriche di distanza utilizzate per le incorporazioni in virgola mobile sono la distanza euclidea (L2) e il prodotto interno (IP).

                                                                                                                    +

                                                                                                                    Indici per le incorporazioni in virgola mobile

                                                                                                                    Per le incorporazioni in virgola mobile (vettori) a 128 dimensioni, la memoria occupata è 128 * la dimensione del float = 512 byte. Le metriche di distanza utilizzate per le incorporazioni in virgola mobile sono la distanza euclidea (L2) e il prodotto interno (IP).

                                                                                                                    Questi tipi di indici includono FLAT, IVF_FLAT, IVF_PQ, IVF_SQ8, HNSW e SCANN per le ricerche di RNA basate su CPU.

                                                                                                                    @@ -223,7 +223,7 @@ Attualmente, un campo vettoriale supporta solo un tipo di indice. Milvus cancell
                                                                                                                  -

                                                                                                                  IVF_FLAT

                                                                                                                  IVF_FLAT divide i dati vettoriali in unità cluster nlist e confronta le distanze tra il vettore di input di destinazione e il centro di ciascun cluster. A seconda del numero di cluster che il sistema è impostato per interrogare (nprobe), i risultati della ricerca di similarità vengono restituiti in base al confronto tra l'input di destinazione e i vettori nei soli cluster più simili, riducendo drasticamente il tempo di interrogazione.

                                                                                                                  +

                                                                                                                  IVF_FLAT

                                                                                                                  IVF_FLAT divide i dati vettoriali in unità di cluster nlist, quindi confronta le distanze tra il vettore di input di destinazione e il centro di ciascun cluster. A seconda del numero di cluster che il sistema è impostato per interrogare (nprobe), i risultati della ricerca di similarità vengono restituiti in base al confronto tra l'input di destinazione e i vettori nei soli cluster più simili, riducendo drasticamente il tempo di interrogazione.

                                                                                                                  Regolando nprobe, è possibile trovare un equilibrio ideale tra precisione e velocità per un determinato scenario. I risultati del test sulle prestazioni di IVF_FLAT dimostrano che il tempo di interrogazione aumenta bruscamente all'aumentare del numero di vettori di input target (nq) e del numero di cluster da ricercare (nprobe).

                                                                                                                  IVF_FLAT è l'indice IVF più elementare e i dati codificati memorizzati in ogni unità sono coerenti con i dati originali.

                                                                                                                    @@ -390,7 +390,7 @@ Attualmente, un campo vettoriale supporta solo un tipo di indice. Milvus cancell ParametroDescrizioneIntervallo -MM definisce il numero massimo di connessioni in uscita nel grafico. Un numero maggiore di M porta a una maggiore precisione/tempo di esecuzione a ef/efCostruzione fissa.[2, 2048] +MM definisce il numero massimo di connessioni in uscita nel grafico. Un numero più alto di M porta a una maggiore precisione/tempo di esecuzione a ef/efCostruzione fissa.[2, 2048] efConstructionef_construction controlla il compromesso tra velocità di ricerca e velocità di costruzione dell'indice. L'aumento del parametro efConstruction può migliorare la qualità dell'indice, ma tende anche ad allungare i tempi di indicizzazione.[1, int_max] @@ -426,7 +426,7 @@ Attualmente, un campo vettoriale supporta solo un tipo di indice. Milvus cancell

                                                                                                                    BIN_IVF_FLAT

                                                                                                                    Questo indice è esattamente uguale a IVF_FLAT, ma può essere usato solo per le incorporazioni binarie.

                                                                                                                    BIN_IVF_FLAT divide i dati vettoriali in unità di cluster nlist e poi confronta le distanze tra il vettore di input target e il centro di ciascun cluster. A seconda del numero di cluster che il sistema è impostato per interrogare (nprobe), i risultati della ricerca di similarità vengono restituiti in base al confronto tra l'input di destinazione e i vettori nei cluster più simili, riducendo drasticamente il tempo di interrogazione.

                                                                                                                    Regolando nprobe, è possibile trovare un equilibrio ideale tra precisione e velocità per un determinato scenario. Il tempo di interrogazione aumenta bruscamente all'aumentare del numero di vettori di input target (nq) e del numero di cluster da ricercare (nprobe).

                                                                                                                    -

                                                                                                                    BIN_IVF_FLAT è l'indice BIN_IVF più elementare e i dati codificati memorizzati in ogni unità sono coerenti con i dati originali.

                                                                                                                    +

                                                                                                                    BIN_IVF_FLAT è l'indice BIN_IVF più semplice e i dati codificati memorizzati in ogni unità sono coerenti con i dati originali.

                                                                                                                    • Parametri di costruzione dell'indice

                                                                                                                      diff --git a/localization/v2.4.x/site/it/reference/metric.json b/localization/v2.4.x/site/it/reference/metric.json index 4a0d6b3ae..ffbed3861 100644 --- a/localization/v2.4.x/site/it/reference/metric.json +++ b/localization/v2.4.x/site/it/reference/metric.json @@ -1 +1 @@ -{"codeList":[],"headingContent":"","anchorList":[{"label":"Metriche di somiglianza","href":"Similarity-Metrics","type":1,"isActive":false},{"label":"FAQ","href":"FAQ","type":2,"isActive":false},{"label":"Cosa succede dopo","href":"Whats-next","type":2,"isActive":false}]} \ No newline at end of file +{"codeList":[],"headingContent":"Similarity Metrics","anchorList":[{"label":"Metriche di somiglianza","href":"Similarity-Metrics","type":1,"isActive":false},{"label":"FAQ","href":"FAQ","type":2,"isActive":false},{"label":"Cosa succede dopo","href":"Whats-next","type":2,"isActive":false}]} \ No newline at end of file diff --git a/localization/v2.4.x/site/it/reference/metric.md b/localization/v2.4.x/site/it/reference/metric.md index 5ef3dadc0..4ed5530fd 100644 --- a/localization/v2.4.x/site/it/reference/metric.md +++ b/localization/v2.4.x/site/it/reference/metric.md @@ -21,14 +21,14 @@ title: Metriche di somiglianza >

                                                                                                                      In Milvus, le metriche di somiglianza sono utilizzate per misurare le somiglianze tra i vettori. La scelta di una buona metrica di distanza aiuta a migliorare notevolmente le prestazioni di classificazione e clusterizzazione.

                                                                                                                      -

                                                                                                                      La tabella seguente mostra come queste metriche di somiglianza ampiamente utilizzate si adattano a varie forme di dati di input e agli indici di Milvus.

                                                                                                                      +

                                                                                                                      La tabella seguente mostra come le metriche di somiglianza più diffuse si adattano a varie forme di dati di input e agli indici di Milvus. Attualmente Milvus supporta vari tipi di dati, tra cui embeddings in virgola mobile (spesso noti come vettori in virgola mobile o vettori densi), embeddings binari (noti anche come vettori binari) e embeddings sparsi (noti anche come vettori sparsi).

                                                                                                                      + Incorporazioni in virgola mobileIncorporazioni binarieIncorporazioni rade
                                                                                                                      - + @@ -82,14 +82,14 @@ title: Metriche di somiglianza

                                                                                                                      È la metrica di distanza più utilizzata ed è molto utile quando i dati sono continui.

                                                                                                                      Milvus calcola il valore prima di applicare la radice quadrata solo quando la distanza euclidea è scelta come metrica di distanza.
                                                                                                                      -

                                                                                                                      Prodotto interno (IP)

                                                                                                                      La distanza IP tra due incorporazioni è definita come segue:

                                                                                                                      +

                                                                                                                      Prodotto interno (IP)

                                                                                                                      La distanza IP tra due incorporazioni vettoriali è definita come segue:

                                                                                                                      ip ip

                                                                                                                      L'IP è più utile se si devono confrontare dati non normalizzati o se si tiene conto della magnitudine e dell'angolo.

                                                                                                                      -

                                                                                                                      Se si applica la metrica della distanza IP a embeddings normalizzati, il risultato sarà equivalente al calcolo della somiglianza del coseno tra gli embeddings.

                                                                                                                      +

                                                                                                                      Se si applica la metrica di distanza IP alle incorporazioni normalizzate, il risultato sarà equivalente al calcolo della somiglianza del coseno tra le incorporazioni.

                                                                                                                      Supponiamo che X' sia normalizzato dall'incorporamento X:

                                                                                                                      @@ -107,7 +107,7 @@ Milvus calcola il valore prima di applicare la radice quadrata solo quando la di cosine_similarity coseno_similarità

                                                                                                                      -

                                                                                                                      La somiglianza del coseno è sempre nell'intervallo [-1, 1]. Ad esempio, due vettori proporzionali hanno una somiglianza di coseno pari a 1, due vettori ortogonali hanno una somiglianza pari a 0 e due vettori opposti hanno una somiglianza pari a -1. Più grande è il coseno, più piccolo è l'angolo tra due vettori, a indicare che questi due vettori sono più simili tra loro.

                                                                                                                      +

                                                                                                                      La somiglianza del coseno è sempre nell'intervallo [-1, 1]. Ad esempio, due vettori proporzionali hanno una somiglianza di coseno pari a 1, due vettori ortogonali hanno una somiglianza pari a 0 e due vettori opposti hanno una somiglianza pari a -1. Più grande è il coseno, minore è l'angolo tra due vettori, il che indica che questi due vettori sono più simili tra loro.

                                                                                                                      Sottraendo la somiglianza del coseno da 1, si ottiene la distanza del coseno tra due vettori.

                                                                                                                      Distanza di Jaccard

                                                                                                                      Il coefficiente di somiglianza di Jaccard misura la somiglianza tra due insiemi di campioni ed è definito come la cardinalità dell'intersezione degli insiemi definiti divisa per la cardinalità dell'unione degli stessi. Può essere applicato solo a insiemi di campioni finiti.

                                                                                                                      @@ -165,7 +165,7 @@ Milvus calcola il valore prima di applicare la radice quadrata solo quando la di

                                                                                                                      Perché il risultato top1 di una ricerca vettoriale non è il vettore di ricerca stesso, se il tipo di metrica è il prodotto interno?Questo accade se non si sono normalizzati i vettori quando si usa il prodotto interno come metrica di distanza.
                                                                                                                      Che cos'è la normalizzazione? Perché è necessaria la normalizzazione?

                                                                                                                      -

                                                                                                                      La normalizzazione si riferisce al processo di conversione di un incorporamento (vettore) in modo tale che la sua norma sia uguale a 1. Se si utilizza il prodotto interno per calcolare le somiglianze tra gli incorporamenti, è necessario normalizzare gli incorporamenti. Dopo la normalizzazione, il prodotto interno è uguale alla somiglianza del coseno.

                                                                                                                      +

                                                                                                                      La normalizzazione si riferisce al processo di conversione di un incorporamento (vettore) in modo che la sua norma sia uguale a 1. Se si utilizza il prodotto interno per calcolare le somiglianze tra gli incorporamenti, è necessario normalizzare gli incorporamenti. Dopo la normalizzazione, il prodotto interno è uguale alla somiglianza del coseno.

                                                                                                                      Per ulteriori informazioni, consultare Wikipedia.

                                                                                                                      diff --git a/localization/v2.4.x/site/it/release_notes.json b/localization/v2.4.x/site/it/release_notes.json index 4a480a747..e63f897bc 100644 --- a/localization/v2.4.x/site/it/release_notes.json +++ b/localization/v2.4.x/site/it/release_notes.json @@ -1 +1 @@ -{"codeList":[],"headingContent":"Release Notes","anchorList":[{"label":"Note di rilascio","href":"Release-Notes","type":1,"isActive":false},{"label":"v2.4.15","href":"v2415","type":2,"isActive":false},{"label":"v2.4.14","href":"v2414","type":2,"isActive":false},{"label":"v2.4.13-fotografia","href":"v2413-hotfix","type":2,"isActive":false},{"label":"[Deprecato] v2.4.13","href":"Deprecated-v2413","type":2,"isActive":false},{"label":"v2.4.12","href":"v2412","type":2,"isActive":false},{"label":"v2.4.11","href":"v2411","type":2,"isActive":false},{"label":"v2.4.10","href":"v2410","type":2,"isActive":false},{"label":"v2.4.9","href":"v249","type":2,"isActive":false},{"label":"v2.4.8","href":"v248","type":2,"isActive":false},{"label":"v2.4.6","href":"v246","type":2,"isActive":false},{"label":"v2.4.5","href":"v245","type":2,"isActive":false},{"label":"v2.4.4","href":"v244","type":2,"isActive":false},{"label":"v2.4.3","href":"v243","type":2,"isActive":false},{"label":"v2.4.1","href":"v241","type":2,"isActive":false},{"label":"v2.4.0","href":"v240","type":2,"isActive":false},{"label":"v2.4.0-rc.1","href":"v240-rc1","type":2,"isActive":false}]} \ No newline at end of file +{"codeList":[],"headingContent":"Release Notes","anchorList":[{"label":"Release Notes","href":"Release-Notes","type":1,"isActive":false},{"label":"v2.4.17","href":"v2417","type":2,"isActive":false},{"label":"v2.4.15","href":"v2415","type":2,"isActive":false},{"label":"v2.4.14","href":"v2414","type":2,"isActive":false},{"label":"v2.4.13-hotfix","href":"v2413-hotfix","type":2,"isActive":false},{"label":"[Deprecated] v2.4.13","href":"Deprecated-v2413","type":2,"isActive":false},{"label":"v2.4.12","href":"v2412","type":2,"isActive":false},{"label":"v2.4.11","href":"v2411","type":2,"isActive":false},{"label":"v2.4.10","href":"v2410","type":2,"isActive":false},{"label":"v2.4.9","href":"v249","type":2,"isActive":false},{"label":"v2.4.8","href":"v248","type":2,"isActive":false},{"label":"v2.4.6","href":"v246","type":2,"isActive":false},{"label":"v2.4.5","href":"v245","type":2,"isActive":false},{"label":"v2.4.4","href":"v244","type":2,"isActive":false},{"label":"v2.4.3","href":"v243","type":2,"isActive":false},{"label":"v2.4.1","href":"v241","type":2,"isActive":false},{"label":"v2.4.0","href":"v240","type":2,"isActive":false},{"label":"v2.4.0-rc.1","href":"v240-rc1","type":2,"isActive":false}]} \ No newline at end of file diff --git a/localization/v2.4.x/site/it/release_notes.md b/localization/v2.4.x/site/it/release_notes.md index 720686aa8..7bb12f5e8 100644 --- a/localization/v2.4.x/site/it/release_notes.md +++ b/localization/v2.4.x/site/it/release_notes.md @@ -1,9 +1,9 @@ --- id: release_notes.md summary: Note di rilascio di Milvus -title: Note di rilascio +title: Release Notes --- -

                                                                                                                      Note di rilascio

                                                                                                                      Scoprite le novità di Milvus! Questa pagina riassume le nuove funzionalità, i miglioramenti, i problemi noti e le correzioni di bug di ogni versione. In questa sezione si trovano le note di rilascio per ogni versione rilasciata dopo la v2.4.0. Si consiglia di visitare regolarmente questa pagina per conoscere gli aggiornamenti.

                                                                                                                      +

                                                                                                                      Find out what’s new in Milvus! This page summarizes new features, improvements, known issues, and bug fixes in each release. You can find the release notes for each released version after v2.4.0 in this section. We suggest that you regularly visit this page to learn about updates.

                                                                                                                      +

                                                                                                                      v2.4.17

                                                                                                                      Release Date: November 22, 2024

                                                                                                                      +
                                                                                                                      Tipi di metricaTipi di metriche Tipi di indice
                                                                                                                      + + + + + + +
                                                                                                                      Milvus versionPython SDK versionJava SDK versionNode.js SDK version
                                                                                                                      2.4.172.4.92.4.82.4.9
                                                                                                                      +

                                                                                                                      Milvus 2.4.17 was a minor release aimed at critical stability enhancements. This version addressed various bugs and implemented performance optimizations to bolster system reliability.

                                                                                                                      +

                                                                                                                      Improvements

                                                                                                                        +
                                                                                                                      • Enhanced: [2.4] Prevented the generation of “null” search parameters (#37811).
                                                                                                                      • +
                                                                                                                      • Enhanced: [2.4] Removed unnecessary segment clone updates in distribution (#37797) (#37833).
                                                                                                                      • +
                                                                                                                      • Enhanced: [2.4] Provided secondary index criteria for filtering leaderview (#37777) (#37802).
                                                                                                                      • +
                                                                                                                      • Used batch processing to speed up listing collections from meta kv (#37752).
                                                                                                                      • +
                                                                                                                      • Removed collection queryable checks from health checks (#37731).
                                                                                                                      • +
                                                                                                                      • [2.4] Removed segment-level tags from monitoring metrics (#37737).
                                                                                                                      • +
                                                                                                                      • [2.4] Removed unnecessary cloning in setstate (#37736).
                                                                                                                      • +
                                                                                                                      • Added search parameters to search requests in RESTful API (#37673).
                                                                                                                      • +
                                                                                                                      • Made Milvus images with AddressSanitizer (ASAN) available (#37682).
                                                                                                                      • +
                                                                                                                      • [cp24] Tidied compaction logs (#37647).
                                                                                                                      • +
                                                                                                                      • [2.4] Invalidated the collection cache when releasing collections (#37628).
                                                                                                                      • +
                                                                                                                      • [2.4] Added CGO call metrics for load/write APIs (#37627).
                                                                                                                      • +
                                                                                                                      • Enabled node assignment policies in resource groups (#37588).
                                                                                                                      • +
                                                                                                                      • Optimized describe collection and index operations (#37605).
                                                                                                                      • +
                                                                                                                      • [2.4] Handled legacy proxy load fields requests (#37569).
                                                                                                                      • +
                                                                                                                      • [2.4] Added context tracing for query coordination queryable checks (#37534).
                                                                                                                      • +
                                                                                                                      • [2.4] Improved root coordination task scheduling policies (#37523).
                                                                                                                      • +
                                                                                                                      • Refactored createindex in the RESTful API (#37237).
                                                                                                                      • +
                                                                                                                      • [2.4] Used cancel labels for context-canceled storage operations (#37491).
                                                                                                                      • +
                                                                                                                      • [2.4] Updated the template expression proto to improve transmission efficiency (#37485).
                                                                                                                      • +
                                                                                                                      +

                                                                                                                      Bug fixes

                                                                                                                        +
                                                                                                                      • Supported upsert with autoid=true in the RESTful API and fixed associated bugs (#37766).
                                                                                                                      • +
                                                                                                                      • Ensured L0 segments were loaded to workers during channel balancing (#37758).
                                                                                                                      • +
                                                                                                                      • Fixed delegator stuck in unserviceable status (#37702).
                                                                                                                      • +
                                                                                                                      • [2.4] Stored default values when errkeynotfound was returned (#37705).
                                                                                                                      • +
                                                                                                                      • [cp24] Changed memory check from write lock to read lock (#37526).
                                                                                                                      • +
                                                                                                                      • Ensured getshardleaders retried only on retriable errors (#37687).
                                                                                                                      • +
                                                                                                                      • [cp24] Corrected varchar primary key size calculations (#37619).
                                                                                                                      • +
                                                                                                                      • Fixed channel balancing that could get stuck when increasing replica numbers (#37642).
                                                                                                                      • +
                                                                                                                      • Addressed issues where searches returned fewer results after query node recovery (#37610).
                                                                                                                      • +
                                                                                                                      • [2.4] Fixed bugs retrieving data from the wrong field for L0 segments (#37599).
                                                                                                                      • +
                                                                                                                      • Recovered loading collection’s updateTS after query coordination restarts (#37580).
                                                                                                                      • +
                                                                                                                      • [2.4] Added IP address validation to paramtable (#37500).
                                                                                                                      • +
                                                                                                                      • Fixed search/query failures caused by segments not being loaded (#37544).
                                                                                                                      • +
                                                                                                                      • Resolved watch channel issues due to timer reset misuse (#37542).
                                                                                                                      • +
                                                                                                                      • Fixed subscription leaks (#37541).
                                                                                                                      • +
                                                                                                                      • Resolved issues with excessively growing segments (#37540).
                                                                                                                      • +
                                                                                                                      • [cp24] Corrected dropped segment metrics (#37471).
                                                                                                                      • +
                                                                                                                      • Fixed repeated error codes in Milvus and Segcore (#37449).
                                                                                                                      • +
                                                                                                                      • [cp24] Separated L0 and mixed trigger intervals (#37319).
                                                                                                                      • +

                                                                                                                      v2.4.15

                                                                                                                      Data di rilascio: 5 novembre 2024

                                                                                                                      +

                                                                                                                      Release Date: November 5, 2024

                                                                                                                      - +
                                                                                                                      Versione MilvusVersione dell'SDK PythonVersione dell'SDK JavaVersione SDK Node.js
                                                                                                                      Milvus versionPython SDK versionJava SDK versionNode.js SDK version
                                                                                                                      2.4.152.4.92.4.82.4.9
                                                                                                                      -

                                                                                                                      Milvus 2.4.15 è stata una release critica per la correzione di bug, incentrata sul miglioramento della stabilità, delle prestazioni e della compatibilità del sistema. Questa versione ha risolto un grave problema di deadlock che poteva verificarsi durante gli arresti anomali di QueryNode e ha introdotto aggiornamenti di compatibilità per lo strumento di backup con la funzione database. Inoltre, Milvus 2.4.15 ha migliorato le prestazioni e la stabilità della cancellazione grazie a significative ottimizzazioni nella gestione di L0. L 'aggiornamento alla versione 2.4.15 è fortemente consigliato per beneficiare di questi miglioramenti critici.

                                                                                                                      -

                                                                                                                      Correzioni di bug critici

                                                                                                                        -
                                                                                                                      • Risolto un problema di deadlock se il QueryNode si bloccava durante l'inizializzazione del client shard(#37354).
                                                                                                                      • -
                                                                                                                      • Ripristinato il miglioramento per il supporto dei database per l'inserimento massivo (#37421).
                                                                                                                      • +

                                                                                                                        Milvus 2.4.15 was a critical bug-fix release focused on enhancing system stability, performance, and compatibility. This version addressed a major deadlock issue that could occur during QueryNode crashes and introduced compatibility updates for the backup tool with the database feature. Additionally, Milvus 2.4.15 improved delete performance and stability through significant optimizations in L0 handling. Upgrading to v2.4.15 was strongly recommended to benefit from these critical enhancements.

                                                                                                                        +

                                                                                                                        Critical bug fixes

                                                                                                                          +
                                                                                                                        • Resolved a deadlock issue if the QueryNode crashed during shard client initialization (#37354).
                                                                                                                        • +
                                                                                                                        • Reverted the enhancement to support databases for bulk insert (#37421).
                                                                                                                        -

                                                                                                                        Correzioni di bug

                                                                                                                          -
                                                                                                                        • Corretto un bug per cui alcune espressioni non analizzavano correttamente i valori(#37342).
                                                                                                                        • -
                                                                                                                        • Migliorato il Proxy per riprovare a ottenere il leader dello shard su collezioni non caricate(#37326).
                                                                                                                        • -
                                                                                                                        • Corretto un problema per cui il valore delle metriche del conteggio delle righe L0 era sempre vuoto(#37307).
                                                                                                                        • -
                                                                                                                        • Saltato il timeout della compattazione per gli scenari di compattazione mista e L0(#37194).
                                                                                                                        • -
                                                                                                                        • Rettificata la logica di contenimento di OffsetOrderedArray (#37309).
                                                                                                                        • -
                                                                                                                        • Aggiunto un controllo delle risorse durante il caricamento dei log delta (#37263).
                                                                                                                        • +

                                                                                                                          Bug fixes

                                                                                                                            +
                                                                                                                          • Fixed a bug where certain expressions did not correctly parse values (#37342).
                                                                                                                          • +
                                                                                                                          • Enhanced the Proxy to retry getting the shard leader on unloaded collections (#37326).
                                                                                                                          • +
                                                                                                                          • Corrected an issue where the L0 row count metrics value was always empty (#37307).
                                                                                                                          • +
                                                                                                                          • Skipped marking compaction timeout for mixed and L0 compaction scenarios (#37194).
                                                                                                                          • +
                                                                                                                          • Rectified the containment logic of OffsetOrderedArray (#37309).
                                                                                                                          • +
                                                                                                                          • Added a check for resources when loading delta logs (#37263).
                                                                                                                          -

                                                                                                                          Miglioramenti

                                                                                                                            -
                                                                                                                          • Spostata la logica L0 al di fuori del blocco delta per migliorare le prestazioni(#37340).
                                                                                                                          • -
                                                                                                                          • Rilasciati i segmenti in crescita compattati se presenti nell'elenco degli eliminati (#37266).
                                                                                                                          • -
                                                                                                                          • Introdotto un middleware per monitorare le statistiche RESTful V2 input/output RPC(#37224, #37440).
                                                                                                                          • +

                                                                                                                            Improvements

                                                                                                                              +
                                                                                                                            • Moved L0 logic outside of the delta lock for better performance (#37340).
                                                                                                                            • +
                                                                                                                            • Released compacted growing segments if present in the dropped list (#37266).
                                                                                                                            • +
                                                                                                                            • Introduced middleware to monitor RESTful V2 input/output RPC stats (#37224, #37440).

                                                                                                                            v2.4.14

                                                                                                                            Data di rilascio: 31 ottobre 2024

                                                                                                                            +

                                                                                                                            Release Date: October 31, 2024

                                                                                                                            - +
                                                                                                                            Versione MilvusVersione dell'SDK PythonVersione dell'SDK JavaVersione SDK Node.js
                                                                                                                            Milvus versionPython SDK versionJava SDK versionNode.js SDK version
                                                                                                                            2.4.142.4.92.4.72.4.9
                                                                                                                            -

                                                                                                                            Milvus 2.4.14 risolve un problema critico della versione 2.4.13 che poteva causare la perdita di informazioni sulla raccolta dopo la garbage collection di snapshotKV. Ha anche risolto un paio di perdite di risorse. Inoltre, questa versione include numerosi miglioramenti volti a migliorare la stabilità delle operazioni di cancellazione su larga scala e le prestazioni di compattazione.

                                                                                                                            -

                                                                                                                            Caratteristiche

                                                                                                                              -
                                                                                                                            • Supporto della modalità di memoria chunk cache(#35836)
                                                                                                                            • -
                                                                                                                            • Supporto del db per bulkinsert(#37017)
                                                                                                                            • +

                                                                                                                              Milvus 2.4.14 addresses a critical issue from version 2.4.13 that could cause collection information to be lost after snapshotKV garbage collection. It also fixed a couple of resource leaks. Additionally, this release includes numerous enhancements focused on improving stability in large-scale delete operations and compaction performance.

                                                                                                                              +

                                                                                                                              Features

                                                                                                                                +
                                                                                                                              • Supported memory mode chunk cache (#35836)
                                                                                                                              • +
                                                                                                                              • Supported db for bulkinsert (#37017)
                                                                                                                              -

                                                                                                                              Miglioramenti

                                                                                                                                -
                                                                                                                              • Ottimizzazione di cancellazione/compattazione
                                                                                                                                  -
                                                                                                                                • Abilitata l'esecuzione parallela delle compattazioni l0(#36985)
                                                                                                                                • -
                                                                                                                                • Cancellazione in batch quando si usa l'inoltro diretto (#37107)
                                                                                                                                • -
                                                                                                                                • Saltato il caricamento dei dati delta nel delegatore quando si usa remoteload (#37112)
                                                                                                                                • -
                                                                                                                                • Inoltro diretto delta escludendo i segmenti l0(#36914)
                                                                                                                                • -
                                                                                                                                • Aggiunta la prioritizzazione dei compiti di compattazione in DataCoord(#36979)
                                                                                                                                • -
                                                                                                                                • Tracciato il tasso di cancellazioni complesse(#36958)
                                                                                                                                • +

                                                                                                                                  Improvements

                                                                                                                                    +
                                                                                                                                  • Delete/Compaction Optimization +
                                                                                                                                      +
                                                                                                                                    • Enabled parallel execution of l0 compactions (#36985)
                                                                                                                                    • +
                                                                                                                                    • Batched forward delete when using direct forward (#37107)
                                                                                                                                    • +
                                                                                                                                    • Skipped loading delta data in delegater when using remoteload (#37112)
                                                                                                                                    • +
                                                                                                                                    • Directly forwarded delta excluding l0 segments (#36914)
                                                                                                                                    • +
                                                                                                                                    • Added prioritization of compaction tasks in DataCoord (#36979)
                                                                                                                                    • +
                                                                                                                                    • Tracked complex delete rates (#36958)
                                                                                                                                  • -
                                                                                                                                  • Rifatto CreateCollection nell'API RESTFul(#36885)
                                                                                                                                  • -
                                                                                                                                  • Fusione di più operazioni 'and' e 'or' in un'unica operazione (#36973)
                                                                                                                                  • -
                                                                                                                                  • Fatto in modo che lo skip load funzioni per tutti i rami(#37161)
                                                                                                                                  • -
                                                                                                                                  • Aggiornata la dipendenza da Minio per supportare le identità EKS Pod (#37089)
                                                                                                                                  • -
                                                                                                                                  • Riordinate le opzioni di importazione (#37078)
                                                                                                                                  • -
                                                                                                                                  • Limitato il numero massimo di lavori di importazione(#36892)
                                                                                                                                  • -
                                                                                                                                  • Preallocata la slice dei dati per evitare di riallocare la memoria(#37044)
                                                                                                                                  • -
                                                                                                                                  • Impedito al DataNode di caricare il bf(#37027)
                                                                                                                                  • -
                                                                                                                                  • Evitato di limitare ripetutamente le operazioni ddl (#37011)
                                                                                                                                  • -
                                                                                                                                  • Ha reso la voce di configurazione datanode.import.maxconcurrenttasknum regolabile dinamicamente(#37103)
                                                                                                                                  • -
                                                                                                                                  • Utilizzato queryNode.mmap.growingMmapEnabled per controllare il comportamento dell'indice intermedio(#36391)
                                                                                                                                  • -
                                                                                                                                  • Popolato i campi Level e StartPosition in segmentLoadInfo del segmento in crescita(#36911)
                                                                                                                                  • -
                                                                                                                                  • Forzato l'arresto dei messaggi di buffer quando si riceve il messaggio di drop collection (#36917)
                                                                                                                                  • -
                                                                                                                                  • Aggiunte metriche per le informazioni sul buffer di cancellazione del querynode (#37097)
                                                                                                                                  • -
                                                                                                                                  • Aggiunta l'etichetta del nome della raccolta per alcune metriche(#37159)
                                                                                                                                  • -
                                                                                                                                  • Usato middleware per osservare le statistiche RESTful v2 in/out rpc (#37224)
                                                                                                                                  • -
                                                                                                                                  • Modificata la dimensione del pool di memoria predefinito della GPU(#36969)
                                                                                                                                  • -
                                                                                                                                  • Aggiornata la versione di Knowhere a 2.3.12(#37132)
                                                                                                                                  • -
                                                                                                                                  • Consentita la cancellazione dei dati quando la quota del disco è esaurita(#37139)
                                                                                                                                  • +
                                                                                                                                  • Refactored CreateCollection in RESTFul API (#36885)
                                                                                                                                  • +
                                                                                                                                  • Fused multiple ‘and’ and ‘or’ operations into a single op (#36973)
                                                                                                                                  • +
                                                                                                                                  • Made skip load work for all branches (#37161)
                                                                                                                                  • +
                                                                                                                                  • Upgraded Minio dependency to support EKS Pod Identities (#37089)
                                                                                                                                  • +
                                                                                                                                  • Tidied import options (#37078)
                                                                                                                                  • +
                                                                                                                                  • Limited maximum number of import jobs (#36892)
                                                                                                                                  • +
                                                                                                                                  • Preallocated data slice to avoid re-allocating memory (#37044)
                                                                                                                                  • +
                                                                                                                                  • Prevented DataNode from loading the bf (#37027)
                                                                                                                                  • +
                                                                                                                                  • Avoided limiting ddl operations repeatedly (#37011)
                                                                                                                                  • +
                                                                                                                                  • Made the configuration item datanode.import.maxconcurrenttasknum dynamically adjustable (#37103)
                                                                                                                                  • +
                                                                                                                                  • Used queryNode.mmap.growingMmapEnabled to control the behavior of interim index (#36391)
                                                                                                                                  • +
                                                                                                                                  • Populated the Level and StartPosition fields in segmentLoadInfo of growing segment (#36911)
                                                                                                                                  • +
                                                                                                                                  • Forced to stop buffer messages when receiving the drop collection message (#36917)
                                                                                                                                  • +
                                                                                                                                  • Added metrics for querynode delete buffer info (#37097)
                                                                                                                                  • +
                                                                                                                                  • Added collection name label for some metric (#37159)
                                                                                                                                  • +
                                                                                                                                  • Used middleware to observe RESTful v2 in/out rpc stats (#37224)
                                                                                                                                  • +
                                                                                                                                  • Changed GPU default memory pool size (#36969)
                                                                                                                                  • +
                                                                                                                                  • Updated Knowhere version to 2.3.12 (#37132)
                                                                                                                                  • +
                                                                                                                                  • Allowed deleting data when disk quota exhausted (#37139)
                                                                                                                                  -

                                                                                                                                  Correzioni di bug

                                                                                                                                    -
                                                                                                                                  • Corrette le informazioni sulla raccolta che non potevano essere recuperate da metakv dopo il riavvio se tutte le istantanee erano state garbage collected(#36950)
                                                                                                                                  • -
                                                                                                                                  • Corretto il codice di errore rpc per evitare un tentativo non valido nel client(#37025)
                                                                                                                                  • -
                                                                                                                                  • Ignorato l'errore db not found in quota center (#36850)
                                                                                                                                  • -
                                                                                                                                  • Corretta la perdita di goroutine in QueryNode usando un pool di cancellazione singleton (#37225)
                                                                                                                                  • -
                                                                                                                                  • Corretta la perdita di raccolta in querynode(#37079)
                                                                                                                                  • -
                                                                                                                                  • Corretta la perdita del task di compattazione del cluster (#36803)
                                                                                                                                  • -
                                                                                                                                  • Vietato rinominare una collezione che aveva un alias(#37208)
                                                                                                                                  • -
                                                                                                                                  • Assicurato che l'alias fosse memorizzato nella cache (#36808)
                                                                                                                                  • -
                                                                                                                                  • La ricerca/query poteva fallire durante l'aggiornamento della cache del delegatore(#37174)
                                                                                                                                  • -
                                                                                                                                  • Esclusa la compattazione di l0 durante l'esecuzione del clustering (#37142)
                                                                                                                                  • -
                                                                                                                                  • Riferimento al meta della raccolta quando si caricava solo il meta del segmento l0(#37179)
                                                                                                                                  • -
                                                                                                                                  • Il delegatore potrebbe essere diventato inservibile dopo il riavvio di querycoord(#37100)
                                                                                                                                  • -
                                                                                                                                  • La partizione di rilascio dinamico potrebbe aver fallito la ricerca/query(#37099)
                                                                                                                                  • -
                                                                                                                                  • Rettificato il valore della quota del conteggio delle righe del buffer di cancellazione (#37068)
                                                                                                                                  • -
                                                                                                                                  • Passato l'elenco completo dei campi quando era abilitato il carico parziale (#37063)
                                                                                                                                  • -
                                                                                                                                  • Si verificava un panico del nodo di query durante l'invio di rpc al worker(#36988)
                                                                                                                                  • -
                                                                                                                                  • Datacoord si bloccava all'arresto dell'avanzamento(#36961)
                                                                                                                                  • -
                                                                                                                                  • Corretto l'accesso fuori limite nel segmento in crescita quando i dati grezzi erano sostituiti da un indice intermedio(#36938)
                                                                                                                                  • -
                                                                                                                                  • Rootcoord si bloccava all'arresto anticipato (#36881)
                                                                                                                                  • +

                                                                                                                                    Bug fixes

                                                                                                                                      +
                                                                                                                                    • Fixed collection info that could not be recovered from metakv after restart if all snapshots were garbage collected (#36950)
                                                                                                                                    • +
                                                                                                                                    • Corrected the rpc error code to avoid invalid retry in client (#37025)
                                                                                                                                    • +
                                                                                                                                    • Ignored db not found error in quota center (#36850)
                                                                                                                                    • +
                                                                                                                                    • Fixed goroutine leakage in QueryNode by using singleton delete pool (#37225)
                                                                                                                                    • +
                                                                                                                                    • Fixed collection leak in querynode (#37079)
                                                                                                                                    • +
                                                                                                                                    • Fixed leakage of clustering compaction task (#36803)
                                                                                                                                    • +
                                                                                                                                    • Prohibited renaming a collection that had an alias (#37208)
                                                                                                                                    • +
                                                                                                                                    • Made sure alias was cached (#36808)
                                                                                                                                    • +
                                                                                                                                    • Search/query could have failed during updating delegator cache (#37174)
                                                                                                                                    • +
                                                                                                                                    • Excluded l0 compaction when clustering was executing (#37142)
                                                                                                                                    • +
                                                                                                                                    • Referenced collection meta when loading l0 segment meta only (#37179)
                                                                                                                                    • +
                                                                                                                                    • Delegator might have become unserviceable after querycoord restart (#37100)
                                                                                                                                    • +
                                                                                                                                    • Dynamic release partition might have failed search/query (#37099)
                                                                                                                                    • +
                                                                                                                                    • Rectified delete buffer row count quota value (#37068)
                                                                                                                                    • +
                                                                                                                                    • Passed full field list when partial load enabled (#37063)
                                                                                                                                    • +
                                                                                                                                    • Query node panic occurred during sending rpc to worker (#36988)
                                                                                                                                    • +
                                                                                                                                    • Datacoord got stuck at stopping progress (#36961)
                                                                                                                                    • +
                                                                                                                                    • Fixed the out-of-bounds access in the growing segment when raw data was replaced by interim index (#36938)
                                                                                                                                    • +
                                                                                                                                    • Rootcoord got stuck at graceful stop progress (#36881)
                                                                                                                                    -

                                                                                                                                    v2.4.13-fotografia

                                                                                                                                    Data di rilascio: 17 ottobre 2024

                                                                                                                                    +

                                                                                                                                    Release Date: October 17, 2024

                                                                                                                                    - +
                                                                                                                                    Versione di MilvusVersione dell'SDK PythonVersione dell'SDK JavaVersione SDK Node.js
                                                                                                                                    Milvus versionPython SDK versionJava SDK versionNode.js SDK version
                                                                                                                                    2.4.13-hotfix2.4.82.4.52.4.9
                                                                                                                                    -

                                                                                                                                    Milvus v2.4.13-hotfix risolve un problema critico specifico della v2.4.13, a causa del quale Milvus potrebbe non riuscire a recuperare le informazioni sulla raccolta dopo un riavvio se tutte le istantanee MetaKV sono state raccolte come spazzatura(#36933). Si consiglia agli utenti che attualmente utilizzano la versione 2.4.13 di eseguire l'aggiornamento alla versione 2.4.13-hotfix il prima possibile per evitare potenziali interruzioni.

                                                                                                                                    -

                                                                                                                                    Correzioni critiche

                                                                                                                                      -
                                                                                                                                    • Carica la chiave originale se il timestamp è MaxTimestamp(#36935)
                                                                                                                                    • +

                                                                                                                                      Milvus v2.4.13-hotfix addresses a critical issue specific to v2.4.13, where Milvus may fail to retrieve collection information after a restart if all MetaKV snapshots were garbage-collected (#36933). Users currently running v2.4.13 are advised to upgrade to v2.4.13-hotfix at the earliest opportunity to avoid potential disruptions.

                                                                                                                                      +

                                                                                                                                      Critical fixes

                                                                                                                                        +
                                                                                                                                      • Load original key if timestamp is MaxTimestamp (#36935)
                                                                                                                                      -

                                                                                                                                      [Deprecato] v2.4.13

                                                                                                                                      Data di rilascio: 12 ottobre 2024

                                                                                                                                      +

                                                                                                                                      Release Date: October 12, 2024

                                                                                                                                      - +
                                                                                                                                      Versione di MilvusVersione dell'SDK PythonVersione dell'SDK JavaVersione SDK Node.js
                                                                                                                                      Milvus versionPython SDK versionJava SDK versionNode.js SDK version
                                                                                                                                      2.4.132.4.82.4.52.4.9
                                                                                                                                      -

                                                                                                                                      Milvus 2.4.13 introduce il carico dinamico delle repliche, consentendo agli utenti di regolare il numero di repliche della collezione senza dover rilasciare e ricaricare la collezione. Questa versione risolve anche diversi bug critici relativi all'importazione in blocco, all'analisi delle espressioni, al bilanciamento del carico e al recupero dei guasti. Inoltre, sono stati apportati miglioramenti significativi all'utilizzo delle risorse MMAP e alle prestazioni di importazione, migliorando l'efficienza complessiva del sistema. Si consiglia vivamente di passare a questa versione per migliorare le prestazioni e la stabilità.

                                                                                                                                      -

                                                                                                                                      Caratteristiche

                                                                                                                                        -
                                                                                                                                      • Regolazione dinamica delle repliche per le collezioni caricate(#36417)
                                                                                                                                      • -
                                                                                                                                      • MMAP vettoriale sparse in tipi di segmento crescenti(#36565)
                                                                                                                                      • +

                                                                                                                                        Milvus 2.4.13 introduces dynamic replica load, allowing users to adjust the number of collection replicas without needing to release and reload the collection. This version also addresses several critical bugs related to bulk importing, expression parsing, load balancing, and failure recovery. Additionally, significant improvements have been made to MMAP resource usage and import performance, enhancing overall system efficiency. We highly recommend upgrading to this release for better performance and stability.

                                                                                                                                        +

                                                                                                                                        Features

                                                                                                                                          +
                                                                                                                                        • Dynamic replica adjustment for loaded collections (#36417)
                                                                                                                                        • +
                                                                                                                                        • Sparse vector MMAP in growing segment types (#36565)
                                                                                                                                        -

                                                                                                                                        Correzioni di bug

                                                                                                                                          -
                                                                                                                                        • Corretto un problema di prestazioni del flush (#36741)
                                                                                                                                        • -
                                                                                                                                        • Corretto un bug con le espressioni JSON in "[]"(#36722)
                                                                                                                                        • -
                                                                                                                                        • Rimossi i vicini se il target compatto non è indicizzato(#36694)
                                                                                                                                        • -
                                                                                                                                        • Migliorate le prestazioni di Rocksmq quando il canale è pieno(#36618)
                                                                                                                                        • -
                                                                                                                                        • Corretto un problema per cui gli errori durante l'impacchettamento non venivano differiti (#36665)
                                                                                                                                        • -
                                                                                                                                        • Risolta una perdita di memoria per i segmenti importati nel gestore dei segmenti(#36631)
                                                                                                                                        • -
                                                                                                                                        • Saltati i controlli sanitari non necessari per i nodi di query nel proxy (#36553)
                                                                                                                                        • -
                                                                                                                                        • Risolto un problema di overflow con le espressioni di termine(#36534)
                                                                                                                                        • -
                                                                                                                                        • Registrato l'ID del nodo prima di assegnare i compiti per evitare un'errata allocazione dei compiti (#36493)
                                                                                                                                        • -
                                                                                                                                        • Risolti i problemi di corsa ai dati nella compattazione del clustering (#36499)
                                                                                                                                        • -
                                                                                                                                        • Aggiunto un controllo per la lunghezza massima dell'array di stringhe dopo la corrispondenza dei tipi (#36497)
                                                                                                                                        • -
                                                                                                                                        • Risolte le condizioni di gara in modalità mix o standalone (#36459)
                                                                                                                                        • -
                                                                                                                                        • Corretto lo sbilanciamento dei segmenti dopo ripetute operazioni di caricamento e rilascio(#36543)
                                                                                                                                        • -
                                                                                                                                        • Corretto un caso d'angolo in cui i segmenti non potevano essere spostati da un nodo di arresto (#36475)
                                                                                                                                        • -
                                                                                                                                        • Aggiornate correttamente le informazioni sui segmenti anche se alcuni segmenti erano mancanti(#36729)
                                                                                                                                        • -
                                                                                                                                        • Impedito che le transazioni etcd superino il limite massimo nello snapshot KV (#36773)
                                                                                                                                        • +

                                                                                                                                          Bug fixes

                                                                                                                                            +
                                                                                                                                          • Fixed a flush performance issue (#36741)
                                                                                                                                          • +
                                                                                                                                          • Fixed a bug with JSON expressions in "[]" (#36722)
                                                                                                                                          • +
                                                                                                                                          • Removed neighbors if compact target is unindexed (#36694)
                                                                                                                                          • +
                                                                                                                                          • Improved performance for Rocksmq when channel is full (#36618)
                                                                                                                                          • +
                                                                                                                                          • Fixed an issue where errors during unpinning were not deferred (#36665)
                                                                                                                                          • +
                                                                                                                                          • Resolved a memory leak for imported segments in the segment manager (#36631)
                                                                                                                                          • +
                                                                                                                                          • Skipped unnecessary health checks for query nodes in the proxy (#36553)
                                                                                                                                          • +
                                                                                                                                          • Fixed an overflow issue with term expressions (#36534)
                                                                                                                                          • +
                                                                                                                                          • Recorded node ID before assigning tasks to prevent task misallocation (#36493)
                                                                                                                                          • +
                                                                                                                                          • Resolved data race issues in clustering compaction (#36499)
                                                                                                                                          • +
                                                                                                                                          • Added a check for string array max length after type matching (#36497)
                                                                                                                                          • +
                                                                                                                                          • Addressed race conditions in mix or standalone mode (#36459)
                                                                                                                                          • +
                                                                                                                                          • Fixed segment imbalance after repeated load and release operations (#36543)
                                                                                                                                          • +
                                                                                                                                          • Corrected a corner case where segments couldn’t be moved from a stopping node (#36475)
                                                                                                                                          • +
                                                                                                                                          • Updated segment info properly even if some segments were missing (#36729)
                                                                                                                                          • +
                                                                                                                                          • Prevented etcd transactions from exceeding the max limit in snapshot KV (#36773)
                                                                                                                                          -

                                                                                                                                          Miglioramenti

                                                                                                                                            -
                                                                                                                                          • Migliorata la stima delle risorse MMAP:
                                                                                                                                              -
                                                                                                                                            • Migliorato il codice relativo a MMAP in column.h(#36521)
                                                                                                                                            • -
                                                                                                                                            • Raffinata la stima delle risorse durante il caricamento delle raccolte(#36728)
                                                                                                                                            • +

                                                                                                                                              Improvements

                                                                                                                                                +
                                                                                                                                              • Enhanced MMAP resource estimation: +
                                                                                                                                                  +
                                                                                                                                                • Improved MMAP-related code in column.h (#36521)
                                                                                                                                                • +
                                                                                                                                                • Refined resource estimation when loading collections (#36728)
                                                                                                                                              • -
                                                                                                                                              • Miglioramenti delle prestazioni:
                                                                                                                                                  -
                                                                                                                                                • Migliorata l'efficienza dell'analisi delle espressioni convertendo Unicode in ASCII(#36676).
                                                                                                                                                • -
                                                                                                                                                • Abilitata la produzione parallela di messaggi per più argomenti(#36462)
                                                                                                                                                • -
                                                                                                                                                • Ridotto l'overhead della CPU nel calcolo della dimensione del file indice(#36580)
                                                                                                                                                • -
                                                                                                                                                • Recuperato il tipo di messaggio dall'intestazione per ridurre al minimo l'unmarshalling (#36454)
                                                                                                                                                • -
                                                                                                                                                • Ottimizzata la politica di selezione delle repliche basata sul carico di lavoro (#36384)
                                                                                                                                                • +
                                                                                                                                                • Performance Enhancements: +
                                                                                                                                                    +
                                                                                                                                                  • Improved expression parsing efficiency by converting Unicode to ASCII (#36676)
                                                                                                                                                  • +
                                                                                                                                                  • Enabled parallel production of messages for multiple topics (#36462)
                                                                                                                                                  • +
                                                                                                                                                  • Reduced CPU overhead when calculating index file size (#36580)
                                                                                                                                                  • +
                                                                                                                                                  • Retrieved message type from header to minimize unmarshalling (#36454)
                                                                                                                                                  • +
                                                                                                                                                  • Optimized workload-based replica selection policy (#36384)
                                                                                                                                                • -
                                                                                                                                                • Suddivisione dei messaggi delle attività di cancellazione per rientrare nei limiti di dimensione massima dei messaggi(#36574)
                                                                                                                                                • -
                                                                                                                                                • Aggiunto un nuovo URL RESTful per descrivere i lavori di importazione(#36754)
                                                                                                                                                • -
                                                                                                                                                • Ottimizzata la pianificazione delle importazioni e aggiunta una metrica del costo del tempo(#36684)
                                                                                                                                                • -
                                                                                                                                                • Aggiunto il log dei rapporti di bilanciamento per il bilanciatore del coordinatore delle query(#36749)
                                                                                                                                                • -
                                                                                                                                                • Passato all'uso di una configurazione GC comune (#36670)
                                                                                                                                                • -
                                                                                                                                                • Aggiunto l'interruttore della politica di streaming forward per il delegatore(#36712)
                                                                                                                                                • -
                                                                                                                                                • Abilitata la compattazione manuale per le raccolte senza indici(#36581)
                                                                                                                                                • -
                                                                                                                                                • Abilitato il bilanciamento del carico sui nodi di query con capacità di memoria variabile(#36625)
                                                                                                                                                • -
                                                                                                                                                • Caso unificato per le etichette in entrata usando metrics.label(#36616)
                                                                                                                                                • -
                                                                                                                                                • Rese idempotenti le operazioni di trasferimento di canali/segmenti (#36552)
                                                                                                                                                • -
                                                                                                                                                • Aggiunte metriche per monitorare il throughput delle importazioni e il conteggio delle righe importate(#36588)
                                                                                                                                                • -
                                                                                                                                                • Impedita la creazione di oggetti timer multipli nei target(#36573)
                                                                                                                                                • -
                                                                                                                                                • Aggiornata la versione delle espressioni e la formattazione della risposta HTTP per le espressioni(#36467)
                                                                                                                                                • -
                                                                                                                                                • Migliorata la garbage collection in KV snapshot (#36793)
                                                                                                                                                • -
                                                                                                                                                • Aggiunto il supporto per l'esecuzione di metodi con parametri contestuali(#36798)
                                                                                                                                                • +
                                                                                                                                                • Split delete task messages to fit within max message size limits (#36574)
                                                                                                                                                • +
                                                                                                                                                • Added new RESTful URL to describe import jobs (#36754)
                                                                                                                                                • +
                                                                                                                                                • Optimized import scheduling and added a time cost metric (#36684)
                                                                                                                                                • +
                                                                                                                                                • Added balance report log for query coordinator balancer (#36749)
                                                                                                                                                • +
                                                                                                                                                • Switched to using common GC configuration (#36670)
                                                                                                                                                • +
                                                                                                                                                • Added streaming forward policy switch for delegator (#36712)
                                                                                                                                                • +
                                                                                                                                                • Enabled manual compaction for collections without indexes (#36581)
                                                                                                                                                • +
                                                                                                                                                • Enabled load balancing on query nodes with varying memory capacities (#36625)
                                                                                                                                                • +
                                                                                                                                                • Unified case for inbound labels using metrics.label (#36616)
                                                                                                                                                • +
                                                                                                                                                • Made transfer channel/segment operations idempotent (#36552)
                                                                                                                                                • +
                                                                                                                                                • Added metrics to monitor import throughput and imported row count (#36588)
                                                                                                                                                • +
                                                                                                                                                • Prevented creation of multiple timer objects in targets (#36573)
                                                                                                                                                • +
                                                                                                                                                • Updated expression version and formatted HTTP response for expressions (#36467)
                                                                                                                                                • +
                                                                                                                                                • Enhanced garbage collection in snapshot KV (#36793)
                                                                                                                                                • +
                                                                                                                                                • Added support to execute methods with context parameters (#36798)

                                                                                                                                                v2.4.12

                                                                                                                                                Data di rilascio: 26 settembre 2024

                                                                                                                                                +

                                                                                                                                                Release Date: September 26, 2024

                                                                                                                                                - +
                                                                                                                                                Versione MilvusVersione dell'SDK PythonVersione dell'SDK JavaVersione SDK Node.js
                                                                                                                                                Milvus versionPython SDK versionJava SDK versionNode.js SDK version
                                                                                                                                                2.4.122.4.72.4.42.4.9
                                                                                                                                                -

                                                                                                                                                Milvus 2.4.12 introduce miglioramenti significativi e correzioni di bug critici. Questa versione risolve i problemi di duplicazione dei dati e migliora la velocità di recupero dei guasti, in particolare quando si gestisce un gran numero di cancellazioni. Tuttavia, persiste un problema noto per cui il recupero dei guasti può essere lento quando si eliminano grandi quantità di dati. Stiamo lavorando attivamente per risolvere questo problema.

                                                                                                                                                -

                                                                                                                                                Miglioramenti

                                                                                                                                                  -
                                                                                                                                                • Implementato l'arresto graduale per il gestore del flowgraph(#36358).
                                                                                                                                                • -
                                                                                                                                                • Disabilitato il controllo degli indici per i campi vettoriali non caricati(#36280)
                                                                                                                                                • -
                                                                                                                                                • Filtrati i record di cancellazione non colpiti durante il caricamento delta (#36272)
                                                                                                                                                • -
                                                                                                                                                • Migliorata la gestione degli errori per le eccezioni di std::stoi(#36296)
                                                                                                                                                • -
                                                                                                                                                • Disconosciute le parole chiave come nomi di campo o nomi di campo dinamici(#36108)
                                                                                                                                                • -
                                                                                                                                                • Aggiunte metriche per la cancellazione di voci nei segmenti L0(#36227)
                                                                                                                                                • -
                                                                                                                                                • Implementata la politica di inoltro L0 per supportare il caricamento remoto(#36208)
                                                                                                                                                • -
                                                                                                                                                • Aggiunto controllo del caricamento del campo RNA nel proxy (#36194)
                                                                                                                                                • -
                                                                                                                                                • Abilitato il supporto per le righe vuote sparse (#36061)
                                                                                                                                                • -
                                                                                                                                                • Corretta una vulnerabilità di sicurezza(#36156)
                                                                                                                                                • -
                                                                                                                                                • Implementato un gestore di statistiche per le metriche delle dimensioni di richiesta/risposta(#36118)
                                                                                                                                                • -
                                                                                                                                                • Corretta la stima delle dimensioni per i dati codificati degli array (#36379)
                                                                                                                                                • +

                                                                                                                                                  Milvus 2.4.12 introduces significant enhancements and critical bug fixes. This release addresses data duplication issues and improves failure recovery speed, particularly when handling large numbers of deletions. However, a known issue persists where failure recovery can be slow when deleting massive amounts of data. We are actively working on resolving this issue.

                                                                                                                                                  +

                                                                                                                                                  Improvements

                                                                                                                                                    +
                                                                                                                                                  • Implemented graceful stop for flowgraph manager (#36358)
                                                                                                                                                  • +
                                                                                                                                                  • Disabled index checks for non-loaded vector fields (#36280)
                                                                                                                                                  • +
                                                                                                                                                  • Filtered out non-hit delete records during delta loading (#36272)
                                                                                                                                                  • +
                                                                                                                                                  • Improved error handling for std::stoi exceptions (#36296)
                                                                                                                                                  • +
                                                                                                                                                  • Disallowed keywords as field names or dynamic field names (#36108)
                                                                                                                                                  • +
                                                                                                                                                  • Added metrics for delete entries in L0 segments (#36227)
                                                                                                                                                  • +
                                                                                                                                                  • Implemented L0 forward policy to support remote loading (#36208)
                                                                                                                                                  • +
                                                                                                                                                  • Added ANN field loading check in proxy (#36194)
                                                                                                                                                  • +
                                                                                                                                                  • Enabled empty sparse row support (#36061)
                                                                                                                                                  • +
                                                                                                                                                  • Fixed a security vulnerability (#36156)
                                                                                                                                                  • +
                                                                                                                                                  • Implemented stats handler for request/response size metrics (#36118)
                                                                                                                                                  • +
                                                                                                                                                  • Corrected size estimation for encoded array data (#36379)
                                                                                                                                                  -

                                                                                                                                                  Correzioni di bug

                                                                                                                                                    -
                                                                                                                                                  • Risolti gli errori di tipo di metrica per le raccolte con due campi vettoriali(#36473)
                                                                                                                                                  • -
                                                                                                                                                  • Corretti i problemi di buffering lungo che causano errori di ricezione della coda di messaggi(#36425)
                                                                                                                                                  • -
                                                                                                                                                  • Implementato il corretto ritorno di compact-to-segments dopo il supporto della divisione (#36429)
                                                                                                                                                  • -
                                                                                                                                                  • Risolti i problemi di corsa ai dati con la goroutine di controllo dell'ID del nodo (#36377)
                                                                                                                                                  • -
                                                                                                                                                  • Rimosso il controllo del tipo di elemento (#36324)
                                                                                                                                                  • -
                                                                                                                                                  • Risolti i problemi di accesso concorrente per i segmenti in crescita e sigillati(#36288)
                                                                                                                                                  • -
                                                                                                                                                  • Implementato un futuro blocco statico (#36333)
                                                                                                                                                  • -
                                                                                                                                                  • Corretto l'uso degli offset in HybridSearch(#36287, #36253)
                                                                                                                                                  • -
                                                                                                                                                  • Risolte le perdite di segmenti/canali sporchi su QueryNode(#36259)
                                                                                                                                                  • -
                                                                                                                                                  • Corretta la gestione della duplicazione delle chiavi primarie(#36274)
                                                                                                                                                  • -
                                                                                                                                                  • Applicata l'impostazione del tipo di metrica nelle richieste di ricerca(#36279)
                                                                                                                                                  • -
                                                                                                                                                  • Corretto il problema di cancellazione della metrica stored_index_files_size(#36161)
                                                                                                                                                  • -
                                                                                                                                                  • Corretto il comportamento del gruppo di privilegi di lettura per l'accesso globale all'API(#36145)
                                                                                                                                                  • +

                                                                                                                                                    Bug fixes

                                                                                                                                                      +
                                                                                                                                                    • Resolved metric type errors for collections with two vector fields (#36473)
                                                                                                                                                    • +
                                                                                                                                                    • Fixed long buffering issues causing message queue reception failures (#36425)
                                                                                                                                                    • +
                                                                                                                                                    • Implemented proper compact-to-segments return after split support (#36429)
                                                                                                                                                    • +
                                                                                                                                                    • Resolved data race issues with node ID check goroutine (#36377)
                                                                                                                                                    • +
                                                                                                                                                    • Removed element type check (#36324)
                                                                                                                                                    • +
                                                                                                                                                    • Fixed concurrent access issues for growing and sealed segments (#36288)
                                                                                                                                                    • +
                                                                                                                                                    • Implemented future stateful lock (#36333)
                                                                                                                                                    • +
                                                                                                                                                    • Corrected offset usage in HybridSearch (#36287, #36253)
                                                                                                                                                    • +
                                                                                                                                                    • Resolved dirty segment/channel leaks on QueryNode (#36259)
                                                                                                                                                    • +
                                                                                                                                                    • Fixed primary key duplication handling (#36274)
                                                                                                                                                    • +
                                                                                                                                                    • Enforced metric type setting in search requests (#36279)
                                                                                                                                                    • +
                                                                                                                                                    • Fixed stored_index_files_size metric clearing issue (#36161)
                                                                                                                                                    • +
                                                                                                                                                    • Corrected readwrite privilege group behavior for global API access (#36145)

                                                                                                                                                    v2.4.11

                                                                                                                                                    Data di rilascio: 11 settembre 2024

                                                                                                                                                    +

                                                                                                                                                    Release Date: September 11, 2024

                                                                                                                                                    - +
                                                                                                                                                    Versione MilvusVersione dell'SDK PythonVersione dell'SDK JavaVersione SDK Node.js
                                                                                                                                                    Milvus versionPython SDK versionJava SDK versionNode.js SDK version
                                                                                                                                                    2.4.112.4.62.4.32.4.8
                                                                                                                                                    -

                                                                                                                                                    Milvus 2.4.11 è una release che risolve diversi problemi critici relativi all'indice delle trie MARISA, alla compattazione e alle operazioni di caricamento. Questa release introduce nuove funzionalità per la visualizzazione delle espressioni e migliora la stabilità delle cancellazioni. Si consiglia a tutti gli utenti della serie 2.4.x di aggiornare a questa versione per beneficiare di questi miglioramenti e correzioni.

                                                                                                                                                    -

                                                                                                                                                    Caratteristiche

                                                                                                                                                      -
                                                                                                                                                    • Aggiunta la visualizzazione statica per le espressioni in 2.4(#35954)
                                                                                                                                                    • -
                                                                                                                                                    • Implementata la logica delle quote relative al buffer di cancellazione (#35997)
                                                                                                                                                    • +

                                                                                                                                                      Milvus 2.4.11 is a bug-fix release that addresses multiple critical issues related to the MARISA trie index, compaction, and loading operations. This release introduces new features to view expressions and improve delete stability. We recommend all users of the 2.4.x series to upgrade to this version to benefit from these improvements and fixes.

                                                                                                                                                      +

                                                                                                                                                      Features

                                                                                                                                                        +
                                                                                                                                                      • Added static view for expressions in 2.4 (#35954)
                                                                                                                                                      • +
                                                                                                                                                      • Implemented delete buffer related quota logic (#35997)
                                                                                                                                                      -

                                                                                                                                                      Correzioni di bug

                                                                                                                                                        -
                                                                                                                                                      • Risolto il problema del funzionamento dell'intervallo di indici Trie per i confronti GreaterThan e GreaterThanEqual (#36126)
                                                                                                                                                      • -
                                                                                                                                                      • Corretto l'uso di marisa_label_order nella costruzione dell'indice Trie(#36060)
                                                                                                                                                      • -
                                                                                                                                                      • Migliorato il controllo del valore per trie.predictive_search (#35999)
                                                                                                                                                      • -
                                                                                                                                                      • Abilitato il supporto delle espressioni aritmetiche binarie sugli indici invertiti(#36097)
                                                                                                                                                      • -
                                                                                                                                                      • Corretto l'errore di segmento causato da Skipindex(#35908)
                                                                                                                                                      • -
                                                                                                                                                      • Risolta la perdita di memoria nella meta-cache del proxy (#36076)
                                                                                                                                                      • -
                                                                                                                                                      • Rinominato il percorso del file mmap per evitare conflitti di directory(#35975)
                                                                                                                                                      • -
                                                                                                                                                      • Migliorato il logging e la pulizia dei task falliti/timeout nella compattazione mix(#35967)
                                                                                                                                                      • -
                                                                                                                                                      • Risolti i deadlock logici durante l'uso elevato di memoria da parte del delegatore(#36066)
                                                                                                                                                      • -
                                                                                                                                                      • Implementata la creazione di segmenti vuoti quando la compattazione cancella tutti gli inserti(#36045)
                                                                                                                                                      • -
                                                                                                                                                      • Corretto il popolamento dell'elenco dei campi di carico dalle informazioni di carico della vecchia versione in 2.4(#36018)
                                                                                                                                                      • -
                                                                                                                                                      • Corretta la logica di aggiornamento della configurazione di tracciamento in 2.4(#35998)
                                                                                                                                                      • -
                                                                                                                                                      • Risolti i fallimenti delle richieste di ricerca/query durante il rilascio di partizioni dinamiche (#36019)
                                                                                                                                                      • -
                                                                                                                                                      • Impedito l'override dei parametri di fallback (#36006)
                                                                                                                                                      • -
                                                                                                                                                      • Assicurata la corretta registrazione dei gruppi di privilegi per la convalida(#35938)
                                                                                                                                                      • -
                                                                                                                                                      • Impedita la pulizia errata dei nodi del limitatore di db (#35992)
                                                                                                                                                      • -
                                                                                                                                                      • Risolto il problema delle repliche che non partecipano alle query dopo il ripristino dei guasti(#35925)
                                                                                                                                                      • -
                                                                                                                                                      • Risolta la corsa ai dati nello scrittore di compattazione del clustering (#35958)
                                                                                                                                                      • -
                                                                                                                                                      • Corretto il riferimento a una variabile dopo un'operazione di spostamento (#35904)
                                                                                                                                                      • -
                                                                                                                                                      • Implementato il controllo del comportamento di caricamento del salto della chiave di clustering (#35899)
                                                                                                                                                      • -
                                                                                                                                                      • Assicurato l'avvio singolo degli osservatori querycoord in 2.4(#35817)
                                                                                                                                                      • +

                                                                                                                                                        Bug fixes

                                                                                                                                                          +
                                                                                                                                                        • Resolved Trie index range operation issue for GreaterThan and GreaterThanEqual comparisons (#36126)
                                                                                                                                                        • +
                                                                                                                                                        • Corrected marisa_label_order usage in Trie index construction (#36060)
                                                                                                                                                        • +
                                                                                                                                                        • Enhanced value checking for trie.predictive_search (#35999)
                                                                                                                                                        • +
                                                                                                                                                        • Enabled Binary arithmetic expression support on inverted index (#36097)
                                                                                                                                                        • +
                                                                                                                                                        • Fixed segment fault caused by Skipindex (#35908)
                                                                                                                                                        • +
                                                                                                                                                        • Resolved memory leak in proxy meta cache (#36076)
                                                                                                                                                        • +
                                                                                                                                                        • Renamed mmap file path to prevent directory conflicts (#35975)
                                                                                                                                                        • +
                                                                                                                                                        • Improved logging and cleanup for failed/timeout tasks in mix compaction (#35967)
                                                                                                                                                        • +
                                                                                                                                                        • Addressed logic deadlock during high memory usage by delegator (#36066)
                                                                                                                                                        • +
                                                                                                                                                        • Implemented empty segment creation when compaction deletes all inserts (#36045)
                                                                                                                                                        • +
                                                                                                                                                        • Corrected load field list population from old version load info in 2.4 (#36018)
                                                                                                                                                        • +
                                                                                                                                                        • Fixed tracing config update logic in 2.4 (#35998)
                                                                                                                                                        • +
                                                                                                                                                        • Resolved search/query request failures during dynamic partition release (#36019)
                                                                                                                                                        • +
                                                                                                                                                        • Prevented override of fallback parameters (#36006)
                                                                                                                                                        • +
                                                                                                                                                        • Ensured proper registration of privilege groups for validation (#35938)
                                                                                                                                                        • +
                                                                                                                                                        • Prevented mistaken cleanup of db limiter nodes (#35992)
                                                                                                                                                        • +
                                                                                                                                                        • Addressed issue with replicas not participating in queries after failure recovery (#35925)
                                                                                                                                                        • +
                                                                                                                                                        • Resolved data race in clustering compaction writer (#35958)
                                                                                                                                                        • +
                                                                                                                                                        • Fixed variable reference after move operation (#35904)
                                                                                                                                                        • +
                                                                                                                                                        • Implemented clustering key skip load behavior check (#35899)
                                                                                                                                                        • +
                                                                                                                                                        • Ensured single startup of querycoord observers in 2.4 (#35817)
                                                                                                                                                        -

                                                                                                                                                        Miglioramenti

                                                                                                                                                          -
                                                                                                                                                        • Aggiornata la versione di Milvus e proto a 2.4.11(#36069)
                                                                                                                                                        • -
                                                                                                                                                        • Risolta la perdita di memoria nei test unitari e abilitata l'opzione use_asan per le build unittest(#35857)
                                                                                                                                                        • -
                                                                                                                                                        • Adeguati i limiti di l0segmentsrowcount a valori più appropriati(#36015)
                                                                                                                                                        • -
                                                                                                                                                        • Modificato il fattore di stima della memoria di deltalog a uno(#36035)
                                                                                                                                                        • -
                                                                                                                                                        • Implementato slicesetequal per i confronti degli elenchi dei campi di carico (#36062)
                                                                                                                                                        • -
                                                                                                                                                        • Ridotta la frequenza dei log per le operazioni di cancellazione(#35981)
                                                                                                                                                        • -
                                                                                                                                                        • Aggiornata la versione di etcd a 3.5.14(#35977)
                                                                                                                                                        • -
                                                                                                                                                        • Ottimizzata la riduzione di mmap-rss dopo il riscaldamento(#35965)
                                                                                                                                                        • -
                                                                                                                                                        • Rimosso il periodo di raffreddamento nel limitatore di velocità per le richieste di lettura(#35936)
                                                                                                                                                        • -
                                                                                                                                                        • Migliorato il controllo dei campi di carico per le raccolte caricate in precedenza(#35910)
                                                                                                                                                        • -
                                                                                                                                                        • Aggiunto il supporto per l'eliminazione dei ruoli legati alle liste di privilegi in 2.4(#35863)
                                                                                                                                                        • -
                                                                                                                                                        • Implementate regole di depguard per proibire l'uso di librerie proto deprecate(#35818)
                                                                                                                                                        • +

                                                                                                                                                          Improvements

                                                                                                                                                            +
                                                                                                                                                          • Upgraded Milvus & proto version to 2.4.11 (#36069)
                                                                                                                                                          • +
                                                                                                                                                          • Addressed memory leak in unit tests and enable use_asan option for unittest builds (#35857)
                                                                                                                                                          • +
                                                                                                                                                          • Adjusted l0segmentsrowcount limits to more appropriate values (#36015)
                                                                                                                                                          • +
                                                                                                                                                          • Modified deltalog memory estimation factor to one (#36035)
                                                                                                                                                          • +
                                                                                                                                                          • Implemented slicesetequal for load field list comparisons (#36062)
                                                                                                                                                          • +
                                                                                                                                                          • Reduced log frequency for delete operations (#35981)
                                                                                                                                                          • +
                                                                                                                                                          • Upgraded etcd version to 3.5.14 (#35977)
                                                                                                                                                          • +
                                                                                                                                                          • Optimized mmap-rss reduction after warmup (#35965)
                                                                                                                                                          • +
                                                                                                                                                          • Removed cooling off period in rate limiter for read requests (#35936)
                                                                                                                                                          • +
                                                                                                                                                          • Enhanced load field checking for previously loaded collections (#35910)
                                                                                                                                                          • +
                                                                                                                                                          • Added support for dropping roles related to privilege lists in 2.4 (#35863)
                                                                                                                                                          • +
                                                                                                                                                          • Implemented depguard rules to prohibit deprecated proto library usage (#35818)
                                                                                                                                                          -

                                                                                                                                                          Altri

                                                                                                                                                            -
                                                                                                                                                          • Aggiornata la versione di Knowhere(#36067)
                                                                                                                                                          • +

                                                                                                                                                            Others

                                                                                                                                                              +
                                                                                                                                                            • Updated Knowhere version (#36067)

                                                                                                                                                            v2.4.10

                                                                                                                                                            Data di rilascio: 30 agosto 2024

                                                                                                                                                            +

                                                                                                                                                            Release Date: August 30, 2024

                                                                                                                                                            - +
                                                                                                                                                            Versione di MilvusVersione dell'SDK PythonVersione dell'SDK JavaVersione SDK Node.js
                                                                                                                                                            Milvus versionPython SDK versionJava SDK versionNode.js SDK version
                                                                                                                                                            2.4.102.4.62.4.32.4.6
                                                                                                                                                            -

                                                                                                                                                            Milvus 2.4.10 introduce miglioramenti significativi in termini di funzionalità e stabilità. Le caratteristiche principali includono il supporto per le operazioni di upsert su collezioni abilitate all'AutoID, capacità di caricamento parziale delle collezioni e varie configurazioni memory-mapped (MMAP) per ottimizzare l'uso della memoria. Questa versione risolve anche diversi bug che causano panico, core dump e perdite di risorse. Si consiglia di eseguire l'aggiornamento per trarre il massimo vantaggio da questi miglioramenti.

                                                                                                                                                            -

                                                                                                                                                            Caratteristiche

                                                                                                                                                              -
                                                                                                                                                            • Upsert con ID automatico: Supporto per le operazioni di upsert con generazione automatica di ID(#34633).
                                                                                                                                                            • -
                                                                                                                                                            • Caricamento parziale dei campi della raccolta [Anteprima beta]: Permette di caricare campi specifici di una raccolta(#35696)
                                                                                                                                                            • -
                                                                                                                                                            • Miglioramenti RBAC:
                                                                                                                                                                -
                                                                                                                                                              • Aggiunto il supporto per i messaggi RBAC per il Change Data Capture (CDC)(#35562).
                                                                                                                                                              • -
                                                                                                                                                              • Introdotti gruppi di privilegi readonly/readwrite/admin per semplificare il processo di concessione RBAC (#35543)
                                                                                                                                                              • -
                                                                                                                                                              • Nuova API per il backup e il ripristino delle configurazioni RBAC(#35513)
                                                                                                                                                              • -
                                                                                                                                                              • Aggiornamento della cache proxy dopo il ripristino dei metadati RBAC(#35636)
                                                                                                                                                              • +

                                                                                                                                                                Milvus 2.4.10 introduces significant improvements in functionality and stability. Key features include support for upsert operations on AutoID-enabled collections, partial collection loading capabilities, and various memory-mapped (MMAP) configurations to optimize memory usage. This release also addresses several bugs causing panics, core dumps, and resource leaks. We recommend upgrading to take full advantage of these improvements.

                                                                                                                                                                +

                                                                                                                                                                Features

                                                                                                                                                                  +
                                                                                                                                                                • Upsert with Auto ID: Support for upsert operations with automatic ID generation (#34633)
                                                                                                                                                                • +
                                                                                                                                                                • Field Partial Load Collection [Beta Preview]: Allows loading specific fields of a collection (#35696)
                                                                                                                                                                • +
                                                                                                                                                                • RBAC Enhancements: +
                                                                                                                                                                    +
                                                                                                                                                                  • Added RBAC message support for Change Data Capture (CDC) (#35562)
                                                                                                                                                                  • +
                                                                                                                                                                  • Introduced readonly/readwrite/admin privilege groups to simplify RBAC grant process (#35543)
                                                                                                                                                                  • +
                                                                                                                                                                  • New API for backing up and restoring RBAC configurations (#35513)
                                                                                                                                                                  • +
                                                                                                                                                                  • Refresh proxy cache after restoring RBAC metadata (#35636)
                                                                                                                                                                • -
                                                                                                                                                                • Configurazione MMAP migliorata: Più opzioni di configurazione generale per controllare il comportamento di MMAP(#35609)
                                                                                                                                                                • -
                                                                                                                                                                • Restrizioni di accesso ai database: Nuove proprietà per limitare l'accesso in lettura ai database(#35754)
                                                                                                                                                                • +
                                                                                                                                                                • Improved MMAP Configuration: More general configuration options to control MMAP behavior (#35609)
                                                                                                                                                                • +
                                                                                                                                                                • Database Access Restrictions: New properties to restrict read access to databases (#35754)
                                                                                                                                                                -

                                                                                                                                                                Correzioni di bug

                                                                                                                                                                  -
                                                                                                                                                                • Corretto il problema del client Arrow Go che non restituisce errori(#35820)
                                                                                                                                                                • -
                                                                                                                                                                • Corretta la limitazione imprecisa della velocità (#35700)
                                                                                                                                                                • -
                                                                                                                                                                • Risolto il panico del proxy dopo i fallimenti dell'API legati all'importazione (#35559)
                                                                                                                                                                • -
                                                                                                                                                                • Corrette potenziali cancellazioni errate durante i checkpoint del canale GC (#35708)
                                                                                                                                                                • -
                                                                                                                                                                • Risolto il panico dovuto a segmenti di importazione candidati vuoti (#35674)
                                                                                                                                                                • -
                                                                                                                                                                • Corretta la deallocazione della memoria mmap (#35726)
                                                                                                                                                                • -
                                                                                                                                                                • Assicurato il corretto controllo dei canali per gli aggiornamenti da 2.2 a 2.4(#35695)
                                                                                                                                                                • -
                                                                                                                                                                • Corretta la funzione di rilascio del canale da parte del DataNode unwatching (#35657)
                                                                                                                                                                • -
                                                                                                                                                                • Corretto il conteggio delle partizioni nei metadati RootCoord (#35601)
                                                                                                                                                                • -
                                                                                                                                                                • Risolti i problemi con gli aggiornamenti dinamici della configurazione per alcuni parametri(#35637)
                                                                                                                                                                • +

                                                                                                                                                                  Bug fixes

                                                                                                                                                                    +
                                                                                                                                                                  • Fixed Arrow Go client don’t return error issue (#35820)
                                                                                                                                                                  • +
                                                                                                                                                                  • Corrected inaccurate rate limiting (#35700)
                                                                                                                                                                  • +
                                                                                                                                                                  • Resolved proxy panic after import-related API failures (#35559)
                                                                                                                                                                  • +
                                                                                                                                                                  • Fixed potential mistaken deletions during GC channel checkpoints (#35708)
                                                                                                                                                                  • +
                                                                                                                                                                  • Addressed panic due to empty candidate import segments (#35674)
                                                                                                                                                                  • +
                                                                                                                                                                  • Corrected mmap memory deallocation (#35726)
                                                                                                                                                                  • +
                                                                                                                                                                  • Ensured proper channel watching for upgrades from 2.2 to 2.4 (#35695)
                                                                                                                                                                  • +
                                                                                                                                                                  • Fixed DataNode unwatching channel release function (#35657)
                                                                                                                                                                  • +
                                                                                                                                                                  • Corrected partition count in RootCoord metadata (#35601)
                                                                                                                                                                  • +
                                                                                                                                                                  • Resolved issues with dynamic config updates for certain parameters (#35637)
                                                                                                                                                                  -

                                                                                                                                                                  Miglioramenti

                                                                                                                                                                  Prestazioni

                                                                                                                                                                    -
                                                                                                                                                                  • Ottimizzato il recupero dei campi dinamici(#35602)
                                                                                                                                                                  • -
                                                                                                                                                                  • Migliorate le prestazioni del bitset per AVX512(#35480)
                                                                                                                                                                  • -
                                                                                                                                                                  • Rilettura del valore dopo l'inizializzazione di once per una migliore efficienza(#35643)
                                                                                                                                                                  • +

                                                                                                                                                                    Improvements

                                                                                                                                                                    Performance

                                                                                                                                                                      +
                                                                                                                                                                    • Optimized retrieval on dynamic fields (#35602)
                                                                                                                                                                    • +
                                                                                                                                                                    • Improved bitset performance for AVX512 (#35480)
                                                                                                                                                                    • +
                                                                                                                                                                    • Re-read value after once initialization for better efficiency (#35643)
                                                                                                                                                                    -

                                                                                                                                                                    Miglioramenti all'aggiornamento continuo

                                                                                                                                                                      -
                                                                                                                                                                    • Contrassegnato il nodo di query come di sola lettura dopo la sospensione(#35586)
                                                                                                                                                                    • -
                                                                                                                                                                    • Impedita la coesistenza del vecchio coordinatore con il nuovo nodo/proxy (#35760)
                                                                                                                                                                    • +

                                                                                                                                                                      Rolling upgrade improvements

                                                                                                                                                                        +
                                                                                                                                                                      • Marked query node as read-only after suspended (#35586)
                                                                                                                                                                      • +
                                                                                                                                                                      • Prevented coexistence of old coordinator with new node/proxy (#35760)
                                                                                                                                                                      -

                                                                                                                                                                      Altri

                                                                                                                                                                        -
                                                                                                                                                                      • Ottimizzato il processo di costruzione del nucleo di Milvus (#35660)
                                                                                                                                                                      • -
                                                                                                                                                                      • Aggiornato a protobuf-go v2(#35555)
                                                                                                                                                                      • -
                                                                                                                                                                      • Migliorato il tracciamento con la codifica di stringhe esadecimali per traceid e spanid(#35568)
                                                                                                                                                                      • -
                                                                                                                                                                      • Aggiunta la metrica del numero di segmenti hit per l'hook delle query (#35619)
                                                                                                                                                                      • -
                                                                                                                                                                      • Migliorata la compatibilità con il vecchio SDK per la funzione configure load param (#35573)
                                                                                                                                                                      • -
                                                                                                                                                                      • Aggiunto il supporto per il throttling HTTP v1/v2(#35504)
                                                                                                                                                                      • -
                                                                                                                                                                      • Corretta la stima della memoria dell'indice (#35670)
                                                                                                                                                                      • -
                                                                                                                                                                      • Possibilità di scrivere più segmenti nel compattatore di mix per evitare la generazione di segmenti di grandi dimensioni(#35648)
                                                                                                                                                                      • +

                                                                                                                                                                        Others

                                                                                                                                                                          +
                                                                                                                                                                        • Optimized Milvus core building process (#35660)
                                                                                                                                                                        • +
                                                                                                                                                                        • Updated to protobuf-go v2 (#35555)
                                                                                                                                                                        • +
                                                                                                                                                                        • Enhanced tracing with hex string encoding for traceid and spanid (#35568)
                                                                                                                                                                        • +
                                                                                                                                                                        • Added hit segment number metrics for query hook (#35619)
                                                                                                                                                                        • +
                                                                                                                                                                        • Improved compatibility with old SDK for configure load param feature (#35573)
                                                                                                                                                                        • +
                                                                                                                                                                        • Added support for HTTP v1/v2 throttling (#35504)
                                                                                                                                                                        • +
                                                                                                                                                                        • Fixed index memory estimation (#35670)
                                                                                                                                                                        • +
                                                                                                                                                                        • Ability to write multiple segments in mix compactor to avoid large segment generation (#35648)

                                                                                                                                                                        v2.4.9

                                                                                                                                                                        Data di rilascio: 20 agosto 2024

                                                                                                                                                                        +

                                                                                                                                                                        Release Date: August 20, 2024

                                                                                                                                                                        - +
                                                                                                                                                                        Versione MilvusVersione dell'SDK PythonVersione dell'SDK JavaVersione SDK Node.js
                                                                                                                                                                        Milvus versionPython SDK versionJava SDK versionNode.js SDK version
                                                                                                                                                                        2.4.92.4.52.4.32.4.4
                                                                                                                                                                        -

                                                                                                                                                                        Milvus v2.4.9 risolve un problema critico che poteva restituire risultati inferiori al limite (topk) in alcuni casi particolari e include diversi miglioramenti chiave per migliorare le prestazioni e l'usabilità della piattaforma.

                                                                                                                                                                        -

                                                                                                                                                                        Correzioni critiche

                                                                                                                                                                          -
                                                                                                                                                                        • Esclusione del segmento l0 dallo snapshot leggibile(#35510).
                                                                                                                                                                        • +

                                                                                                                                                                          Milvus v2.4.9 addresses a critical issue which could return results less than limit (topk) in some corner cases and includes several key improvements to enhance the performance and usability of the platform.

                                                                                                                                                                          +

                                                                                                                                                                          Critical fixes

                                                                                                                                                                            +
                                                                                                                                                                          • Excluded l0 segment from readable snapshot (#35510).
                                                                                                                                                                          -

                                                                                                                                                                          Miglioramenti

                                                                                                                                                                            -
                                                                                                                                                                          • Eliminata la creazione di helper di schema duplicati nel proxy(#35502).
                                                                                                                                                                          • -
                                                                                                                                                                          • Aggiunto il supporto per la compilazione di Milvus su Ubuntu 20.04(#35457).
                                                                                                                                                                          • -
                                                                                                                                                                          • Ottimizzato l'uso dei lock ed evitato il doppio flush del buffer writer del clustering (#35490).
                                                                                                                                                                          • -
                                                                                                                                                                          • Rimosso il log non valido(#35473).
                                                                                                                                                                          • -
                                                                                                                                                                          • Aggiunta una guida all'uso della compattazione del clustering (#35428).
                                                                                                                                                                          • -
                                                                                                                                                                          • Aggiunto il supporto per i campi dinamici nello schema helper(#35469).
                                                                                                                                                                          • -
                                                                                                                                                                          • Aggiunta la sezione msgchannel nello YAML generato(#35466).
                                                                                                                                                                          • +

                                                                                                                                                                            Improvements

                                                                                                                                                                              +
                                                                                                                                                                            • Removed duplicated schema helper creation in the proxy (#35502).
                                                                                                                                                                            • +
                                                                                                                                                                            • Added support for compiling Milvus on Ubuntu 20.04 (#35457).
                                                                                                                                                                            • +
                                                                                                                                                                            • Optimized the use of locks and avoided double flush clustering buffer writer (#35490).
                                                                                                                                                                            • +
                                                                                                                                                                            • Removed the invalid log (#35473).
                                                                                                                                                                            • +
                                                                                                                                                                            • Added a clustering compaction user guide doc (#35428).
                                                                                                                                                                            • +
                                                                                                                                                                            • Added support for dynamic fields in the schema helper (#35469).
                                                                                                                                                                            • +
                                                                                                                                                                            • Added the msgchannel section in the generated YAML (#35466).

                                                                                                                                                                            v2.4.8

                                                                                                                                                                            Data di rilascio: 14 agosto 2024

                                                                                                                                                                            +

                                                                                                                                                                            Release Date: August 14, 2024

                                                                                                                                                                            - +
                                                                                                                                                                            Versione di MilvusVersione dell'SDK PythonVersione dell'SDK JavaVersione SDK Node.js
                                                                                                                                                                            Milvus versionPython SDK versionJava SDK versionNode.js SDK version
                                                                                                                                                                            2.4.82.4.52.4.32.4.4
                                                                                                                                                                            -

                                                                                                                                                                            Milvus 2.4.8 ha introdotto diversi miglioramenti significativi alle prestazioni e alla stabilità del sistema. La caratteristica più importante è stata l'implementazione della compattazione del clustering, un meccanismo che migliora l'efficienza della ricerca e delle interrogazioni ridistribuendo i dati in grandi collezioni in base a una chiave di clustering designata, riducendo la quantità di dati scansionati. La compattazione è stata anche disaccoppiata dallo shard DataNode, consentendo a qualsiasi DataNode di eseguire la compattazione in modo indipendente, migliorando la tolleranza agli errori, la stabilità, le prestazioni e la scalabilità. Inoltre, l'interfaccia tra i componenti Go e C++ è stata rifattorizzata per utilizzare chiamate CGO asincrone, risolvendo problemi come i timeout di sessione, mentre sono state apportate diverse altre ottimizzazioni delle prestazioni basate sulla profilazione. Le dipendenze dell'applicazione sono state aggiornate per risolvere le vulnerabilità di sicurezza note. Inoltre, questa versione include anche numerose ottimizzazioni delle prestazioni e correzioni di bug critici.

                                                                                                                                                                            -

                                                                                                                                                                            Caratteristiche

                                                                                                                                                                              -
                                                                                                                                                                            • Implementata la compattazione del clustering, che consente di ridistribuire i dati in base a una chiave di clustering designata per migliorare l'efficienza delle query(#34326),(#34363).
                                                                                                                                                                            • +

                                                                                                                                                                              Milvus 2.4.8 introduced several significant improvements to the system’s performance and stability. The most notable feature was the implementation of clustering compaction, a mechanism that enhances search and query efficiency by redistributing data in large collections based on a designated clustering key, reducing the amount of data scanned. Compaction was also decoupled from the shard DataNode, allowing any DataNode to perform compaction independently, which improved fault tolerance, stability, performance, and scalability. Additionally, the interface between the Go and C++ components was refactored to use asynchronous CGO calls, addressing issues like session timeouts, while several other performance optimizations were made based on profiling. The application dependencies were also updated to address known security vulnerabilities. Moreover, this release also includes numerous performance optimizations and critical bug fixes.

                                                                                                                                                                              +

                                                                                                                                                                              Features

                                                                                                                                                                                +
                                                                                                                                                                              • Implemented clustering compaction, allowing data to be redistributed based on a designated clustering key to enhance query efficiency (#34326), (#34363).
                                                                                                                                                                              -

                                                                                                                                                                              Miglioramenti

                                                                                                                                                                                -
                                                                                                                                                                              • Implementate le funzionalità di ricerca e recupero asincrono in CGO.(#34200)
                                                                                                                                                                              • -
                                                                                                                                                                              • Separato il processo di compattazione dallo Shard DataNode per migliorare la modularità del sistema.(#34157)
                                                                                                                                                                              • -
                                                                                                                                                                              • Aggiunto il supporto per il pooling dei client in QueryNode all'interno del proxy/delegatore per migliorare le prestazioni.(#35195)
                                                                                                                                                                              • -
                                                                                                                                                                              • Integrato Sonic per minimizzare l'overhead della CPU durante il marshaling e l'unmarshaling di JSON nei gestori Gin e RestfulV1.(#35018)
                                                                                                                                                                              • -
                                                                                                                                                                              • Introdotta una cache in memoria per ottimizzare il recupero dei risultati dell'autenticazione.(#35272)
                                                                                                                                                                              • -
                                                                                                                                                                              • Modificato il tipo di metrica predefinito per l'autoindex.[#34277, #34479]
                                                                                                                                                                              • -
                                                                                                                                                                              • Rifatto il formato della memoria di runtime per le colonne variabili, con conseguente riduzione dell'uso della memoria.[#34367, #35012, #35041]
                                                                                                                                                                              • -
                                                                                                                                                                              • Ritoccati i processi di compattazione per consentire la memorizzazione persistente dei dati.(#34268)
                                                                                                                                                                              • -
                                                                                                                                                                              • Abilitato il supporto di file mappati in memoria per segmenti crescenti, migliorando la gestione della memoria.(#34110)
                                                                                                                                                                              • -
                                                                                                                                                                              • Migliorati i registri di accesso aggiungendo il supporto per le API RESTful, i livelli di consistenza dei registri e la distinzione tra errori di sistema e errori dell'utente.[#34295, #34352, #34396]
                                                                                                                                                                              • -
                                                                                                                                                                              • Utilizzato il nuovo parametro range_search_k in Knowhere per velocizzare le ricerche di intervallo.(#34709)
                                                                                                                                                                              • -
                                                                                                                                                                              • Applicati i filtri Bloom bloccati per migliorare la velocità di costruzione dei filtri e di interrogazione.[#34377, #34922]
                                                                                                                                                                              • -
                                                                                                                                                                              • Miglioramenti nell'uso della memoria:
                                                                                                                                                                                  -
                                                                                                                                                                                • Spazio preallocato per i buffer di inserimento dei DataNode.(#34205)
                                                                                                                                                                                • -
                                                                                                                                                                                • Preallocazione di FieldData per le operazioni di riduzione.(#34254)
                                                                                                                                                                                • -
                                                                                                                                                                                • Rilasciati i record nel codec di cancellazione per evitare perdite di memoria.(#34506)
                                                                                                                                                                                • -
                                                                                                                                                                                • Controllato il livello di concorrenza del file manager del disco durante il caricamento dei file.(#35282)
                                                                                                                                                                                • -
                                                                                                                                                                                • Ottimizzata la logica di garbage collection del runtime di Go per un rilascio tempestivo della memoria.(#34950)
                                                                                                                                                                                • -
                                                                                                                                                                                • Implementata una nuova politica di tenuta per i segmenti in crescita.(#34779)
                                                                                                                                                                                • +

                                                                                                                                                                                  Improvements

                                                                                                                                                                                    +
                                                                                                                                                                                  • Implemented asynchronous search and retrieval capabilities in CGO. (#34200)
                                                                                                                                                                                  • +
                                                                                                                                                                                  • Separated the compaction process from the Shard DataNode to improve system modularity. (#34157)
                                                                                                                                                                                  • +
                                                                                                                                                                                  • Added support for client pooling in QueryNode within the proxy/delegator to enhance performance. (#35195)
                                                                                                                                                                                  • +
                                                                                                                                                                                  • Integrated Sonic to minimize CPU overhead during JSON marshaling and unmarshaling in Gin and RestfulV1 handlers. (#35018)
                                                                                                                                                                                  • +
                                                                                                                                                                                  • Introduced an in-memory cache to optimize authentication result retrieval. (#35272)
                                                                                                                                                                                  • +
                                                                                                                                                                                  • Modified the default metric type for autoindex. [#34277, #34479]
                                                                                                                                                                                  • +
                                                                                                                                                                                  • Refactored the runtime memory format for variable columns, leading to reduced memory usage. [#34367, #35012, #35041]
                                                                                                                                                                                  • +
                                                                                                                                                                                  • Refactored compaction processes to enable persistent data storage. (#34268)
                                                                                                                                                                                  • +
                                                                                                                                                                                  • Enabled memory-mapped file support for growing segments, improving memory management. (#34110)
                                                                                                                                                                                  • +
                                                                                                                                                                                  • Improved access logs by adding RESTful API support, logging consistency levels, and distinguishing between system and user errors. [#34295, #34352, #34396]
                                                                                                                                                                                  • +
                                                                                                                                                                                  • Utilized the new range_search_k parameter in Knowhere to speed up range searches. (#34709)
                                                                                                                                                                                  • +
                                                                                                                                                                                  • Applied blocked Bloom filters to enhance the speed of filter construction and querying. [#34377, #34922]
                                                                                                                                                                                  • +
                                                                                                                                                                                  • Memory Usage Improvements: +
                                                                                                                                                                                      +
                                                                                                                                                                                    • Pre-allocated space for DataNode insert buffers. (#34205)
                                                                                                                                                                                    • +
                                                                                                                                                                                    • Pre-allocated FieldData for Reduce operations. (#34254)
                                                                                                                                                                                    • +
                                                                                                                                                                                    • Released records in delete codec to prevent memory leaks. (#34506)
                                                                                                                                                                                    • +
                                                                                                                                                                                    • Controlled concurrency level of the disk file manager during file loading. (#35282)
                                                                                                                                                                                    • +
                                                                                                                                                                                    • Optimized Go runtime garbage collection logic for timely memory release. (#34950)
                                                                                                                                                                                    • +
                                                                                                                                                                                    • Implemented a new seal policy for growing segments. (#34779)
                                                                                                                                                                                  • -
                                                                                                                                                                                  • Miglioramenti a DataCoord:
                                                                                                                                                                                      -
                                                                                                                                                                                    • Riduzione dell'uso della CPU.[#34231, #34309]
                                                                                                                                                                                    • -
                                                                                                                                                                                    • Implementata una logica di uscita dalla garbage collection più veloce.(#35051)
                                                                                                                                                                                    • -
                                                                                                                                                                                    • Migliorati gli algoritmi di pianificazione dei nodi worker.(#34382)
                                                                                                                                                                                    • -
                                                                                                                                                                                    • Migliorato l'algoritmo di controllo delle dimensioni dei segmenti, in particolare per le operazioni di importazione.(#35149)
                                                                                                                                                                                    • +
                                                                                                                                                                                    • DataCoord Enhancements: +
                                                                                                                                                                                        +
                                                                                                                                                                                      • Reduced CPU usage. [#34231, #34309]
                                                                                                                                                                                      • +
                                                                                                                                                                                      • Implemented faster garbage collection exit logic. (#35051)
                                                                                                                                                                                      • +
                                                                                                                                                                                      • Improved worker node scheduling algorithms. (#34382)
                                                                                                                                                                                      • +
                                                                                                                                                                                      • Enhanced segment size control algorithm specifically for import operations. (#35149)
                                                                                                                                                                                    • -
                                                                                                                                                                                    • Miglioramenti all'algoritmo di bilanciamento del carico:
                                                                                                                                                                                        -
                                                                                                                                                                                      • Riduzione del fattore di sovraccarico della memoria sul delegatore.(#35164)
                                                                                                                                                                                      • -
                                                                                                                                                                                      • Allocazione di una dimensione di memoria fissa per il delegatore.(#34600)
                                                                                                                                                                                      • -
                                                                                                                                                                                      • Evitata l'allocazione eccessiva di segmenti e canali per i nuovi nodi di interrogazione.(#34245)
                                                                                                                                                                                      • -
                                                                                                                                                                                      • Riduzione del numero di compiti per ciclo di pianificazione da parte del Query Coordinator, pur aumentando la frequenza di pianificazione.(#34987)
                                                                                                                                                                                      • -
                                                                                                                                                                                      • Migliorato l'algoritmo di bilanciamento dei canali sul DataNode (#35033).
                                                                                                                                                                                      • +
                                                                                                                                                                                      • Load Balancing Algorithm Improvements: +
                                                                                                                                                                                          +
                                                                                                                                                                                        • Reduced the memory overload factor on the delegator. (#35164)
                                                                                                                                                                                        • +
                                                                                                                                                                                        • Allocated fixed memory size for the delegator. (#34600)
                                                                                                                                                                                        • +
                                                                                                                                                                                        • Avoided excessive allocation of segments and channels for new query nodes. (#34245)
                                                                                                                                                                                        • +
                                                                                                                                                                                        • Reduced the number of tasks per scheduling cycle by Query Coordinator while increasing scheduling frequency. (#34987)
                                                                                                                                                                                        • +
                                                                                                                                                                                        • Enhanced channel balancing algorithm on the DataNode. (#35033)
                                                                                                                                                                                      • -
                                                                                                                                                                                      • Espansione delle metriche di sistema: Aggiunte nuove metriche su vari componenti per monitorare aspetti specifici, tra cui:
                                                                                                                                                                                          -
                                                                                                                                                                                        • stato di force-deny-writing.(#34989)
                                                                                                                                                                                        • -
                                                                                                                                                                                        • Latenza della coda.(#34788)
                                                                                                                                                                                        • -
                                                                                                                                                                                        • Quota disco.(#35306)
                                                                                                                                                                                        • -
                                                                                                                                                                                        • Tempo di esecuzione dei task.(#35141)
                                                                                                                                                                                        • -
                                                                                                                                                                                        • Dimensione del Binlog.(#35235)
                                                                                                                                                                                        • -
                                                                                                                                                                                        • Velocità di inserimento.(#35188)
                                                                                                                                                                                        • -
                                                                                                                                                                                        • Livello alto della memoria.(#35188)
                                                                                                                                                                                        • -
                                                                                                                                                                                        • Metriche API RESTful.(#35083)
                                                                                                                                                                                        • -
                                                                                                                                                                                        • Latenza di ricerca.(#34783)
                                                                                                                                                                                        • +
                                                                                                                                                                                        • Expanded System Metrics: Added new metrics across various components to monitor specific aspects including: +
                                                                                                                                                                                        -

                                                                                                                                                                                        Modifiche

                                                                                                                                                                                          -
                                                                                                                                                                                        • Per gli utenti open-source, questa versione cambia i tipi di metrica in AutoIndex per FloatVector e BinaryVector in Cosine e Hamming, rispettivamente.

                                                                                                                                                                                        • -
                                                                                                                                                                                        • Versioni fisse di dipendenze di terze parti:

                                                                                                                                                                                          +

                                                                                                                                                                                          Changes

                                                                                                                                                                                            +
                                                                                                                                                                                          • For open-source users, this version changes the metric types in AutoIndex for FloatVector and BinaryVector to Cosine and Hamming, respectively.

                                                                                                                                                                                          • +
                                                                                                                                                                                          • Fixed Third-Party Dependency Versions:

                                                                                                                                                                                              -
                                                                                                                                                                                            • Questa versione introduce versioni fisse per alcune librerie di dipendenza di terze parti, migliorando in modo significativo la gestione della catena di fornitura del software di Milvus.
                                                                                                                                                                                            • -
                                                                                                                                                                                            • Isolando il progetto dalle modifiche a monte, salvaguarda le build quotidiane da potenziali interruzioni.
                                                                                                                                                                                            • -
                                                                                                                                                                                            • L'aggiornamento garantisce la stabilità ospitando esclusivamente pacchetti C++ convalidati di terze parti su JFrog Cloud e utilizzando Conan Recipe Revisions (RREV).
                                                                                                                                                                                            • -
                                                                                                                                                                                            • Questo approccio attenua il rischio di rottura delle modifiche derivanti dagli aggiornamenti in ConanCenter.
                                                                                                                                                                                            • -
                                                                                                                                                                                            • Gli sviluppatori che utilizzano Ubuntu 22.04 beneficeranno immediatamente di queste modifiche. Tuttavia, gli sviluppatori che utilizzano altri sistemi operativi potrebbero dover aggiornare la versione di glibc per evitare problemi di compatibilità.
                                                                                                                                                                                            • +
                                                                                                                                                                                            • This release introduces fixed versions for certain third-party dependency libraries, significantly enhancing Milvus’s software supply chain management.
                                                                                                                                                                                            • +
                                                                                                                                                                                            • By isolating the project from upstream changes, it safeguards daily builds from potential disruptions.
                                                                                                                                                                                            • +
                                                                                                                                                                                            • The update ensures stability by exclusively hosting validated C++ third-party packages on JFrog Cloud and utilizing Conan Recipe Revisions (RREV).
                                                                                                                                                                                            • +
                                                                                                                                                                                            • This approach mitigates the risk of breaking changes from updates in ConanCenter.
                                                                                                                                                                                            • +
                                                                                                                                                                                            • Developers using Ubuntu 22.04 will benefit immediately from these changes. However, developers on other operating systems may need to upgrade their glibc version to avoid compatibility issues.
                                                                                                                                                                                          -

                                                                                                                                                                                          Correzioni di bug critici

                                                                                                                                                                                            -
                                                                                                                                                                                          • Corretto un problema per cui i dati di cancellazione andavano persi a causa dell'omissione di segmenti durante la compattazione L0.[#33980, #34363]
                                                                                                                                                                                          • -
                                                                                                                                                                                          • Corretto un problema per cui i messaggi di cancellazione non venivano inoltrati a causa di una gestione errata dell'ambito dei dati.(#35313)
                                                                                                                                                                                          • -
                                                                                                                                                                                          • Risolta un'eccezione SIGBUS che si verificava a causa di un uso non corretto di mmap.[#34455, #34530]
                                                                                                                                                                                          • -
                                                                                                                                                                                          • Corretti gli arresti anomali causati da espressioni di ricerca illegali.(#35307)
                                                                                                                                                                                          • -
                                                                                                                                                                                          • Corretto un problema per cui l'orologio DataNode falliva a causa di un'impostazione errata del timeout nel contesto dell'orologio.(#35017)
                                                                                                                                                                                          • +

                                                                                                                                                                                            Critical bug fixes

                                                                                                                                                                                              +
                                                                                                                                                                                            • Fixed an issue where deletion data was lost due to segments being omitted during L0 compaction. [#33980, #34363]
                                                                                                                                                                                            • +
                                                                                                                                                                                            • Rectified a problem where delete messages failed to be forwarded due to incorrect data scope handling. (#35313)
                                                                                                                                                                                            • +
                                                                                                                                                                                            • Resolved a SIGBUS exception that occurred due to incorrect usage of mmap. [#34455, #34530]
                                                                                                                                                                                            • +
                                                                                                                                                                                            • Fixed crashes caused by illegal search expressions. (#35307)
                                                                                                                                                                                            • +
                                                                                                                                                                                            • Corrected an issue where DataNode watch failed due to an incorrect timeout setting in the watch context. (#35017)
                                                                                                                                                                                            -

                                                                                                                                                                                            Correzioni di bug

                                                                                                                                                                                              -
                                                                                                                                                                                            • Risolte le vulnerabilità di sicurezza aggiornando alcune dipendenze.[#33927, #34693]
                                                                                                                                                                                            • -
                                                                                                                                                                                            • Corretto un errore di parsing causato da espressioni troppo lunghe.(#34957)
                                                                                                                                                                                            • -
                                                                                                                                                                                            • Risolta una perdita di memoria che si verificava durante l'analisi del piano di query.(#34932)
                                                                                                                                                                                            • -
                                                                                                                                                                                            • Corretto un problema per cui le modifiche al livello di log dinamico non avevano effetto.(#34777)
                                                                                                                                                                                            • -
                                                                                                                                                                                            • Risolto un problema per cui le query group by su dati in crescita fallivano a causa di offset di segmento non inizializzati.(#34750)
                                                                                                                                                                                            • -
                                                                                                                                                                                            • Corretta l'impostazione dei parametri di ricerca quando si usa l'iteratore Knowhere.(#34732)
                                                                                                                                                                                            • -
                                                                                                                                                                                            • Rivista la logica per il controllo dello stato del caricamento della partizione.(#34305)
                                                                                                                                                                                            • -
                                                                                                                                                                                            • Corretto un problema per cui gli aggiornamenti della cache dei privilegi non riuscivano a causa di errori di richiesta non gestiti.(#34697)
                                                                                                                                                                                            • -
                                                                                                                                                                                            • Risolto un errore nel recupero della collezione caricata dopo il riavvio di QueryCoord.(#35211)
                                                                                                                                                                                            • -
                                                                                                                                                                                            • Risolto un problema di idempotenza del carico eliminando la convalida non necessaria dei parametri dell'indice.(#35179)
                                                                                                                                                                                            • -
                                                                                                                                                                                            • Assicurata l'esecuzione di compressBinlog per consentire a reloadFromKV di riempire correttamente logID di binlog dopo il riavvio di DataCoord.(#34062)
                                                                                                                                                                                            • -
                                                                                                                                                                                            • Corretto un problema per cui i metadati della raccolta non venivano rimossi dopo la garbage collection in DataCoord.(#34884)
                                                                                                                                                                                            • -
                                                                                                                                                                                            • Risolta una perdita di memoria in SegmentManager all'interno di DataCoord rimuovendo i segmenti flussati generati attraverso le importazioni.(#34651)
                                                                                                                                                                                            • -
                                                                                                                                                                                            • Risolto un problema di panico quando la compattazione era disabilitata e una raccolta veniva abbandonata.(#34206)
                                                                                                                                                                                            • -
                                                                                                                                                                                            • Corretto un problema di esaurimento della memoria in DataNode migliorando l'algoritmo di stima dell'uso della memoria.(#34203)
                                                                                                                                                                                            • -
                                                                                                                                                                                            • Impedito l'utilizzo a raffica della memoria quando più richieste di recupero di vettori hanno un miss della cache, implementando il singleflight per la cache dei chunk.(#34283)
                                                                                                                                                                                            • -
                                                                                                                                                                                            • Catturato ErrKeyNotFound durante le operazioni CAS (Compare and Swap) nella configurazione.(#34489)
                                                                                                                                                                                            • -
                                                                                                                                                                                            • Corretto un problema per cui gli aggiornamenti della configurazione fallivano a causa dell'uso errato del valore formattato in un'operazione CAS.(#34373)
                                                                                                                                                                                            • +

                                                                                                                                                                                              Bug fixes

                                                                                                                                                                                                +
                                                                                                                                                                                              • Addressed security vulnerabilities by upgrading certain dependencies. [#33927, #34693]
                                                                                                                                                                                              • +
                                                                                                                                                                                              • Fixed a parsing error triggered by excessively long expressions. (#34957)
                                                                                                                                                                                              • +
                                                                                                                                                                                              • Resolved a memory leak that occurred during query plan parsing. (#34932)
                                                                                                                                                                                              • +
                                                                                                                                                                                              • Fixed an issue where dynamic log level modifications were not taking effect. (#34777)
                                                                                                                                                                                              • +
                                                                                                                                                                                              • Resolved an issue where group by queries on growing data failed due to uninitialized segment offsets. (#34750)
                                                                                                                                                                                              • +
                                                                                                                                                                                              • Corrected the setting of search parameters when using the Knowhere iterator. (#34732)
                                                                                                                                                                                              • +
                                                                                                                                                                                              • Revised the logic for checking the status of the partition load. (#34305)
                                                                                                                                                                                              • +
                                                                                                                                                                                              • Fixed an issue where privilege cache updates failed due to unhandled request errors. (#34697)
                                                                                                                                                                                              • +
                                                                                                                                                                                              • Resolved a failure in loaded collection recovery after QueryCoord restarted. (#35211)
                                                                                                                                                                                              • +
                                                                                                                                                                                              • Fixed an issue of load idempotence by removing unnecessary index parameter validation. (#35179)
                                                                                                                                                                                              • +
                                                                                                                                                                                              • Ensured compressBinlog is executed to allow reloadFromKV to properly fill binlog’s logID after DataCoord restarts. (#34062)
                                                                                                                                                                                              • +
                                                                                                                                                                                              • Fixed an issue where collection metadata was not removed after garbage collection in DataCoord. (#34884)
                                                                                                                                                                                              • +
                                                                                                                                                                                              • Resolved a memory leak in SegmentManager within DataCoord by removing flushed segments generated through imports. (#34651)
                                                                                                                                                                                              • +
                                                                                                                                                                                              • Fixed a panic issue when compaction was disabled and a collection was dropped. (#34206)
                                                                                                                                                                                              • +
                                                                                                                                                                                              • Fixed an out-of-memory issue in DataNode by enhancing the memory usage estimation algorithm. (#34203)
                                                                                                                                                                                              • +
                                                                                                                                                                                              • Prevented burst memory usage when multiple vector retrieval requests hit a cache miss by implementing singleflight for chunk cache. (#34283)
                                                                                                                                                                                              • +
                                                                                                                                                                                              • Captured ErrKeyNotFound during CAS (Compare and Swap) operations in the configuration. (#34489)
                                                                                                                                                                                              • +
                                                                                                                                                                                              • Fixed an issue where configuration updates failed due to mistakenly using the formatted value in a CAS operation. (#34373)
                                                                                                                                                                                              -

                                                                                                                                                                                              Varie

                                                                                                                                                                                                -
                                                                                                                                                                                              • Aggiunto il supporto per l'esportatore HTTP OTLP, migliorando le capacità di osservazione e monitoraggio.[#35073, #35299]
                                                                                                                                                                                              • -
                                                                                                                                                                                              • Migliorata la funzionalità del database introducendo proprietà come "max collections" e "disk quota", che ora possono essere modificate dinamicamente.[#34511, #34386]
                                                                                                                                                                                              • -
                                                                                                                                                                                              • Aggiunte funzionalità di tracciamento per i processi di compattazione L0 all'interno di DataNode per migliorare la diagnostica e il monitoraggio.(#33898)
                                                                                                                                                                                              • -
                                                                                                                                                                                              • Introdotta la configurazione della quota per il numero di voci di segmento L0 per raccolta, consentendo un migliore controllo dei tassi di cancellazione applicando una pressione all'indietro.(#34837)
                                                                                                                                                                                              • -
                                                                                                                                                                                              • Esteso il meccanismo di limitazione della velocità per le operazioni di inserimento anche alle operazioni di upsert, garantendo prestazioni costanti in condizioni di carico elevato.(#34616)
                                                                                                                                                                                              • -
                                                                                                                                                                                              • Implementato un pool CGO dinamico per le chiamate proxy CGO, ottimizzando l'uso delle risorse e le prestazioni.(#34842)
                                                                                                                                                                                              • -
                                                                                                                                                                                              • Abilitata l'opzione di compilazione DiskAnn per i sistemi operativi Ubuntu, Rocky e Amazon, migliorando la compatibilità e le prestazioni su queste piattaforme.(#34244)
                                                                                                                                                                                              • -
                                                                                                                                                                                              • Aggiornato Conan alla versione 1.64.1, per garantire la compatibilità con le funzioni e i miglioramenti più recenti.(#35216)
                                                                                                                                                                                              • -
                                                                                                                                                                                              • Aggiornato Knowhere alla versione 2.3.7, con miglioramenti delle prestazioni e nuove funzionalità.(#34709)
                                                                                                                                                                                              • -
                                                                                                                                                                                              • Corretta la revisione di specifici pacchetti di terze parti per garantire build coerenti e ridurre il rischio di modifiche inattese.(#35316)
                                                                                                                                                                                              • +

                                                                                                                                                                                                Miscellaneous

                                                                                                                                                                                                  +
                                                                                                                                                                                                • Added support for the OTLP HTTP exporter, enhancing observability and monitoring capabilities. [#35073, #35299]
                                                                                                                                                                                                • +
                                                                                                                                                                                                • Enhanced database functionality by introducing properties such as “max collections” and “disk quota,” which can now be dynamically modified. [#34511, #34386]
                                                                                                                                                                                                • +
                                                                                                                                                                                                • Added tracing capabilities for L0 compaction processes within DataNode to improve diagnostics and monitoring. (#33898)
                                                                                                                                                                                                • +
                                                                                                                                                                                                • Introduced quota configuration for the number of L0 segment entries per collection, enabling better control over deletion rates by applying backpressure. (#34837)
                                                                                                                                                                                                • +
                                                                                                                                                                                                • Extended the rate-limiting mechanism for insert operations to also cover upsert operations, ensuring consistent performance under high load. (#34616)
                                                                                                                                                                                                • +
                                                                                                                                                                                                • Implemented a dynamic CGO pool for proxy CGO calls, optimizing resource usage and performance. (#34842)
                                                                                                                                                                                                • +
                                                                                                                                                                                                • Enabled the DiskAnn compile option for Ubuntu, Rocky, and Amazon operating systems, improving compatibility and performance on these platforms. (#34244)
                                                                                                                                                                                                • +
                                                                                                                                                                                                • Upgraded Conan to version 1.64.1, ensuring compatibility with the latest features and improvements. (#35216)
                                                                                                                                                                                                • +
                                                                                                                                                                                                • Updated Knowhere to version 2.3.7, bringing in performance enhancements and new features. (#34709)
                                                                                                                                                                                                • +
                                                                                                                                                                                                • Fixed the revision of specific third-party packages to ensure consistent builds and reduce the risk of unexpected changes. (#35316)

                                                                                                                                                                                                v2.4.6

                                                                                                                                                                                                Data di rilascio: 16 luglio 2024

                                                                                                                                                                                                +

                                                                                                                                                                                                Release date: July 16, 2024

                                                                                                                                                                                                - +
                                                                                                                                                                                                Versione MilvusVersione dell'SDK PythonVersione dell'SDK JavaVersione SDK Node.js
                                                                                                                                                                                                Milvus versionPython SDK versionJava SDK versionNode.js SDK version
                                                                                                                                                                                                2.4.62.4.42.4.22.4.4
                                                                                                                                                                                                -

                                                                                                                                                                                                Milvus v2.4.6 è una release di correzione di bug che risolve problemi critici come panico, perdite di memoria e perdita di dati durante le cancellazioni. Introduce inoltre diverse ottimizzazioni, tra cui miglioramenti alle metriche di monitoraggio, l'aggiornamento della versione Go alla 1.21 e il miglioramento dell'esperienza utente per le query RESTful count(*).

                                                                                                                                                                                                -

                                                                                                                                                                                                Miglioramenti

                                                                                                                                                                                                  -
                                                                                                                                                                                                • Migliorata la facilità d'uso delle query API RESTful(#34444).
                                                                                                                                                                                                • -
                                                                                                                                                                                                • Aggiornata la versione di Go da 1.20 a 1.21(#33940).
                                                                                                                                                                                                • -
                                                                                                                                                                                                • Ottimizzato il bucket della metrica dell'istogramma per una granularità più fine nel bucketing (#34592).
                                                                                                                                                                                                • -
                                                                                                                                                                                                • Aggiornata la versione delle dipendenze di Pulsar da 2.8.2 a 2.9.5. Si raccomanda di aggiornare Pulsar alla versione 2.9.5 da Milvus 2.4.6.
                                                                                                                                                                                                • +

                                                                                                                                                                                                  Milvus v2.4.6 is a bug-fix release that addresses critical issues such as panics, memory leaks, and data loss during deletions. It also introduces several optimizations, including enhancements to monitoring metrics, upgrading the Go version to 1.21, and improving the user experience for RESTful count(*) queries.

                                                                                                                                                                                                  +

                                                                                                                                                                                                  Improvements

                                                                                                                                                                                                    +
                                                                                                                                                                                                  • Enhanced the user-friendliness of RESTful API queries (#34444).
                                                                                                                                                                                                  • +
                                                                                                                                                                                                  • Upgraded the Go version from 1.20 to 1.21 (#33940).
                                                                                                                                                                                                  • +
                                                                                                                                                                                                  • Optimized the histogram metric bucket for finer granularity in bucketing (#34592).
                                                                                                                                                                                                  • +
                                                                                                                                                                                                  • Upgraded Pulsar dependency version from 2.8.2 to 2.9.5. It’s recommended to upgrade Pulsar to 2.9.5 since Milvus 2.4.6.
                                                                                                                                                                                                  -

                                                                                                                                                                                                  Correzioni di bug

                                                                                                                                                                                                    -
                                                                                                                                                                                                  • Corretto un problema per cui l'API GetReplicas restituiva uno stato nullo(#34019).
                                                                                                                                                                                                  • -
                                                                                                                                                                                                  • Corretto un problema per cui le query potevano restituire record cancellati(#34502).
                                                                                                                                                                                                  • -
                                                                                                                                                                                                  • Risolto un problema per cui IndexNode si bloccava durante l'arresto a causa di un controllo errato della durata (#34559).
                                                                                                                                                                                                  • -
                                                                                                                                                                                                  • Corretta una perdita di memoria degli oggetti oracolo a chiave primaria quando un worker è offline (#34020).
                                                                                                                                                                                                  • -
                                                                                                                                                                                                  • Corretto ChannelManagerImplV2 per notificare il nodo corretto, risolvendo i problemi di cattura dei parametri nella chiusura del ciclo(#34004).
                                                                                                                                                                                                  • -
                                                                                                                                                                                                  • Corretta una corsa di dati in lettura e scrittura in ImportTask segmentsInfo implementando una copia profonda (#34126).
                                                                                                                                                                                                  • -
                                                                                                                                                                                                  • Corrette le informazioni sulla versione per l'opzione di configurazione "legacyVersionWithoutRPCWatch", per evitare errori durante gli aggiornamenti periodici (#34185).
                                                                                                                                                                                                  • -
                                                                                                                                                                                                  • Corretta la metrica per il numero di partizioni caricate(#34195).
                                                                                                                                                                                                  • -
                                                                                                                                                                                                  • Passata la configurazione di otlpSecure quando si imposta il tracciamento di segcore(#34210).
                                                                                                                                                                                                  • -
                                                                                                                                                                                                  • Risolto un problema per cui le proprietà di DataCoord venivano sovrascritte per errore(#34240).
                                                                                                                                                                                                  • -
                                                                                                                                                                                                  • Risolto un problema di perdita di dati causato dall'unione errata di due flussi di messaggi appena creati(#34563).
                                                                                                                                                                                                  • -
                                                                                                                                                                                                  • Corretto un panico causato da msgstream che cercava di consumare un pchannel non valido(#34230).
                                                                                                                                                                                                  • -
                                                                                                                                                                                                  • Risolto un problema per cui le importazioni potevano generare file orfani (#34071).
                                                                                                                                                                                                  • -
                                                                                                                                                                                                  • Risolti i risultati incompleti delle query a causa di chiavi primarie duplicate in un segmento(#34302).
                                                                                                                                                                                                  • -
                                                                                                                                                                                                  • Risolto un problema di segmenti sigillati mancanti nella compattazione L0(#34566).
                                                                                                                                                                                                  • -
                                                                                                                                                                                                  • Risolto il problema dei dati sporchi nel meta canale-cp generato dopo la garbage collection(#34609).
                                                                                                                                                                                                  • -
                                                                                                                                                                                                  • Corretta la metrica in cui database_num era 0 dopo il riavvio di RootCoord(#34010).
                                                                                                                                                                                                  • -
                                                                                                                                                                                                  • Corretta una perdita di memoria in SegmentManager in DataCoord rimuovendo i segmenti generati dall'importazione (#34652).
                                                                                                                                                                                                  • -
                                                                                                                                                                                                  • Assicurato che compressBinlog riempia il logID dei binlog dopo il riavvio di DataCoord, garantendo il corretto ricarico da KV(#34064).
                                                                                                                                                                                                  • +

                                                                                                                                                                                                    Bug fixes

                                                                                                                                                                                                      +
                                                                                                                                                                                                    • Fixed an issue where the GetReplicas API returned a nil status (#34019).
                                                                                                                                                                                                    • +
                                                                                                                                                                                                    • Corrected a problem where queries could return deleted records (#34502).
                                                                                                                                                                                                    • +
                                                                                                                                                                                                    • Resolved an issue where IndexNode would get stuck during stopping due to incorrect lifetime control (#34559).
                                                                                                                                                                                                    • +
                                                                                                                                                                                                    • Fixed a memory leak of primary key oracle objects when a worker is offline (#34020).
                                                                                                                                                                                                    • +
                                                                                                                                                                                                    • Corrected ChannelManagerImplV2 to notify the correct Node, addressing parameter capture issues in loop closure (#34004).
                                                                                                                                                                                                    • +
                                                                                                                                                                                                    • Fixed a read-write data race in ImportTask segmentsInfo by implementing a deep copy (#34126).
                                                                                                                                                                                                    • +
                                                                                                                                                                                                    • Corrected version information for the “legacyVersionWithoutRPCWatch” configuration option to prevent errors during rolling upgrades (#34185).
                                                                                                                                                                                                    • +
                                                                                                                                                                                                    • Fixed the metric for the number of partitions loaded (#34195).
                                                                                                                                                                                                    • +
                                                                                                                                                                                                    • Passed the otlpSecure config when setting up segcore tracing (#34210).
                                                                                                                                                                                                    • +
                                                                                                                                                                                                    • Fixed an issue where DataCoord’s properties were overwritten by mistake (#34240).
                                                                                                                                                                                                    • +
                                                                                                                                                                                                    • Resolved a data loss issue caused by erroneously merging two newly created message streams (#34563).
                                                                                                                                                                                                    • +
                                                                                                                                                                                                    • Fixed a panic caused by msgstream trying to consume an invalid pchannel (#34230).
                                                                                                                                                                                                    • +
                                                                                                                                                                                                    • Addressed an issue where imports could generate orphaned files (#34071).
                                                                                                                                                                                                    • +
                                                                                                                                                                                                    • Fixed incomplete query results due to duplicate primary keys in a segment (#34302).
                                                                                                                                                                                                    • +
                                                                                                                                                                                                    • Resolved an issue of missing sealed segments in L0 compaction (#34566).
                                                                                                                                                                                                    • +
                                                                                                                                                                                                    • Fixed the problem of dirty data in the channel-cp meta generated after garbage collection (#34609).
                                                                                                                                                                                                    • +
                                                                                                                                                                                                    • Corrected the metrics where database_num was 0 after restarting RootCoord (#34010).
                                                                                                                                                                                                    • +
                                                                                                                                                                                                    • Fixed a memory leak in SegmentManager in DataCoord by removing flushed segments generated through import (#34652).
                                                                                                                                                                                                    • +
                                                                                                                                                                                                    • Ensured compressBinlog to fill binlogs’ logID after DataCoord restarts, ensuring proper reload from KV (#34064).

                                                                                                                                                                                                    v2.4.5

                                                                                                                                                                                                    Data di rilascio: 18 giugno 2024

                                                                                                                                                                                                    +

                                                                                                                                                                                                    Release date: June 18, 2024

                                                                                                                                                                                                    - +
                                                                                                                                                                                                    Versione MilvusVersione dell'SDK PythonVersione SDK JavaVersione SDK Node.js
                                                                                                                                                                                                    Milvus versionPython SDK versionJava SDK versionNode.js SDK version
                                                                                                                                                                                                    2.4.52.4.42.4.12.4.3
                                                                                                                                                                                                    -

                                                                                                                                                                                                    Il rilascio di Milvus 2.4.5 introduce diversi miglioramenti e correzioni di bug per migliorare le prestazioni, la stabilità e la funzionalità. Milvus 2.4.5 semplifica la ricerca di vettori sparsi, float16 e bfloat16 con l'indicizzazione automatica, velocizza le ricerche, le cancellazioni e le compattazioni con le ottimizzazioni del filtro Bloom e affronta la gestione dei dati con tempi di caricamento più rapidi e il supporto dei segmenti L0 importati. Inoltre, introduce l'indice sparse HNSW per una ricerca efficiente di dati sparsi ad alta dimensione, migliora l'API RESTful con il supporto dei vettori sparse float e corregge i bug critici per una maggiore stabilità.

                                                                                                                                                                                                    -

                                                                                                                                                                                                    Nuove funzioni

                                                                                                                                                                                                      -
                                                                                                                                                                                                    • Aggiunto il supporto rbac all'API describe/alter database(#33804)
                                                                                                                                                                                                    • -
                                                                                                                                                                                                    • Supportata la costruzione dell'indice HNSW per i vettori sparsi(#33653, #33662)
                                                                                                                                                                                                    • -
                                                                                                                                                                                                    • Supportata la costruzione dell'indice Disk per i vettori binari(#33575)
                                                                                                                                                                                                    • -
                                                                                                                                                                                                    • Supportato il tipo di vettore sparse su RESTful v2(#33555)
                                                                                                                                                                                                    • -
                                                                                                                                                                                                    • Aggiunta l'API RESTful /management/stop per fermare un componente(#33799)
                                                                                                                                                                                                    • +

                                                                                                                                                                                                      The release of Milvus 2.4.5 introduces several improvements and bug fixes to enhance performance, stability, and functionality. Milvus 2.4.5 simplifies sparse, float16, and bfloat16 vector search with auto-indexing, speeds up searches, deletions, and compactions with Bloom filter optimizations, and tackles data management through faster loading times and import L0 segment support. It also introduces the sparse HNSW index for efficient high-dimensional sparse data search, enhances the RESTful API with sparse float vector support, and fixes critical bugs for better stability.

                                                                                                                                                                                                      +

                                                                                                                                                                                                      New Features

                                                                                                                                                                                                        +
                                                                                                                                                                                                      • Added rbac support to describe/alter database api (#33804)
                                                                                                                                                                                                      • +
                                                                                                                                                                                                      • Supported building the HNSW index for sparse vectors (#33653, #33662)
                                                                                                                                                                                                      • +
                                                                                                                                                                                                      • Supported building the Disk index for binary vector (#33575)
                                                                                                                                                                                                      • +
                                                                                                                                                                                                      • Supported sparse vector type on RESTful v2 (#33555)
                                                                                                                                                                                                      • +
                                                                                                                                                                                                      • Add /management/stop RESTful api to stop a component (#33799)
                                                                                                                                                                                                      -

                                                                                                                                                                                                      Miglioramenti

                                                                                                                                                                                                        -
                                                                                                                                                                                                      • Impostare il valore predefinito di maxPartitionNum a 1024(#33950)
                                                                                                                                                                                                      • -
                                                                                                                                                                                                      • Abilitato il reset forzato della connessione in caso di errore di non disponibilità (#33910)
                                                                                                                                                                                                      • -
                                                                                                                                                                                                      • Abilitato il limitatore della velocità di lavaggio del livello di raccolta (#33864)
                                                                                                                                                                                                      • -
                                                                                                                                                                                                      • Eseguita l'applicazione del filtro bloom in parallelo per velocizzare la previsione dei segmenti (#33793)
                                                                                                                                                                                                      • -
                                                                                                                                                                                                      • Usato fastjson lib per unmarshal delete log per velocizzare json.Unmarshal(#33802)
                                                                                                                                                                                                      • -
                                                                                                                                                                                                      • Usato BatchPkExist per ridurre il costo delle chiamate alle funzioni del filtro bloom (#33752)
                                                                                                                                                                                                      • -
                                                                                                                                                                                                      • Velocizzato il caricamento di piccole raccolte(#33746)
                                                                                                                                                                                                      • -
                                                                                                                                                                                                      • Supportata l'importazione di dati di cancellazione nel segmento L0 (#33712)
                                                                                                                                                                                                      • -
                                                                                                                                                                                                      • Saltate le attività di compattazione dei marchi per evitare l'esecuzione ripetuta della stessa attività (#33833).
                                                                                                                                                                                                      • -
                                                                                                                                                                                                      • Gestiti i vettori float16 e bfloat16 come BinaryVector in numpy bulk insert (#33788)
                                                                                                                                                                                                      • -
                                                                                                                                                                                                      • Aggiunto il flag includeCurrentMsg per il metodo seek(#33743)
                                                                                                                                                                                                      • -
                                                                                                                                                                                                      • Aggiunti mergeInterval, targetBufSize, maxTolerantLag di msgdispatcher alle configurazioni(#33680)
                                                                                                                                                                                                      • -
                                                                                                                                                                                                      • Migliorato GetVectorByID del vettore sparse(#33652)
                                                                                                                                                                                                      • -
                                                                                                                                                                                                      • Rimossa StringPrimarykey per ridurre le copie inutili e il costo delle chiamate di funzione (#33649)
                                                                                                                                                                                                      • -
                                                                                                                                                                                                      • Aggiunta la mappatura dell'autoindice per i tipi di dati binari/sparsi(#33625)
                                                                                                                                                                                                      • -
                                                                                                                                                                                                      • Ottimizzate alcune cache per ridurre l'uso della memoria(#33560)
                                                                                                                                                                                                      • -
                                                                                                                                                                                                      • Astratta l'interfaccia di esecuzione per le operazioni di importazione/preimportazione (#33607)
                                                                                                                                                                                                      • -
                                                                                                                                                                                                      • Usato map pk per timestamp nell'inserimento del buffer per ridurre le cause di bf (#33582)
                                                                                                                                                                                                      • -
                                                                                                                                                                                                      • Evitate meta-operazioni ridondanti di importazione (#33519)
                                                                                                                                                                                                      • -
                                                                                                                                                                                                      • Migliorati i log registrando meglio le informazioni sulla quota disco, aggiungendo il flag UseDefaultConsistency, rimuovendo i log non necessari(#33597, #33644, #33670)
                                                                                                                                                                                                      • +

                                                                                                                                                                                                        Improvements

                                                                                                                                                                                                          +
                                                                                                                                                                                                        • Set maxPartitionNum default value to 1024 (#33950)
                                                                                                                                                                                                        • +
                                                                                                                                                                                                        • Enabled to Force reset connection for unavailable error (#33910)
                                                                                                                                                                                                        • +
                                                                                                                                                                                                        • Enabled flush rate limiter of collection level (#33864)
                                                                                                                                                                                                        • +
                                                                                                                                                                                                        • Executed bloom filter apply in parallel to speed up segment predict (#33793)
                                                                                                                                                                                                        • +
                                                                                                                                                                                                        • Used fastjson lib for unmarshal delete log to speed up json.Unmarshal(#33802)
                                                                                                                                                                                                        • +
                                                                                                                                                                                                        • Used BatchPkExist to reduce bloom filter func call cost (#33752)
                                                                                                                                                                                                        • +
                                                                                                                                                                                                        • Speeded up the loading of small collections (#33746)
                                                                                                                                                                                                        • +
                                                                                                                                                                                                        • Supported import delete data to L0 segment (#33712)
                                                                                                                                                                                                        • +
                                                                                                                                                                                                        • Skipped mark compaction tasks to be timeouted to aviod executing the same task over and over again (#33833)
                                                                                                                                                                                                        • +
                                                                                                                                                                                                        • Handled float16 and bfloat16 vectors as same as BinaryVector in numpy bulk insert (#33788)
                                                                                                                                                                                                        • +
                                                                                                                                                                                                        • Added the includeCurrentMsg flag for the seek method (#33743)
                                                                                                                                                                                                        • +
                                                                                                                                                                                                        • Added mergeInterval, targetBufSize, maxTolerantLagof msgdispatcher to configs (#33680)
                                                                                                                                                                                                        • +
                                                                                                                                                                                                        • Improved GetVectorByID of sparse vector (#33652)
                                                                                                                                                                                                        • +
                                                                                                                                                                                                        • Removed StringPrimarykey to reduce unnecessary copy and function call cost (#33649)
                                                                                                                                                                                                        • +
                                                                                                                                                                                                        • Added autoindex mapping for binary/sparse data type (#33625)
                                                                                                                                                                                                        • +
                                                                                                                                                                                                        • Optimized some cache to reduce memory usage (#33560)
                                                                                                                                                                                                        • +
                                                                                                                                                                                                        • Abstracted execute interface for import/preimport task (#33607)
                                                                                                                                                                                                        • +
                                                                                                                                                                                                        • Used map pk to timestamp in buffer insert to reduce bf causes (#33582)
                                                                                                                                                                                                        • +
                                                                                                                                                                                                        • Avoided redundant meta operations of import (#33519)
                                                                                                                                                                                                        • +
                                                                                                                                                                                                        • Improve logs by logging better disk quota info, adding UseDefaultConsistency flag, removing unnecessary logs (#33597, #33644, #33670)
                                                                                                                                                                                                        -

                                                                                                                                                                                                        Correzioni di bug

                                                                                                                                                                                                          -
                                                                                                                                                                                                        • Corretto un bug per cui queryHook non era in grado di riconoscere il tipo di vettore (#33911)
                                                                                                                                                                                                        • -
                                                                                                                                                                                                        • Impedito l'uso della variabile di iterazione catturata partitionID (#33970)
                                                                                                                                                                                                        • -
                                                                                                                                                                                                        • Corretto un bug che può causare l'incapacità di Milvus di creare AutoIndex su vettori binari e sparsi(#33867)
                                                                                                                                                                                                        • -
                                                                                                                                                                                                        • Corretto un bug che può far sì che indexnode ritenti la creazione di un indice su parametri di indice non validi di tutti i vettori (#33878)
                                                                                                                                                                                                        • -
                                                                                                                                                                                                        • Corretto il bug che quando i carichi e i rilasci avvengono in modo concomitante può mandare in crash il server(#33699)
                                                                                                                                                                                                        • -
                                                                                                                                                                                                        • Migliorata la coerenza della cache per i valori di configurazione(#33797)
                                                                                                                                                                                                        • -
                                                                                                                                                                                                        • Prevenuta la possibile perdita di dati durante la cancellazione(#33821)
                                                                                                                                                                                                        • -
                                                                                                                                                                                                        • Assicurato che il campo DroppedAt (probabile timestamp di cancellazione) sia impostato dopo l'eliminazione delle raccolte (#33767).
                                                                                                                                                                                                        • -
                                                                                                                                                                                                        • Corretto un problema che poteva causare una gestione non corretta delle dimensioni dei dati dei vettori binari da parte di Milvus(#33751)
                                                                                                                                                                                                        • -
                                                                                                                                                                                                        • Impedito che le credenziali sensibili di Kafka vengano registrate in testo normale(#33694, #33747).
                                                                                                                                                                                                        • -
                                                                                                                                                                                                        • Assicurato che Milvus possa importare correttamente dati con campi vettoriali multipli.(#33724)
                                                                                                                                                                                                        • -
                                                                                                                                                                                                        • Migliorata l'affidabilità dell'importazione controllando l'esistenza di un lavoro di importazione prima dell'avvio.(#33673)
                                                                                                                                                                                                        • -
                                                                                                                                                                                                        • Migliorata la gestione dell'indice HNSW sparse (funzionalità interna)(#33714)
                                                                                                                                                                                                        • -
                                                                                                                                                                                                        • Pulita la memoria vettoriale per evitare perdite di memoria(#33708)
                                                                                                                                                                                                        • -
                                                                                                                                                                                                        • Assicurato un riscaldamento asincrono più fluido grazie alla correzione di un problema di blocco di stato.(#33687)
                                                                                                                                                                                                        • -
                                                                                                                                                                                                        • Risolto un bug che poteva causare risultati mancanti negli iteratori delle query.(#33506)
                                                                                                                                                                                                        • -
                                                                                                                                                                                                        • Corretto un bug che poteva causare una dimensione non uniforme dei segmenti di importazione (#33634).
                                                                                                                                                                                                        • -
                                                                                                                                                                                                        • Corretta la gestione della dimensione dei dati per i tipi bf16, fp16 e vettori binari(#33488).
                                                                                                                                                                                                        • -
                                                                                                                                                                                                        • Migliorata la stabilità risolvendo potenziali problemi con il compattatore L0(#33564)
                                                                                                                                                                                                        • -
                                                                                                                                                                                                        • Assicurato che gli aggiornamenti della configurazione dinamica siano riflessi correttamente nella cache.(#33590)
                                                                                                                                                                                                        • -
                                                                                                                                                                                                        • Migliorata l'accuratezza della metrica RootCoordQuotaStates (#33601)
                                                                                                                                                                                                        • -
                                                                                                                                                                                                        • Assicurata la segnalazione accurata del numero di entità caricate nella metrica(#33522).
                                                                                                                                                                                                        • -
                                                                                                                                                                                                        • Fornite informazioni più complete nei log delle eccezioni. (#33396)
                                                                                                                                                                                                        • -
                                                                                                                                                                                                        • Ottimizzata la pipeline di query rimuovendo il controllore di gruppo non necessario(#33485)
                                                                                                                                                                                                        • -
                                                                                                                                                                                                        • Utilizzato il percorso di archiviazione locale per un controllo più accurato della capacità del disco sul nodo indice.(#33505)
                                                                                                                                                                                                        • -
                                                                                                                                                                                                        • Corretta la possibilità che hasMoreResult restituisca false quando il numero di hit è superiore al limite(#33642)
                                                                                                                                                                                                        • -
                                                                                                                                                                                                        • Ritardato il caricamento dei bf nel delegatore per evitare che vengano caricati più volte quando il worker non ha più memoria(#33650) - Corretto un bug per cui queryHook non era in grado di riconoscere il tipo di vettore(#33911)
                                                                                                                                                                                                        • -
                                                                                                                                                                                                        • Impedito l'uso della variabile di iterazione catturata partitionID (#33970)
                                                                                                                                                                                                        • -
                                                                                                                                                                                                        • Corretto un bug che poteva causare l'incapacità di Milvus di creare AutoIndex su vettori binari e sparsi(#33867)
                                                                                                                                                                                                        • -
                                                                                                                                                                                                        • Corretto un bug che può far sì che indexnode ritenti la creazione di un indice su parametri di indice non validi di tutti i vettori (#33878)
                                                                                                                                                                                                        • -
                                                                                                                                                                                                        • Corretto il bug che quando i carichi e i rilasci avvengono in modo concomitante può mandare in crash il server(#33699)
                                                                                                                                                                                                        • -
                                                                                                                                                                                                        • Migliorata la coerenza della cache per i valori di configurazione(#33797)
                                                                                                                                                                                                        • -
                                                                                                                                                                                                        • Prevenuta la possibile perdita di dati durante la cancellazione(#33821)
                                                                                                                                                                                                        • -
                                                                                                                                                                                                        • Assicurato che il campo DroppedAt (probabile timestamp di cancellazione) sia impostato dopo l'eliminazione delle raccolte (#33767).
                                                                                                                                                                                                        • -
                                                                                                                                                                                                        • Corretto un problema che poteva causare una gestione non corretta delle dimensioni dei dati dei vettori binari da parte di Milvus(#33751)
                                                                                                                                                                                                        • -
                                                                                                                                                                                                        • Impedito che le credenziali sensibili di Kafka vengano registrate in testo normale(#33694, #33747).
                                                                                                                                                                                                        • -
                                                                                                                                                                                                        • Assicurato che Milvus possa importare correttamente dati con campi vettoriali multipli.(#33724)
                                                                                                                                                                                                        • -
                                                                                                                                                                                                        • Migliorata l'affidabilità dell'importazione controllando l'esistenza di un lavoro di importazione prima dell'avvio.(#33673)
                                                                                                                                                                                                        • -
                                                                                                                                                                                                        • Migliorata la gestione dell'indice HNSW sparse (funzionalità interna)(#33714)
                                                                                                                                                                                                        • -
                                                                                                                                                                                                        • Pulita la memoria vettoriale per evitare perdite di memoria(#33708)
                                                                                                                                                                                                        • -
                                                                                                                                                                                                        • Assicurato un riscaldamento asincrono più fluido grazie alla correzione di un problema di blocco di stato.(#33687)
                                                                                                                                                                                                        • -
                                                                                                                                                                                                        • Risolto un bug che poteva causare risultati mancanti negli iteratori delle query.(#33506)
                                                                                                                                                                                                        • -
                                                                                                                                                                                                        • Corretto un bug che poteva causare una dimensione non uniforme dei segmenti di importazione (#33634).
                                                                                                                                                                                                        • -
                                                                                                                                                                                                        • Corretta la gestione della dimensione dei dati per i tipi bf16, fp16 e vettori binari(#33488).
                                                                                                                                                                                                        • -
                                                                                                                                                                                                        • Migliorata la stabilità risolvendo potenziali problemi con il compattatore L0(#33564)
                                                                                                                                                                                                        • -
                                                                                                                                                                                                        • Assicurato che gli aggiornamenti della configurazione dinamica siano riflessi correttamente nella cache.(#33590)
                                                                                                                                                                                                        • -
                                                                                                                                                                                                        • Migliorata l'accuratezza della metrica RootCoordQuotaStates (#33601)
                                                                                                                                                                                                        • -
                                                                                                                                                                                                        • Assicurata la segnalazione accurata del numero di entità caricate nella metrica(#33522).
                                                                                                                                                                                                        • -
                                                                                                                                                                                                        • Fornite informazioni più complete nei log delle eccezioni. (#33396)
                                                                                                                                                                                                        • -
                                                                                                                                                                                                        • Ottimizzata la pipeline di query rimuovendo il controllore di gruppo non necessario(#33485)
                                                                                                                                                                                                        • -
                                                                                                                                                                                                        • Utilizzato il percorso di archiviazione locale per un controllo più accurato della capacità del disco sul nodo indice.(#33505)
                                                                                                                                                                                                        • -
                                                                                                                                                                                                        • Corretta la possibilità che hasMoreResult restituisca false quando il numero di hit è superiore al limite(#33642)
                                                                                                                                                                                                        • -
                                                                                                                                                                                                        • Ritardato il caricamento dei bf nel delegatore per evitare che vengano caricati più volte quando il worker non ha più memoria(#33650).
                                                                                                                                                                                                        • +

                                                                                                                                                                                                          Bug fixes

                                                                                                                                                                                                            +
                                                                                                                                                                                                          • Fixed a bug that queryHook unable to recognize vector type (#33911)
                                                                                                                                                                                                          • +
                                                                                                                                                                                                          • Prevented use captured iteration variable partitionID (#33970)
                                                                                                                                                                                                          • +
                                                                                                                                                                                                          • Fixed a bug that may cause Milvus to be unable to create AutoIndex on binary and sparse vectors (#33867)
                                                                                                                                                                                                          • +
                                                                                                                                                                                                          • Fixed a bug that may cause indexnode to retry creating index on invalid index params of all vectors(#33878)
                                                                                                                                                                                                          • +
                                                                                                                                                                                                          • Fixed the bug that when loads and releases happen concurrently may crash the Server(#33699)
                                                                                                                                                                                                          • +
                                                                                                                                                                                                          • Improved cache consistency for configuration values (#33797)
                                                                                                                                                                                                          • +
                                                                                                                                                                                                          • Prevented possible data loss during deletion (#33821)
                                                                                                                                                                                                          • +
                                                                                                                                                                                                          • Ensured the DroppedAt field (likely deletion timestamp) is set after dropping collections(#33767)
                                                                                                                                                                                                          • +
                                                                                                                                                                                                          • Fixed an issue that might have caused Milvus to handle binary vector data sizes incorrectly(#33751)
                                                                                                                                                                                                          • +
                                                                                                                                                                                                          • Prevented sensitive Kafka credentials from being logged in plain text.(#33694, #33747)
                                                                                                                                                                                                          • +
                                                                                                                                                                                                          • Ensured Milvus can correctly import data with multiple vector fields.(#33724)
                                                                                                                                                                                                          • +
                                                                                                                                                                                                          • Enhanced import reliability by checking if an import job exists before starting. (#33673)
                                                                                                                                                                                                          • +
                                                                                                                                                                                                          • Improved handling of the sparse HNSW index (internal functionality) (#33714)
                                                                                                                                                                                                          • +
                                                                                                                                                                                                          • Cleaned vector memory to avoid memory leak(#33708)
                                                                                                                                                                                                          • +
                                                                                                                                                                                                          • Ensured smoother asynchronous warmup by fixing a state lock issue.(#33687)
                                                                                                                                                                                                          • +
                                                                                                                                                                                                          • Addressed a bug that might have caused missing results in query iterators. (#33506)
                                                                                                                                                                                                          • +
                                                                                                                                                                                                          • Fixed a bug that might cause import segment size is uneven (#33634)
                                                                                                                                                                                                          • +
                                                                                                                                                                                                          • Fixed incorrect data size handling for bf16, fp16, and binary vector types (#33488)
                                                                                                                                                                                                          • +
                                                                                                                                                                                                          • Improved stability by addressing potential issues with the L0 compactor(#33564)
                                                                                                                                                                                                          • +
                                                                                                                                                                                                          • Ensured dynamic configuration updates are reflected correctly in the cache. (#33590)
                                                                                                                                                                                                          • +
                                                                                                                                                                                                          • Improved the accuracy of the RootCoordQuotaStates metric (#33601)
                                                                                                                                                                                                          • +
                                                                                                                                                                                                          • Ensured accurate reporting of the number of loaded entities in metric(#33522)
                                                                                                                                                                                                          • +
                                                                                                                                                                                                          • Provided more complete information in exception logs. (#33396)
                                                                                                                                                                                                          • +
                                                                                                                                                                                                          • Optimized query pipeline by removing unnecessary group checker (#33485)
                                                                                                                                                                                                          • +
                                                                                                                                                                                                          • Used the local storage path for a more accurate disk capacity check on the index node. (#33505)
                                                                                                                                                                                                          • +
                                                                                                                                                                                                          • Corrected hasMoreResult may return false when hit number larger than limit (#33642)
                                                                                                                                                                                                          • +
                                                                                                                                                                                                          • Delayed load bf in delegator to prevent bfs been loaded over and over again when worker has no more memory (#33650)- Fixed a bug that queryHook unable to recognize vector type (#33911)
                                                                                                                                                                                                          • +
                                                                                                                                                                                                          • Prevented use captured iteration variable partitionID (#33970)
                                                                                                                                                                                                          • +
                                                                                                                                                                                                          • Fixed a bug that may cause Milvus to be unable to create AutoIndex on binary and sparse vectors (#33867)
                                                                                                                                                                                                          • +
                                                                                                                                                                                                          • Fixed a bug that may cause indexnode to retry creating index on invalid index params of all vectors(#33878)
                                                                                                                                                                                                          • +
                                                                                                                                                                                                          • Fixed the bug that when loads and releases happen concurrently may crash the Server(#33699)
                                                                                                                                                                                                          • +
                                                                                                                                                                                                          • Improved cache consistency for configuration values (#33797)
                                                                                                                                                                                                          • +
                                                                                                                                                                                                          • Prevented possible data loss during deletion (#33821)
                                                                                                                                                                                                          • +
                                                                                                                                                                                                          • Ensured the DroppedAt field (likely deletion timestamp) is set after dropping collections(#33767)
                                                                                                                                                                                                          • +
                                                                                                                                                                                                          • Fixed an issue that might have caused Milvus to handle binary vector data sizes incorrectly(#33751)
                                                                                                                                                                                                          • +
                                                                                                                                                                                                          • Prevented sensitive Kafka credentials from being logged in plain text.(#33694, #33747)
                                                                                                                                                                                                          • +
                                                                                                                                                                                                          • Ensured Milvus can correctly import data with multiple vector fields.(#33724)
                                                                                                                                                                                                          • +
                                                                                                                                                                                                          • Enhanced import reliability by checking if an import job exists before starting. (#33673)
                                                                                                                                                                                                          • +
                                                                                                                                                                                                          • Improved handling of the sparse HNSW index (internal functionality) (#33714)
                                                                                                                                                                                                          • +
                                                                                                                                                                                                          • Cleaned vector memory to avoid memory leak(#33708)
                                                                                                                                                                                                          • +
                                                                                                                                                                                                          • Ensured smoother asynchronous warmup by fixing a state lock issue.(#33687)
                                                                                                                                                                                                          • +
                                                                                                                                                                                                          • Addressed a bug that might have caused missing results in query iterators. (#33506)
                                                                                                                                                                                                          • +
                                                                                                                                                                                                          • Fixed a bug that might cause import segment size is uneven (#33634)
                                                                                                                                                                                                          • +
                                                                                                                                                                                                          • Fixed incorrect data size handling for bf16, fp16, and binary vector types (#33488)
                                                                                                                                                                                                          • +
                                                                                                                                                                                                          • Improved stability by addressing potential issues with the L0 compactor(#33564)
                                                                                                                                                                                                          • +
                                                                                                                                                                                                          • Ensured dynamic configuration updates are reflected correctly in the cache. (#33590)
                                                                                                                                                                                                          • +
                                                                                                                                                                                                          • Improved the accuracy of the RootCoordQuotaStates metric (#33601)
                                                                                                                                                                                                          • +
                                                                                                                                                                                                          • Ensured accurate reporting of the number of loaded entities in metric(#33522)
                                                                                                                                                                                                          • +
                                                                                                                                                                                                          • Provided more complete information in exception logs. (#33396)
                                                                                                                                                                                                          • +
                                                                                                                                                                                                          • Optimized query pipeline by removing unnecessary group checker (#33485)
                                                                                                                                                                                                          • +
                                                                                                                                                                                                          • Used the local storage path for a more accurate disk capacity check on the index node. (#33505)
                                                                                                                                                                                                          • +
                                                                                                                                                                                                          • Corrected hasMoreResult may return false when hit number larger than limit (#33642)
                                                                                                                                                                                                          • +
                                                                                                                                                                                                          • Delayed load bf in delegator to prevent bfs been loaded over and over again when worker has no more memory (#33650)

                                                                                                                                                                                                          v2.4.4

                                                                                                                                                                                                          Data di rilascio: 31 maggio 2024

                                                                                                                                                                                                          +

                                                                                                                                                                                                          Release date: May 31, 2024

                                                                                                                                                                                                          - +
                                                                                                                                                                                                          Versione MilvusVersione dell'SDK PythonVersione SDK JavaVersione SDK Node.js
                                                                                                                                                                                                          Milvus versionPython SDK versionJava SDK versionNode.js SDK version
                                                                                                                                                                                                          2.4.42.4.32.4.12.4.2
                                                                                                                                                                                                          -

                                                                                                                                                                                                          Milvus v2.4.4 include diverse correzioni di bug critici e miglioramenti volti a migliorare le prestazioni e la stabilità. In particolare, è stato risolto un problema critico a causa del quale i registri delle statistiche degli inserti di massa non venivano raccolti in modo corretto, compromettendo potenzialmente l'integrità dei dati. Consigliamo vivamente a tutti gli utenti della versione 2.4 di effettuare l'aggiornamento a questa versione per beneficiare di queste correzioni.

                                                                                                                                                                                                          -

                                                                                                                                                                                                          Se utilizzate bulk insert, aggiornate alla v2.4.4 il prima possibile per garantire l'integrità dei dati.

                                                                                                                                                                                                          -

                                                                                                                                                                                                          Correzioni di bug critici

                                                                                                                                                                                                            -
                                                                                                                                                                                                          • Compilazione dell'ID del log delle statistiche e convalida della sua correttezza(#33478)
                                                                                                                                                                                                          • +

                                                                                                                                                                                                            Milvus v2.4.4 includes several critical bug fixes and improvements aimed at enhancing performance and stability. Notably, we’ve resolved a critical issue where bulk insert statistics logs were incorrectly garbage collected, potentially affecting data integrity. We strongly recommend all v2.4 users upgrade to this version to benefit from these fixes.

                                                                                                                                                                                                            +

                                                                                                                                                                                                            If you are using bulk insert, upgrade to v2.4.4 at the earliest opportunity for data integrity.

                                                                                                                                                                                                            +

                                                                                                                                                                                                            Critical bug fixes

                                                                                                                                                                                                              +
                                                                                                                                                                                                            • Filled stats log ID and validated its correctness (#33478)
                                                                                                                                                                                                            -

                                                                                                                                                                                                            Miglioramenti

                                                                                                                                                                                                              -
                                                                                                                                                                                                            • Aggiornato il set di bit per ARM SVE(#33440)
                                                                                                                                                                                                            • -
                                                                                                                                                                                                            • Abilitata la compilazione di Milvus con GCC-13(#33441)
                                                                                                                                                                                                            • +

                                                                                                                                                                                                              Improvements

                                                                                                                                                                                                                +
                                                                                                                                                                                                              • Upgraded bitset for ARM SVE (#33440)
                                                                                                                                                                                                              • +
                                                                                                                                                                                                              • Enabled Milvus compilation with GCC-13 (#33441)
                                                                                                                                                                                                              -

                                                                                                                                                                                                              Correzioni di bug

                                                                                                                                                                                                                -
                                                                                                                                                                                                              • Visualizzazione di collezioni vuote quando tutti i privilegi sono concessi(#33454)
                                                                                                                                                                                                              • -
                                                                                                                                                                                                              • Assicurato il download e l'installazione di CMake per la piattaforma corrente, non solo x86_64(#33439)
                                                                                                                                                                                                              • +

                                                                                                                                                                                                                Bug fixes

                                                                                                                                                                                                                  +
                                                                                                                                                                                                                • Displayed empty collections when all privilege is granted (#33454)
                                                                                                                                                                                                                • +
                                                                                                                                                                                                                • Ensured CMake downloads and installs for the current platform, not just x86_64 (#33439)

                                                                                                                                                                                                                v2.4.3

                                                                                                                                                                                                                Data di rilascio: 29 maggio 2024

                                                                                                                                                                                                                +

                                                                                                                                                                                                                Release date: May 29, 2024

                                                                                                                                                                                                                - +
                                                                                                                                                                                                                Versione di MilvusVersione dell'SDK PythonVersione dell'SDK JavaVersione SDK Node.js
                                                                                                                                                                                                                Milvus versionPython SDK versionJava SDK versionNode.js SDK version
                                                                                                                                                                                                                2.4.32.4.32.4.12.4.2
                                                                                                                                                                                                                -

                                                                                                                                                                                                                La versione 2.4.3 di Milvus ha introdotto una serie di funzionalità, miglioramenti e correzioni di bug per aumentare le prestazioni e l'affidabilità. Tra i miglioramenti più significativi, il supporto per l'inserimento massivo di vettori float sparsi e l'accelerazione ottimizzata del filtro bloom. I miglioramenti riguardano diverse aree, dagli aggiornamenti della configurazione dinamica all'ottimizzazione dell'uso della memoria. Le correzioni di bug hanno affrontato problemi critici come gli scenari di panico e hanno garantito un funzionamento più fluido del sistema. Questa release sottolinea il costante impegno di Milvus nel migliorare le funzionalità, ottimizzare le prestazioni e offrire un'esperienza utente solida.

                                                                                                                                                                                                                -

                                                                                                                                                                                                                Caratteristiche

                                                                                                                                                                                                                  -
                                                                                                                                                                                                                • Supporto dell'inserimento massivo di vettori float sparsi per binlog/json/parquet(#32649)
                                                                                                                                                                                                                • +

                                                                                                                                                                                                                  Milvus version 2.4.3 introduced a host of features, improvements, and bug fixes to elevate performance and reliability. Notable enhancements included support for sparse float vector bulk insert and optimized bloom filter acceleration. Improvements covered various areas, from dynamic configuration updates to memory usage optimization. Bug fixes addressed critical issues like panic scenarios and ensured smoother system operations. This release underscored Milvus’s ongoing commitment to enhancing functionality, optimizing performance, and delivering a robust user experience.

                                                                                                                                                                                                                  +

                                                                                                                                                                                                                  Features

                                                                                                                                                                                                                    +
                                                                                                                                                                                                                  • Supported sparse float vector bulk insert for binlog/json/parquet (#32649)
                                                                                                                                                                                                                  -

                                                                                                                                                                                                                  Miglioramenti

                                                                                                                                                                                                                    -
                                                                                                                                                                                                                  • Implementato il canale di sorveglianza Datacoord/nodo basato su RPC(#32036)
                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                  • Ottimizzato il filtro bloom per accelerare il filtraggio delle cancellazioni(#32642, #33329, #33284)
                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                  • Caricamento dei dati grezzi tramite mmap se l'indice scalare non ha dati grezzi(#33317)
                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                  • Sincronizzata la configurazione di milvus in milvus.yaml(#33322, #32920, #32857, #32946)
                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                  • Aggiornata la versione di knowhere(#33310, #32931, #33043)
                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                  • Abilitato l'aggiornamento dinamico della politica del bilanciatore in QueryCoord(#33272)
                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                  • Utilizzato un logger precostituito nel buffer di scrittura per ridurre al minimo l'allocazione del logger (#33304)
                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                  • Migliorato il controllo dei parametri(#32777, #33271, #33218)
                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                  • Aggiunto un parametro per ignorare gli ID dei messaggi errati nel checkpoint(#33249)
                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                  • Aggiunta una configurazione per controllare la gestione dei fallimenti di inizializzazione per i plugin(#32680)
                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                  • Aggiunta la configurazione della coerenza del calcolo dei punteggi per knowhere(#32997)
                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                  • Introdotta un'opzione di configurazione per controllare l'inizializzazione dei permessi dei ruoli pubblici (#33174)
                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                  • Ottimizzato l'uso della memoria durante la lettura dei campi(#33196)
                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                  • Raffinata l'implementazione di Channel Manager v2(#33172, #33121, #33014)
                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                  • Aggiunta una funzione per tracciare la dimensione dei dati in memoria per binlog(#33025)
                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                  • Aggiunte metriche per le dimensioni dei file indice dei segmenti(#32979, #33305)
                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                  • Sostituito Delete con DeletePartialMatch per rimuovere le metriche(#33029)
                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                  • Ottenuta la dimensione dei dati relativi in base al tipo di segmento(#33017)
                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                  • Pulite le informazioni sui nodi dei canali nel meta store(#32988)
                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                  • Rimosso il rootcoord dal broker dei datanodi (#32818)
                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                  • Abilitato il caricamento in batch (#32788)
                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                  • Cambiato il numero di partizione predefinito a 16 quando si usa la chiave di partizione (#32950)
                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                  • Migliorate le prestazioni di riduzione delle query top-k molto grandi (#32871)
                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                  • Utilizzata la capacità di TestLocations per accelerare la scrittura e la compattazione(#32948)
                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                  • Ottimizzato il pool di parser dei piani per evitare ricicli inutili (#32869)
                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                  • Migliorata la velocità di caricamento (#32898)
                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                  • Utilizzato il livello di consistenza predefinito della raccolta per restv2(#32956)
                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                  • Aggiunta la risposta ai costi per l'API Rest (#32620)
                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                  • Abilitata la politica di bilanciamento esclusivo dei canali (#32911)
                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                  • Esposta l'API describedatabase nel proxy (#32732)
                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                  • Utilizzata la mappatura coll2replica quando si ottiene RG per collezione(#32892)
                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                  • Aggiunto un maggiore tracciamento per la ricerca e la query(#32734)
                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                  • Supportata la configurazione dinamica per la traccia di opentelemetria(#32169)
                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                  • Evitata l'iterazione sui risultati dei canali quando si aggiorna la leaderview(#32887)
                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                  • Ottimizzata la gestione degli offset vettoriali per il parquet(#32822)
                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                  • Migliorato il filtraggio dei segmenti dei datacoord con la raccolta(#32831)
                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                  • Regolato il livello e la frequenza dei log (#33042, #32838, #33337)
                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                  • Abilitato l'arresto del bilanciamento dopo che questo era stato sospeso(#32812)
                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                  • Aggiornata la cache del leader dello shard quando la posizione del leader è cambiata(#32470)
                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                  • Rimossi API e campi deprecati(#32808, #32704)
                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                  • Aggiunto metautil.channel per convertire i confronti tra stringhe in int(#32749)
                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                  • Aggiunte informazioni sul tipo per il messaggio di errore dello scrittore di payload e il log quando querynode ha trovato una nuova raccolta(#32522)
                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                  • Controllato il numero di partizione quando si crea una raccolta con una chiave di partizione(#32670)
                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                  • Rimosso il segmento legacy l0 se l'orologio fallisce(#32725)
                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                  • Migliorata la stampa del tipo di richiesta(#33319)
                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                  • Controllato che i dati del campo dell'array fossero nulli prima di ottenere il tipo(#33311)
                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                  • Restituito errore quando l'operazione di avvio Delete/AddNode del nodo non è riuscita(#33258)
                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                  • Consentito l'aggiornamento dell'ID del server del datanode (#31597)
                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                  • Unificata la pulizia delle metriche del querynode nella collection release(#32805)
                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                  • Corretta la versione errata della configurazione dell'indice automatico scalare(#32795)
                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                  • Raffinato il controllo dei parametri dell'indice per la creazione/alterazione dell'indice(#32712)
                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                  • Rimosso il recupero delle repliche ridondanti(#32985)
                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                  • Abilitata la meta tabella dei canali per scrivere più di 200k segmenti(#33300)
                                                                                                                                                                                                                  • +

                                                                                                                                                                                                                    Improvements

                                                                                                                                                                                                                      +
                                                                                                                                                                                                                    • Implemented Datacoord/node watch channel based on RPC (#32036)
                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                    • Optimized bloom filter to accelerate delete filtering (#32642, #33329, #33284)
                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                    • Loaded raw data via mmap if scalar index did not have raw data (#33317)
                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                    • Synced milvus config to milvus.yaml (#33322, #32920, #32857, #32946)
                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                    • Updated knowhere version (#33310, #32931, #33043)
                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                    • Enabled dynamic updating of balancer policy in QueryCoord (#33272)
                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                    • Used a pre-built logger in the write buffer to minimize logger allocation (#33304)
                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                    • Improved parameter checking (#32777, #33271, #33218)
                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                    • Added a parameter to ignore incorrect message IDs in the checkpoint (#33249)
                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                    • Added config to control initialization failure handling for plugins (#32680)
                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                    • Added score compute consistency config for knowhere (#32997)
                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                    • Introduced a configuration option to control the initialization of public role permissions (#33174)
                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                    • Optimized memory usage when reading fields (#33196)
                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                    • Refined implementation of Channel Manager v2 (#33172, #33121, #33014)
                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                    • Added feature to track the size of data in memory for binlog (#33025)
                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                    • Added metrics for segment index files size (#32979, #33305)
                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                    • Replaced Delete with DeletePartialMatch to remove metrics (#33029)
                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                    • Got related data size according to segment type (#33017)
                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                    • Cleaned channel node info in meta store (#32988)
                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                    • Removed rootcoord from datanode broker (#32818)
                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                    • Enabled batch uploading (#32788)
                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                    • Changed default partition number to 16 when using partition key (#32950)
                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                    • Improved reduce performance on very large top-k queries (#32871)
                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                    • Utilized TestLocations ability to accelerate write & compaction (#32948)
                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                    • Optimized plan parser pool to avoid unnecessary recycling (#32869)
                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                    • Improved load speed (#32898)
                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                    • Used collection default consistency level for restv2 (#32956)
                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                    • Added cost response for the rest API (#32620)
                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                    • Enabled channel exclusive balance policy (#32911)
                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                    • Exposed describedatabase API in proxy (#32732)
                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                    • Utilized coll2replica mapping when getting RG by collection (#32892)
                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                    • Added more tracing for search & query (#32734)
                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                    • Supported dynamic config for opentelemetry trace (#32169)
                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                    • Avoided iteration over channel results when updating leaderview (#32887)
                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                    • Optimized vector offsets handling for parquet (#32822)
                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                    • Improved datacoord segment filtering with collection (#32831)
                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                    • Adjusted log level and frequency (#33042, #32838, #33337)
                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                    • Enabled stopping balance after balance had been suspended (#32812)
                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                    • Updated shard leader cache when leader location changed (#32470)
                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                    • Removed deprecated API and field (#32808, #32704)
                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                    • Added metautil.channel to convert string compare to int (#32749)
                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                    • Added type info for payload writer error message and log when querynode found new collection (#32522)
                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                    • Checked partition number when creating collection with partition key (#32670)
                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                    • Removed legacy l0 segment if watch failed (#32725)
                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                    • Improved printing type of request (#33319)
                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                    • Checked array field data was nil before getting the type (#33311)
                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                    • Returned error when startup Delete/AddNode node operation failed (#33258)
                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                    • Allowed datanode’s server ID to be updated (#31597)
                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                    • Unified querynode metrics cleanup in collection release (#32805)
                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                    • Fixed scalar auto index config incorrect version (#32795)
                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                    • Refined index param check for create/alter index (#32712)
                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                    • Removed redundant replica recovery (#32985)
                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                    • Enabled channel meta table to write more than 200k segments (#33300)
                                                                                                                                                                                                                    -

                                                                                                                                                                                                                    Correzioni di bug

                                                                                                                                                                                                                      -
                                                                                                                                                                                                                    • Corretto il panico quando il database non esisteva nell'intercettore del limite di velocità(#33308)
                                                                                                                                                                                                                    • -
                                                                                                                                                                                                                    • Corretto il fallimento della raccolta delle metriche di quotacenter a causa di parametri errati(#33399)
                                                                                                                                                                                                                    • -
                                                                                                                                                                                                                    • Corretto il panico se processactivestandby restituiva un errore(#33372)
                                                                                                                                                                                                                    • -
                                                                                                                                                                                                                    • Corretto il troncamento dei risultati della ricerca in restful v2 quando nq > 1(#33363)
                                                                                                                                                                                                                    • -
                                                                                                                                                                                                                    • Aggiunto il campo del nome del database per le operazioni di ruolo in restful v2(#33291)
                                                                                                                                                                                                                    • -
                                                                                                                                                                                                                    • Corretto il limite di velocità globale che non funziona(#33336)
                                                                                                                                                                                                                    • -
                                                                                                                                                                                                                    • Corretto il panico causato dal fallimento della costruzione dell'indice(#33314)
                                                                                                                                                                                                                    • -
                                                                                                                                                                                                                    • Aggiunta la convalida per il vettore sparse in segcore per garantire la legalità(#33312)
                                                                                                                                                                                                                    • -
                                                                                                                                                                                                                    • Rimossa l'attività da syncmgr dopo il completamento dell'attività(#33303)
                                                                                                                                                                                                                    • -
                                                                                                                                                                                                                    • Corretto il fallimento del filtraggio della chiave di partizione durante l'importazione dei dati (#33277)
                                                                                                                                                                                                                    • -
                                                                                                                                                                                                                    • Corretta l'impossibilità di generare traceID quando si usa noop exporter(#33208)
                                                                                                                                                                                                                    • -
                                                                                                                                                                                                                    • Migliorato il recupero dei risultati delle query(#33179)
                                                                                                                                                                                                                    • -
                                                                                                                                                                                                                    • Segnato l'abbandono del checkpoint del canale per prevenire la perdita di metriche di ritardo del checkpoint(#33201)
                                                                                                                                                                                                                    • -
                                                                                                                                                                                                                    • Corretto il nodo di query che si blocca durante l'arresto dell'avanzamento(#33154)
                                                                                                                                                                                                                    • -
                                                                                                                                                                                                                    • Corretti i segmenti mancanti nella risposta di flush (#33061)
                                                                                                                                                                                                                    • -
                                                                                                                                                                                                                    • Rese idempotenti le operazioni di invio (#33053)
                                                                                                                                                                                                                    • -
                                                                                                                                                                                                                    • Allocata nuova slice per ogni batch nel lettore di streaming(#33360)
                                                                                                                                                                                                                    • -
                                                                                                                                                                                                                    • Pulito il nodo offline dal gruppo di risorse dopo il riavvio di QueryCoord(#33233)
                                                                                                                                                                                                                    • -
                                                                                                                                                                                                                    • Rimosso il compattatore l0 in completedCompactor(#33216)
                                                                                                                                                                                                                    • -
                                                                                                                                                                                                                    • Ripristinato il valore della quota quando si inizializza il limitatore(#33152)
                                                                                                                                                                                                                    • -
                                                                                                                                                                                                                    • Risolto il problema del superamento del limite di etcd (#33041)
                                                                                                                                                                                                                    • -
                                                                                                                                                                                                                    • Risolto il superamento del limite delle transazioni etcd a causa di troppi campi(#33040)
                                                                                                                                                                                                                    • -
                                                                                                                                                                                                                    • Rimosso il rientro di RLock in GetNumRowsOfPartition(#33045)
                                                                                                                                                                                                                    • -
                                                                                                                                                                                                                    • Avviato LeaderCacheObserver prima di SyncAll(#33035)
                                                                                                                                                                                                                    • -
                                                                                                                                                                                                                    • Abilitato il bilanciamento del canale di standby rilasciato (#32986)
                                                                                                                                                                                                                    • -
                                                                                                                                                                                                                    • Inizializzato il logger degli accessi prima dell'inizializzazione del server(#32976)
                                                                                                                                                                                                                    • -
                                                                                                                                                                                                                    • Il compattatore è in grado di cancellare i segmenti vuoti(#32821)
                                                                                                                                                                                                                    • -
                                                                                                                                                                                                                    • Riempito il numero di voce deltalog e l'intervallo di tempo nelle compattazioni l0(#33004)
                                                                                                                                                                                                                    • -
                                                                                                                                                                                                                    • Corretto l'arresto anomalo del proxy dovuto alla corsa dei dati della cache del leader dello shard(#32971)
                                                                                                                                                                                                                    • -
                                                                                                                                                                                                                    • Corretta l'unità di tempo per la metrica dell'indice di carico (#32935)
                                                                                                                                                                                                                    • -
                                                                                                                                                                                                                    • Corretto il problema per cui il segmento sul nodo di query in arresto non poteva essere rilasciato con successo(#32929)
                                                                                                                                                                                                                    • -
                                                                                                                                                                                                                    • Corretta la stima delle risorse dell'indice(#32842)
                                                                                                                                                                                                                    • -
                                                                                                                                                                                                                    • Impostazione del checkpoint del canale alla posizione delta(#32878)
                                                                                                                                                                                                                    • -
                                                                                                                                                                                                                    • Fatto in modo che syncmgr blocchi la chiave prima di restituire il futuro (#32865)
                                                                                                                                                                                                                    • -
                                                                                                                                                                                                                    • Assicurato che l'indice invertito avesse un solo segmento(#32858)
                                                                                                                                                                                                                    • -
                                                                                                                                                                                                                    • Corretto il trigger di compattazione che sceglie due segmenti identici(#32800)
                                                                                                                                                                                                                    • -
                                                                                                                                                                                                                    • Corretto il problema per cui il nome della partizione non poteva essere specificato nell'importazione di binlog(#32730, #33027)
                                                                                                                                                                                                                    • -
                                                                                                                                                                                                                    • Rese opzionali le colonne dinamiche nell'importazione di parquet(#32738)
                                                                                                                                                                                                                    • -
                                                                                                                                                                                                                    • Saltato il controllo dell'ID automatico durante l'inserimento dei dati(#32775)
                                                                                                                                                                                                                    • -
                                                                                                                                                                                                                    • Convalidato il numero di righe per i dati del campo di inserimento con lo schema(#32770)
                                                                                                                                                                                                                    • -
                                                                                                                                                                                                                    • Aggiunti Wrapper e Keepalive per gli ID CTraceContext (#32746)
                                                                                                                                                                                                                    • -
                                                                                                                                                                                                                    • Corretto il problema per cui il nome del database non veniva trovato nel meta-oggetto datacoord(#33412)
                                                                                                                                                                                                                    • -
                                                                                                                                                                                                                    • Sincronizzato il segmento abbandonato per la partizione abbandonata (#33332)
                                                                                                                                                                                                                    • -
                                                                                                                                                                                                                    • Corretto il fallimento della raccolta delle metriche di quotaCenter a causa di parametri errati(#33399)
                                                                                                                                                                                                                    • +

                                                                                                                                                                                                                      Bug fixes

                                                                                                                                                                                                                        +
                                                                                                                                                                                                                      • Fixed panic when the database didn’t exist in the rate limit interceptor (#33308)
                                                                                                                                                                                                                      • +
                                                                                                                                                                                                                      • Fixed quotacenter metrics collection failure due to incorrect parameters (#33399)
                                                                                                                                                                                                                      • +
                                                                                                                                                                                                                      • Fixed panic if processactivestandby returned an error (#33372)
                                                                                                                                                                                                                      • +
                                                                                                                                                                                                                      • Fixed search result truncation in restful v2 when nq > 1 (#33363)
                                                                                                                                                                                                                      • +
                                                                                                                                                                                                                      • Added database name field for role operations in restful v2 (#33291)
                                                                                                                                                                                                                      • +
                                                                                                                                                                                                                      • Fixed global rate limit not working (#33336)
                                                                                                                                                                                                                      • +
                                                                                                                                                                                                                      • Fixed panic caused by failure of building index (#33314)
                                                                                                                                                                                                                      • +
                                                                                                                                                                                                                      • Added validation for sparse vector in segcore to ensure legality (#33312)
                                                                                                                                                                                                                      • +
                                                                                                                                                                                                                      • Removed task from syncmgr after task completion (#33303)
                                                                                                                                                                                                                      • +
                                                                                                                                                                                                                      • Fixed partition key filtering failure during data import (#33277)
                                                                                                                                                                                                                      • +
                                                                                                                                                                                                                      • Fixed inability to generate traceID when using noop exporter (#33208)
                                                                                                                                                                                                                      • +
                                                                                                                                                                                                                      • Improved query results retrieval (#33179)
                                                                                                                                                                                                                      • +
                                                                                                                                                                                                                      • Marked channel checkpoint dropped to prevent checkpoint lag metrics leakage (#33201)
                                                                                                                                                                                                                      • +
                                                                                                                                                                                                                      • Fixed query node getting stuck during stopping progress (#33154)
                                                                                                                                                                                                                      • +
                                                                                                                                                                                                                      • Fixed missing segments in flush response (#33061)
                                                                                                                                                                                                                      • +
                                                                                                                                                                                                                      • Made submit operation idempotent (#33053)
                                                                                                                                                                                                                      • +
                                                                                                                                                                                                                      • Allocated new slice for each batch in streaming reader (#33360)
                                                                                                                                                                                                                      • +
                                                                                                                                                                                                                      • Cleaned offline node from resource group after QueryCoord restart (#33233)
                                                                                                                                                                                                                      • +
                                                                                                                                                                                                                      • Removed l0 compactor in completedCompactor (#33216)
                                                                                                                                                                                                                      • +
                                                                                                                                                                                                                      • Reset quota value when initializing the limiter (#33152)
                                                                                                                                                                                                                      • +
                                                                                                                                                                                                                      • Fixed issue where etcd limit was exceeded (#33041)
                                                                                                                                                                                                                      • +
                                                                                                                                                                                                                      • Resolved etcd transaction limit exceedance due to too many fields (#33040)
                                                                                                                                                                                                                      • +
                                                                                                                                                                                                                      • Removed RLock re-entry in GetNumRowsOfPartition (#33045)
                                                                                                                                                                                                                      • +
                                                                                                                                                                                                                      • Started LeaderCacheObserver before SyncAll (#33035)
                                                                                                                                                                                                                      • +
                                                                                                                                                                                                                      • Enabled balancing of released standby channel (#32986)
                                                                                                                                                                                                                      • +
                                                                                                                                                                                                                      • Initialized access logger before server initialization (#32976)
                                                                                                                                                                                                                      • +
                                                                                                                                                                                                                      • Made compactor capable of clearing empty segments (#32821)
                                                                                                                                                                                                                      • +
                                                                                                                                                                                                                      • Filled deltalog entry number and time range in l0 compactions (#33004)
                                                                                                                                                                                                                      • +
                                                                                                                                                                                                                      • Fixed proxy crash due to shard leader cache data race (#32971)
                                                                                                                                                                                                                      • +
                                                                                                                                                                                                                      • Corrected time unit for load index metric (#32935)
                                                                                                                                                                                                                      • +
                                                                                                                                                                                                                      • Fixed issue where segment on stopping query node couldn’t be released successfully (#32929)
                                                                                                                                                                                                                      • +
                                                                                                                                                                                                                      • Fixed index resource estimation (#32842)
                                                                                                                                                                                                                      • +
                                                                                                                                                                                                                      • Set channel checkpoint to delta position (#32878)
                                                                                                                                                                                                                      • +
                                                                                                                                                                                                                      • Made syncmgr lock key before returning future (#32865)
                                                                                                                                                                                                                      • +
                                                                                                                                                                                                                      • Ensured inverted index had only one segment (#32858)
                                                                                                                                                                                                                      • +
                                                                                                                                                                                                                      • Fixed compaction trigger choosing two identical segments (#32800)
                                                                                                                                                                                                                      • +
                                                                                                                                                                                                                      • Fixed issue where partition name could not be specified in binlog import (#32730, #33027)
                                                                                                                                                                                                                      • +
                                                                                                                                                                                                                      • Made dynamic column optional in parquet import (#32738)
                                                                                                                                                                                                                      • +
                                                                                                                                                                                                                      • Skipped checking auto ID when inserting data (#32775)
                                                                                                                                                                                                                      • +
                                                                                                                                                                                                                      • Validated number of rows for insert field data with schema (#32770)
                                                                                                                                                                                                                      • +
                                                                                                                                                                                                                      • Added Wrapper and Keepalive for CTraceContext IDs (#32746)
                                                                                                                                                                                                                      • +
                                                                                                                                                                                                                      • Fixed issue where database name was not found in the datacoord meta object (#33412)
                                                                                                                                                                                                                      • +
                                                                                                                                                                                                                      • Synchronized dropped segment for dropped partition (#33332)
                                                                                                                                                                                                                      • +
                                                                                                                                                                                                                      • Fixed quotaCenter metrics collection failure due to incorrect parameters (#33399)

                                                                                                                                                                                                                      v2.4.1

                                                                                                                                                                                                                      Data di rilascio: 6 maggio 2024

                                                                                                                                                                                                                      +

                                                                                                                                                                                                                      Release date: May 6, 2024

                                                                                                                                                                                                                      - +
                                                                                                                                                                                                                      Versione MilvusVersione dell'SDK PythonVersione dell'SDK JavaVersione SDK Node.js
                                                                                                                                                                                                                      Milvus versionPython SDK versionJava SDK versionNode.js SDK version
                                                                                                                                                                                                                      2.4.12.4.12.4.02.4.2
                                                                                                                                                                                                                      -

                                                                                                                                                                                                                      La versione 2.4.1 di Milvus apporta numerosi miglioramenti e correzioni di bug che mirano a migliorare le prestazioni, l'osservabilità e la stabilità del software. Questi miglioramenti includono un'API dichiarativa per i gruppi di risorse, una funzionalità di inserimento massivo migliorata che supporta i tipi di dati vettoriali Float16/BFloat16, un meccanismo raffinato di garbage collection (GC) che riduce le operazioni di lista per la memorizzazione degli oggetti e altre modifiche relative all'ottimizzazione delle prestazioni. Inoltre, le correzioni dei bug risolvono problemi quali errori di compilazione, corrispondenze fuzzy fallite su caratteri newline, tipi di dati dei parametri errati per le interfacce RESTful e errori di BulkInsert su file numpy quando sono abilitati i campi dinamici.

                                                                                                                                                                                                                      -

                                                                                                                                                                                                                      Modifiche di rottura

                                                                                                                                                                                                                        -
                                                                                                                                                                                                                      • Interruzione del supporto per la cancellazione con un'espressione di filtro vuota.(#32472)
                                                                                                                                                                                                                      • +

                                                                                                                                                                                                                        Milvus version 2.4.1 brings numerous improvements and bug fixes that aim to enhance the software’s performance, observability, and stability. These improvements include a declarative resource group API, enhanced bulk insert functionality that supports Float16/BFloat16 vector data types, a refined garbage collection (GC) mechanism that reduces list operations for object storage, and other changes related to performance optimizations. Additionally, bug fixes address issues such as compilation errors, failed fuzzy matches on newline characters, incorrect parameter datatypes for RESTful interfaces, and BulkInsert raising errors on numpy files when dynamic fields are enabled.

                                                                                                                                                                                                                        +

                                                                                                                                                                                                                        Breaking changes

                                                                                                                                                                                                                          +
                                                                                                                                                                                                                        • Discontinued support for delete with an empty filter expression. (#32472)
                                                                                                                                                                                                                        -

                                                                                                                                                                                                                        Caratteristiche

                                                                                                                                                                                                                          -
                                                                                                                                                                                                                        • Aggiunto il supporto per i tipi di dati vettoriali Float16/BFloat16 in BulkInert(#32157).
                                                                                                                                                                                                                        • -
                                                                                                                                                                                                                        • Miglioramento del vettore float sparse per supportare la ricerca iterativa a forza bruta e la ricerca per intervallo (#32635)
                                                                                                                                                                                                                        • +

                                                                                                                                                                                                                          Features

                                                                                                                                                                                                                            +
                                                                                                                                                                                                                          • Added support for Float16/BFloat16 vector data types in bulk insert (#32157)
                                                                                                                                                                                                                          • +
                                                                                                                                                                                                                          • Enhanced sparse float vector to support brute force iterator search and range search (#32635)
                                                                                                                                                                                                                          -

                                                                                                                                                                                                                          Miglioramenti

                                                                                                                                                                                                                            -
                                                                                                                                                                                                                          • Aggiunta l'API dichiarativa per i gruppi di risorse(#31930, #32297, #32536, #32666)
                                                                                                                                                                                                                          • -
                                                                                                                                                                                                                          • Riscritto l'osservatore delle collezioni in QueryCoord per renderlo guidato dai task (#32441)
                                                                                                                                                                                                                          • -
                                                                                                                                                                                                                          • Rifatto la struttura dei dati usata nel SyncManager di DataNode per ridurre l'uso della memoria e prevenire gli errori(#32673).
                                                                                                                                                                                                                          • -
                                                                                                                                                                                                                          • Rivista l'implementazione della garbage collection per minimizzare le operazioni di lista associate alla memorizzazione degli oggetti(#31740)
                                                                                                                                                                                                                          • -
                                                                                                                                                                                                                          • Ridotto l'uso della cpu quando il numero di raccolte è elevato(#32245)
                                                                                                                                                                                                                          • -
                                                                                                                                                                                                                          • Migliorata la gestione di milvus.yaml generando automaticamente le voci di configurazione rilevanti nel file milvus.yaml attraverso il codice(#31832, #32357)
                                                                                                                                                                                                                          • -
                                                                                                                                                                                                                          • Migliorate le prestazioni della query recuperando i dati dopo aver eseguito la riduzione locale (#32346).
                                                                                                                                                                                                                          • -
                                                                                                                                                                                                                          • Aggiunta l'opzione WithBlock per la creazione del client etcd(#32641)
                                                                                                                                                                                                                          • -
                                                                                                                                                                                                                          • Utilizzato client_request_id specificato dal client come TraceID se fornito dal client(#32264)
                                                                                                                                                                                                                          • -
                                                                                                                                                                                                                          • Aggiunta l'etichetta db alle metriche per le operazioni di cancellazione e inserimento in blocco (#32611)
                                                                                                                                                                                                                          • -
                                                                                                                                                                                                                          • Aggiunta la logica per saltare la verifica attraverso la configurazione per le colonne AutoID e PartitionKey (#32592)
                                                                                                                                                                                                                          • -
                                                                                                                                                                                                                          • Raffinati gli errori relativi all'autenticazione(#32253)
                                                                                                                                                                                                                          • -
                                                                                                                                                                                                                          • Affinati i log degli errori per AllocSegmentID in DataCoord(#32351, #32335)
                                                                                                                                                                                                                          • -
                                                                                                                                                                                                                          • Rimosse le metriche duplicate(#32380, #32308) e ripulite quelle inutilizzate(#32404, #32515).
                                                                                                                                                                                                                          • -
                                                                                                                                                                                                                          • Aggiunta opzione di configurazione per controllare se imporre l'attivazione della funzione partitionKey (#32433)
                                                                                                                                                                                                                          • -
                                                                                                                                                                                                                          • Aggiunta un'opzione di configurazione per controllare la quantità massima di dati che possono essere inseriti in una singola richiesta (#32433).
                                                                                                                                                                                                                          • -
                                                                                                                                                                                                                          • Parallelizzare l'operazione applyDelete a livello di segmento per accelerare l'elaborazione dei messaggi Delete da parte del delegatore(#32291)
                                                                                                                                                                                                                          • -
                                                                                                                                                                                                                          • Usato l'indice(#32232, #32505, #32533, #32595) e l'add cache(#32580) per accelerare le operazioni di filtraggio frequenti in QueryCoord.
                                                                                                                                                                                                                          • -
                                                                                                                                                                                                                          • Riscritta la struttura dei dati(#32273) e rifattorizzato il codice(#32389) per accelerare le operazioni più comuni in DataCoord.
                                                                                                                                                                                                                          • -
                                                                                                                                                                                                                          • Rimosso openblas da conan(#32002).
                                                                                                                                                                                                                          • +

                                                                                                                                                                                                                            Improvements

                                                                                                                                                                                                                              +
                                                                                                                                                                                                                            • Added declarative resource group api (#31930, #32297, #32536, #32666)
                                                                                                                                                                                                                            • +
                                                                                                                                                                                                                            • Rewrote the collection observer in QueryCoord to make it task-driven (#32441)
                                                                                                                                                                                                                            • +
                                                                                                                                                                                                                            • Refactored the data structure used in the SyncManager of DataNode to reduce memory usage and prevent errors (#32673)
                                                                                                                                                                                                                            • +
                                                                                                                                                                                                                            • Revised the implementation of garbage collection to minimize list operations associated with object storage (#31740)
                                                                                                                                                                                                                            • +
                                                                                                                                                                                                                            • Reduced the cpu usage when collection number is high (#32245)
                                                                                                                                                                                                                            • +
                                                                                                                                                                                                                            • Enhanced the management of milvus.yaml by automatically generating relevant configuration items in the milvus.yaml file through code (#31832, #32357)
                                                                                                                                                                                                                            • +
                                                                                                                                                                                                                            • Enhanced the performance of the Query by retrieving the data after performing local reduction (#32346)
                                                                                                                                                                                                                            • +
                                                                                                                                                                                                                            • Added WithBlock option for etcd client creation (#32641)
                                                                                                                                                                                                                            • +
                                                                                                                                                                                                                            • Used client_request_id specified by the client as the TraceID if client provided (#32264)
                                                                                                                                                                                                                            • +
                                                                                                                                                                                                                            • Added db label to the metrics for the delete and bulk insert operations (#32611)
                                                                                                                                                                                                                            • +
                                                                                                                                                                                                                            • Added logic to skip the verification through configuration for AutoID and PartitionKey columns (#32592)
                                                                                                                                                                                                                            • +
                                                                                                                                                                                                                            • Refined errors related to authentication (#32253)
                                                                                                                                                                                                                            • +
                                                                                                                                                                                                                            • Refined error logs for AllocSegmentID in DataCoord (#32351, #32335)
                                                                                                                                                                                                                            • +
                                                                                                                                                                                                                            • Removed duplicate metrics (#32380, #32308) and cleaned up unused metrics (#32404, #32515)
                                                                                                                                                                                                                            • +
                                                                                                                                                                                                                            • Added configuration option to control whether to enforce the activation of the partitionKey feature (#32433)
                                                                                                                                                                                                                            • +
                                                                                                                                                                                                                            • Added configuration option to control the maximum amount of data that can be inserted in a single request (#32433)
                                                                                                                                                                                                                            • +
                                                                                                                                                                                                                            • Parallelize the applyDelete operation at the segment level to accelerate the processing of Delete messages by the Delegator (#32291)
                                                                                                                                                                                                                            • +
                                                                                                                                                                                                                            • Used index (#32232, #32505, #32533, #32595) and add cache (#32580) to accelerate frequent filtering operations in QueryCoord.
                                                                                                                                                                                                                            • +
                                                                                                                                                                                                                            • Rewrote the data structure (#32273) and refactored code (#32389) to accelerate common operations in DataCoord.
                                                                                                                                                                                                                            • +
                                                                                                                                                                                                                            • Removed openblas from conan (#32002)
                                                                                                                                                                                                                            -

                                                                                                                                                                                                                            Correzioni di bug

                                                                                                                                                                                                                              -
                                                                                                                                                                                                                            • Corretta la build milvus in rockylinux8(#32619)
                                                                                                                                                                                                                            • -
                                                                                                                                                                                                                            • Corretti gli errori di compilazione per SVE su ARM(#32463, #32270)
                                                                                                                                                                                                                            • -
                                                                                                                                                                                                                            • Corretto il problema del crash su immagini GPU basate su ARM(#31980)
                                                                                                                                                                                                                            • -
                                                                                                                                                                                                                            • Corretta la query regex che non può gestire il testo con newline(#32569)
                                                                                                                                                                                                                            • -
                                                                                                                                                                                                                            • Corretta la ricerca che ottiene risultati vuoti quando GetShardLeaders restituisce un elenco di nodi vuoto(#32685)
                                                                                                                                                                                                                            • -
                                                                                                                                                                                                                            • Corretto l'errore sollevato da BulkInsert quando incontra campi dinamici in file numpy(#32596)
                                                                                                                                                                                                                            • -
                                                                                                                                                                                                                            • Corretti bug relativi all'interfaccia RESTFulV2, inclusa un'importante correzione che permette ai parametri numerici nelle richieste di accettare input numerici invece che di tipo stringa(#32485, #32355)
                                                                                                                                                                                                                            • -
                                                                                                                                                                                                                            • Corretta la perdita di memoria nel proxy rimuovendo l'evento watching config nel limitatore di velocità(#32313)
                                                                                                                                                                                                                            • -
                                                                                                                                                                                                                            • Corretto il problema per cui il limitatore di velocità segnala erroneamente che la partizione non può essere trovata quando partitionName non è specificato(#32647)
                                                                                                                                                                                                                            • -
                                                                                                                                                                                                                            • Aggiunto il rilevamento dei casi in cui Collection si trova nello stato di recupero e non viene caricato nel tipo di errore.(#32447)
                                                                                                                                                                                                                            • -
                                                                                                                                                                                                                            • Corretta la metrica negativa del numero di entità interrogabili (#32361).
                                                                                                                                                                                                                            • +

                                                                                                                                                                                                                              Bug fixes

                                                                                                                                                                                                                                +
                                                                                                                                                                                                                              • Fixed build milvus in rockylinux8 (#32619)
                                                                                                                                                                                                                              • +
                                                                                                                                                                                                                              • Fixed compilation errors for SVE on ARM (#32463, #32270)
                                                                                                                                                                                                                              • +
                                                                                                                                                                                                                              • Fixed the crash issue on ARM-based GPU images (#31980)
                                                                                                                                                                                                                              • +
                                                                                                                                                                                                                              • Fixed regex query can’t handle text with newline (#32569)
                                                                                                                                                                                                                              • +
                                                                                                                                                                                                                              • Fixed search get empty result caused by GetShardLeaders return empty node list (#32685)
                                                                                                                                                                                                                              • +
                                                                                                                                                                                                                              • Fixed BulkInsert raised error when encountering dynamic fields in numpy files (#32596)
                                                                                                                                                                                                                              • +
                                                                                                                                                                                                                              • Fixed bugs related to the RESTFulV2 interface, including an important fix that allows numeric parameters in requests to accept numerical input instead of string type (#32485, #32355)
                                                                                                                                                                                                                              • +
                                                                                                                                                                                                                              • Fixed memory leak in proxy by removing watching config event in rate limiter (#32313)
                                                                                                                                                                                                                              • +
                                                                                                                                                                                                                              • Fixed the issue where the rate limiter incorrectly reports that the partition cannot be found when partitionName is not specified (#32647)
                                                                                                                                                                                                                              • +
                                                                                                                                                                                                                              • Added detection between the cases of Collection being in the recovery state and not being loaded in the error type. (#32447)
                                                                                                                                                                                                                              • +
                                                                                                                                                                                                                              • Corrected the negative queryable num entities metric (#32361)

                                                                                                                                                                                                                              v2.4.0

                                                                                                                                                                                                                              Data di rilascio: 17 aprile 2024

                                                                                                                                                                                                                              +

                                                                                                                                                                                                                              Release date: April 17, 2024

                                                                                                                                                                                                                              - +
                                                                                                                                                                                                                              Versione MilvusVersione dell'SDK PythonVersione SDK Node.js
                                                                                                                                                                                                                              Milvus versionPython SDK versionNode.js SDK version
                                                                                                                                                                                                                              2.4.02.4.02.4.0
                                                                                                                                                                                                                              -

                                                                                                                                                                                                                              Siamo entusiasti di annunciare il lancio ufficiale di Milvus 2.4.- Basandoci sulle solide fondamenta della release 2.4.0-rc.1, ci siamo concentrati sulla risoluzione dei bug critici segnalati dai nostri utenti, preservando le funzionalità esistenti. Inoltre, Milvus 2.4.0 introduce una serie di ottimizzazioni volte a migliorare le prestazioni del sistema, a migliorare l'osservabilità attraverso l'incorporazione di varie metriche e a snellire la base di codice per una maggiore semplicità.

                                                                                                                                                                                                                              -

                                                                                                                                                                                                                              Miglioramenti

                                                                                                                                                                                                                                -
                                                                                                                                                                                                                              • Supporto per le connessioni MinIO TLS(#31396, #31618)
                                                                                                                                                                                                                              • -
                                                                                                                                                                                                                              • Supporto dell'AutoIndex per i campi scalari(#31593)
                                                                                                                                                                                                                              • -
                                                                                                                                                                                                                              • Rifattorizzazione della ricerca ibrida per percorsi di esecuzione coerenti con la ricerca regolare(#31742, #32178)
                                                                                                                                                                                                                              • -
                                                                                                                                                                                                                              • Filtraggio accelerato grazie alla rifattorizzazione di bitset e bitset_view(#31592, #31754, #32139)
                                                                                                                                                                                                                              • -
                                                                                                                                                                                                                              • I task di importazione ora supportano l'attesa per il completamento dell'indice dei dati(#31733)
                                                                                                                                                                                                                              • -
                                                                                                                                                                                                                              • Migliorata la compatibilità dell'importazione(#32121), la pianificazione dei task(#31475) e i limiti sulla dimensione e sul numero dei file importati(#31542).
                                                                                                                                                                                                                              • -
                                                                                                                                                                                                                              • Semplificazione del codice, compresa la standardizzazione dell'interfaccia per il controllo dei tipi(#31945, #31857), la rimozione di codice e metriche deprecate(#32079, #32134, #31535, #32211, #31935) e la normalizzazione dei nomi delle costanti(#31515).
                                                                                                                                                                                                                              • -
                                                                                                                                                                                                                              • Nuova metrica per la latenza del punto di controllo del canale di destinazione corrente di QueryCoord(#31420)
                                                                                                                                                                                                                              • -
                                                                                                                                                                                                                              • Nuova etichetta db per le metriche comuni(#32024)
                                                                                                                                                                                                                              • -
                                                                                                                                                                                                                              • Nuove metriche relative al conteggio delle entità cancellate, indicizzate e caricate, con l'inclusione di etichette come collectionName e dbName(#31861)
                                                                                                                                                                                                                              • -
                                                                                                                                                                                                                              • Miglioramenti nella gestione degli errori per i tipi di vettore non corrispondenti(#31766)
                                                                                                                                                                                                                              • -
                                                                                                                                                                                                                              • Supporto per il lancio di errori invece che per il crash quando l'indice non può essere costruito(#31845)
                                                                                                                                                                                                                              • -
                                                                                                                                                                                                                              • Supporto per l'invalidazione della meta-cache del database quando si eliminano i database(#32092)
                                                                                                                                                                                                                              • -
                                                                                                                                                                                                                              • Rifattorizzazione dell'interfaccia per la distribuzione dei canali(#31814) e la gestione delle viste leader (#32127)
                                                                                                                                                                                                                              • -
                                                                                                                                                                                                                              • Rifattorizzazione dell'interfaccia del gestore della distribuzione dei canali(#31814) e rifattorizzazione dell'interfaccia del gestore della vista leader(#32127)
                                                                                                                                                                                                                              • -
                                                                                                                                                                                                                              • Elaborazione batch(#31632), aggiunta di informazioni di mappatura(#32234, #32249) ed evitamento dell'uso di lock(#31787) per accelerare le operazioni invocate di frequente.
                                                                                                                                                                                                                              • +

                                                                                                                                                                                                                                We are excited to announce the official launch of Milvus 2.4.- Building upon the solid foundation of the 2.4.0-rc.1 release, we have focused on addressing critical bugs reported by our users, while preserving the existing functionality. In addition, Milvus 2.4.0 introduces a range of optimizations aimed at enhancing system performance, improving observability through the incorporation of various metrics, and streamlining the codebase for increased simplicity.

                                                                                                                                                                                                                                +

                                                                                                                                                                                                                                Improvements

                                                                                                                                                                                                                                  +
                                                                                                                                                                                                                                • Support for MinIO TLS connections (#31396, #31618)
                                                                                                                                                                                                                                • +
                                                                                                                                                                                                                                • AutoIndex support for scalar fields (#31593)
                                                                                                                                                                                                                                • +
                                                                                                                                                                                                                                • Hybrid search refactoring for consistent execution paths with regular search (#31742, #32178)
                                                                                                                                                                                                                                • +
                                                                                                                                                                                                                                • Accelerated filtering through bitset and bitset_view refactoring (#31592, #31754, #32139)
                                                                                                                                                                                                                                • +
                                                                                                                                                                                                                                • Import tasks now support waiting for data index completion (#31733)
                                                                                                                                                                                                                                • +
                                                                                                                                                                                                                                • Enhanced Import compatibility (#32121), task scheduling (#31475), and limits on imported file size and number (#31542)
                                                                                                                                                                                                                                • +
                                                                                                                                                                                                                                • Code simplification efforts including interface standardization for type checking (#31945, #31857), removal of deprecated code and metrics (#32079, #32134, #31535, #32211, #31935), and normalization of constant names (#31515)
                                                                                                                                                                                                                                • +
                                                                                                                                                                                                                                • New metrics for QueryCoord current target channel check point lag latency (#31420)
                                                                                                                                                                                                                                • +
                                                                                                                                                                                                                                • New db label for common metrics (#32024)
                                                                                                                                                                                                                                • +
                                                                                                                                                                                                                                • New metrics regarding the count of deleted, indexed, and loaded entities, with the inclusion of labels such as collectionName and dbName (#31861)
                                                                                                                                                                                                                                • +
                                                                                                                                                                                                                                • Error handling improvements for mismatched vector types (#31766)
                                                                                                                                                                                                                                • +
                                                                                                                                                                                                                                • Support for throwing errors instead of crashing when index cannot be built (#31845)
                                                                                                                                                                                                                                • +
                                                                                                                                                                                                                                • Support for invalidating the database meta cache when dropping databases (#32092)
                                                                                                                                                                                                                                • +
                                                                                                                                                                                                                                • Interface refactoring for channel distribution (#31814) and leader view management (#32127)
                                                                                                                                                                                                                                • +
                                                                                                                                                                                                                                • Refactor channel dist manager interface (#31814) and Refactor leader view manager interface (#32127)
                                                                                                                                                                                                                                • +
                                                                                                                                                                                                                                • Batch processing (#31632), adding mapping information (#32234, #32249), and avoiding usage of lock (#31787) to accelerate frequently invoked operations
                                                                                                                                                                                                                                -

                                                                                                                                                                                                                                Modifiche di rottura

                                                                                                                                                                                                                                  -
                                                                                                                                                                                                                                • Interruzione della ricerca di raggruppamenti su vettori binari(#31735)
                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                • Interruzione della ricerca di raggruppamento con ricerca ibrida(#31812)
                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                • Interruzione dell'indice HNSW su vettori binari(#31883)
                                                                                                                                                                                                                                • +

                                                                                                                                                                                                                                  Breaking Changes

                                                                                                                                                                                                                                    +
                                                                                                                                                                                                                                  • Discontinued grouping search on binary vectors (#31735)
                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                  • Discontinued grouping search with hybrid search (#31812)
                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                  • Discontinued HNSW index on binary vectors (#31883)
                                                                                                                                                                                                                                  -

                                                                                                                                                                                                                                  Correzioni di bug

                                                                                                                                                                                                                                    -
                                                                                                                                                                                                                                  • Miglioramento dei controlli del tipo di dati e del valore per le query e gli inserimenti per prevenire gli arresti anomali(#31478, #31653, #31698, #31842, #32042, #32251, #32204)
                                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                                  • Correzioni di bug dell'API RESTful (#32160)
                                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                                  • Miglioramento della previsione dell'utilizzo delle risorse degli indici invertiti (#31641)
                                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                                  • Risoluzione di problemi di connessione con etcd quando l'autorizzazione è abilitata(#31668)
                                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                                  • Aggiornamento della sicurezza per il server nats (#32023)
                                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                                  • Memorizzati i file degli indici invertiti in un percorso di archiviazione locale di QueryNode invece che in /tmp(#32210)
                                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                                  • Risolte le perdite di memoria dei datacoord per collectionInfo(#32243)
                                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                                  • Risolti bug relativi a fp16/bf16 che potevano causare panico di sistema(#31677, #31841, #32196)
                                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                                  • Risolti problemi con la ricerca per raggruppamento che restituiva risultati insufficienti(#32151)
                                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                                  • Adattamento della ricerca con iteratori per gestire in modo più efficace gli offset nella fase di riduzione e garantire risultati adeguati con "reduceStopForBest" abilitato(#32088)
                                                                                                                                                                                                                                  • +

                                                                                                                                                                                                                                    Bug Fixes

                                                                                                                                                                                                                                      +
                                                                                                                                                                                                                                    • Enhanced data type and value checks for queries and insertions to prevent crashes (#31478, #31653, #31698, #31842, #32042, #32251, #32204)
                                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                                    • RESTful API bug fixes (#32160)
                                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                                    • Improved prediction of inverted index resource usage (#31641)
                                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                                    • Resolution of connection issues with etcd when authorization is enabled (#31668)
                                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                                    • Security update for nats server (#32023)
                                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                                    • Stored inverted index files into a local storage path of QueryNode instead of /tmp (#32210)
                                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                                    • Addressed datacoord memory leaks for collectionInfo (#32243)
                                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                                    • Fixes for fp16/bf16 related bugs potentially causing system panic (#31677, #31841, #32196)
                                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                                    • Resolved issues with grouping search returning insufficient results (#32151)
                                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                                    • Adjustment of search with iterators to handle offsets in the Reduce step more effectively and ensure adequate results with “reduceStopForBest” enabled (#32088)

                                                                                                                                                                                                                                    v2.4.0-rc.1

                                                                                                                                                                                                                                    Data di rilascio: 20 marzo 2024

                                                                                                                                                                                                                                    +

                                                                                                                                                                                                                                    Release date: March 20, 2024

                                                                                                                                                                                                                                    - +
                                                                                                                                                                                                                                    Versione MilvusVersione dell'SDK Python
                                                                                                                                                                                                                                    Milvus versionPython SDK version
                                                                                                                                                                                                                                    2.4.0-rc.12.4.0
                                                                                                                                                                                                                                    -

                                                                                                                                                                                                                                    Questa versione introduce diverse funzionalità basate su scenari:

                                                                                                                                                                                                                                    +

                                                                                                                                                                                                                                    This release introduces several scenario-based features:

                                                                                                                                                                                                                                      -
                                                                                                                                                                                                                                    • Nuovo indice GPU - CAGRA: grazie al contributo di NVIDIA, questo nuovo indice GPU offre un aumento delle prestazioni di 10 volte, soprattutto per le ricerche in batch. Per maggiori dettagli, consultare l'Indice GPU.

                                                                                                                                                                                                                                    • -
                                                                                                                                                                                                                                    • Ricercamultivettoriale e ibrida: Questa funzione consente di memorizzare le incorporazioni vettoriali di più modelli e di effettuare ricerche ibride. Per ulteriori informazioni, consultare la sezione Ricerca ibrida.

                                                                                                                                                                                                                                    • -
                                                                                                                                                                                                                                    • Vettori sparsi: Ideali per l'interpretazione e l'analisi delle parole chiave, i vettori sparsi sono ora supportati per l'elaborazione nella vostra raccolta. Per ulteriori informazioni, consultare Vettori sparsi.

                                                                                                                                                                                                                                    • -
                                                                                                                                                                                                                                    • Ricerca per raggruppamento: L'aggregazione categoriale migliora il richiamo a livello di documento per le applicazioni RAG (Retrieval-Augmented Generation). Per ulteriori informazioni, consultare la sezione Ricerca per gruppi.

                                                                                                                                                                                                                                    • -
                                                                                                                                                                                                                                    • Indice invertito e corrispondenza fuzzy: queste funzionalità migliorano il recupero delle parole chiave per i campi scalari. Per ulteriori informazioni, consultare Campi scalari indicizzati e ricerca filtrata.

                                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                                    • New GPU Index - CAGRA: Thanks to NVIDIA’s contribution, this new GPU index offers a 10x performance boost, especially for batch searches. For details, refer to GPU Index.

                                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                                    • Multi-vector and Hybrid Search: This feature enables storing vector embeddings from multiple models and conducting hybrid searches. For details, refer to Hybrid Search.

                                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                                    • Sparse Vectors: Ideal for keyword interpretation and analysis, sparse vectors are now supported for processing in your collection. For details, refer to Sparse Vectors.

                                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                                    • Grouping Search: Categorical aggregation enhances document-level recall for Retrieval-Augmented Generation (RAG) applications. For details, refer to Grouping Search.

                                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                                    • Inverted Index and Fuzzy Matching: These capabilities improve keyword retrieval for scalar fields. For details, refer to Index Scalar Fields and Filtered Search.

                                                                                                                                                                                                                                    -

                                                                                                                                                                                                                                    Nuove funzionalità

                                                                                                                                                                                                                                    Indice GPU - CAGRA

                                                                                                                                                                                                                                    Desideriamo esprimere la nostra sincera gratitudine al team NVIDIA per il suo prezioso contributo a CAGRA, un indice di grafi basato su GPU allo stato dell'arte (SoTA) che può essere utilizzato online.

                                                                                                                                                                                                                                    -

                                                                                                                                                                                                                                    A differenza dei precedenti indici su GPU, CAGRA dimostra una superiorità schiacciante anche nelle query di piccoli lotti, un'area in cui gli indici su CPU tradizionalmente eccellono. Inoltre, le prestazioni di CAGRA nelle query batch di grandi dimensioni e la velocità di costruzione dell'indice, ambiti in cui gli indici su GPU già primeggiano, sono davvero impareggiabili.

                                                                                                                                                                                                                                    -

                                                                                                                                                                                                                                    Il codice di esempio è disponibile in example_gpu_cagra.py.

                                                                                                                                                                                                                                    -

                                                                                                                                                                                                                                    Vettore sparso (Beta)

                                                                                                                                                                                                                                    In questa versione è stato introdotto un nuovo tipo di campo vettoriale, chiamato sparse vector. I vettori sparsi sono diversi dalle loro controparti dense, in quanto tendono ad avere un numero di dimensioni più elevato, con solo una manciata di dimensioni non nulle. Questa caratteristica offre una migliore interpretabilità grazie alla sua natura basata sui termini e può essere più efficace in alcuni domini. I modelli sparsi appresi, come SPLADEv2/BGE-M3, si sono dimostrati molto utili per i comuni compiti di classificazione di primo livello. Il principale caso d'uso di questa nuova funzionalità di Milvus è quello di consentire un'efficiente ricerca semantica approssimata dei vicini su vettori sparsi generati da modelli neurali come SPLADEv2/BGE-M3 e da modelli statistici come l'algoritmo BM25. Milvus supporta ora la memorizzazione, l'indicizzazione e la ricerca efficace e ad alte prestazioni (MIPS, Maximum Inner Product Search) di vettori sparsi.

                                                                                                                                                                                                                                    -

                                                                                                                                                                                                                                    Un esempio di codice si trova in hello_sparse.py.

                                                                                                                                                                                                                                    -

                                                                                                                                                                                                                                    Il supporto multi-vettore è la pietra miliare per le applicazioni che richiedono l'elaborazione di dati multi-modello o un mix di vettori densi e radi. Con il supporto multivettoriale, ora è possibile:

                                                                                                                                                                                                                                    +

                                                                                                                                                                                                                                    New Features

                                                                                                                                                                                                                                    GPU Index - CAGRA

                                                                                                                                                                                                                                    We would like to express our sincere gratitude to the NVIDIA team for their invaluable contribution to CAGRA, a state-of-the-art (SoTA) GPU-based graph index that can be used online.

                                                                                                                                                                                                                                    +

                                                                                                                                                                                                                                    Unlike previous GPU indices, CAGRA demonstrates overwhelming superiority even in small batch queries, an area where CPU indices traditionally excel. In addition, CAGRA’s performance in large batch queries and index construction speed, domains where GPU indices already shine, is truly unparalleled.

                                                                                                                                                                                                                                    +

                                                                                                                                                                                                                                    Example code can be found in example_gpu_cagra.py.

                                                                                                                                                                                                                                    +

                                                                                                                                                                                                                                    Sparse Vector (Beta)

                                                                                                                                                                                                                                    In this release, we are introducing a new type of vector field called sparse vector. Sparse vectors are different from their dense counterparts as they tend to have several magnitude higher number of dimensions with only a handful being non-zero. This feature offers better interpretability due to its term-based nature and can be more effective in certain domains. Learned sparse models such as SPLADEv2/BGE-M3 have proven to be very useful for common first-stage ranking tasks. The main use case for this new feature in Milvus is to allow efficient approximate semantic nearest neighbor search over sparse vectors generated by neural models such as SPLADEv2/BGE-M3 and statistics models such as the BM25 algorithm. Milvus now supports effective and high-performance storage, indexing, and searching (MIPS, Maximum Inner Product Search) of sparse vectors.

                                                                                                                                                                                                                                    +

                                                                                                                                                                                                                                    Example code can be found in hello_sparse.py.

                                                                                                                                                                                                                                    +

                                                                                                                                                                                                                                    Multi-vector support is the cornerstone for applications that require multi-model data processing or a mix of dense and sparse vectors. With multi-vector support, now you can:

                                                                                                                                                                                                                                      -
                                                                                                                                                                                                                                    • Memorizzare le incorporazioni vettoriali generate per campioni di testo, immagini o audio non strutturati da più modelli.
                                                                                                                                                                                                                                    • -
                                                                                                                                                                                                                                    • Condurre ricerche RNA che includono più vettori di ogni entità.
                                                                                                                                                                                                                                    • -
                                                                                                                                                                                                                                    • Personalizzare le strategie di ricerca assegnando pesi ai diversi modelli di incorporamento.
                                                                                                                                                                                                                                    • -
                                                                                                                                                                                                                                    • Sperimentare con vari modelli di incorporamento per trovare la combinazione ottimale di modelli.
                                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                                    • Store vector embeddings generated for unstructured text, image, or audio samples from multiple models.
                                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                                    • Conduct ANN searches that include multiple vectors of each entity.
                                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                                    • Customize search strategies by assigning weights to different embedding models.
                                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                                    • Experiment with various embedding models to find the optimal model combination.
                                                                                                                                                                                                                                    -

                                                                                                                                                                                                                                    Il supporto multivettoriale consente di memorizzare, indicizzare e applicare strategie di reranking a più campi vettoriali di tipo diverso, come FLOAT_VECTOR e SPARSE_FLOAT_VECTOR, in una collezione. Attualmente sono disponibili due strategie di reranking: Reciprocal Rank Fusion (RRF) e Average Weighted Scoring. Entrambe le strategie combinano i risultati della ricerca di diversi campi vettoriali in un insieme di risultati unificato. La prima strategia dà priorità alle entità che appaiono costantemente nei risultati di ricerca di diversi campi vettoriali, mentre l'altra strategia assegna dei pesi ai risultati di ricerca di ciascun campo vettoriale per determinare la loro importanza nel set di risultati finale.

                                                                                                                                                                                                                                    -

                                                                                                                                                                                                                                    Un esempio di codice si trova in hybrid_search.py.

                                                                                                                                                                                                                                    -

                                                                                                                                                                                                                                    Indice invertito e corrispondenza fuzzy

                                                                                                                                                                                                                                    Nelle versioni precedenti di Milvus, per l'indicizzazione dei campi scalari venivano utilizzati indici di ricerca binaria basati sulla memoria e indici Marisa Trie. Tuttavia, questi metodi richiedevano molta memoria. L'ultima versione di Milvus impiega ora l'indice inverso basato su Tantivy, che può essere applicato a tutti i tipi di dati numerici e stringhe. Questo nuovo indice migliora notevolmente le prestazioni delle query scalari, riducendo di dieci volte la ricerca di parole chiave nelle stringhe. Inoltre, l'indice invertito consuma meno memoria, grazie a ulteriori ottimizzazioni nella compressione dei dati e al meccanismo di Memory-mapped storage (MMap) della struttura di indicizzazione interna.

                                                                                                                                                                                                                                    -

                                                                                                                                                                                                                                    Questa versione supporta anche le corrispondenze sfumate nel filtraggio scalare utilizzando prefissi, infissi e suffissi.

                                                                                                                                                                                                                                    -

                                                                                                                                                                                                                                    Esempi di codice si trovano in inverted_index_example.py e fuzzy_match.py.

                                                                                                                                                                                                                                    -

                                                                                                                                                                                                                                    È ora possibile aggregare i risultati della ricerca in base ai valori di uno specifico campo scalare. Questo aiuta le applicazioni RAG a implementare il richiamo a livello di documento. Si consideri un insieme di documenti, ogni documento suddiviso in vari passaggi. Ogni passaggio è rappresentato da un'incorporazione vettoriale e appartiene a un documento. Per trovare i documenti più rilevanti invece di disperdere i passaggi, è possibile includere l'argomento group_by_field nell'operazione search() per raggruppare i risultati in base all'ID del documento.

                                                                                                                                                                                                                                    -

                                                                                                                                                                                                                                    Un esempio di codice si trova in example_group_by.py.

                                                                                                                                                                                                                                    -

                                                                                                                                                                                                                                    Tipo di dati vettoriali Float16 e BFloat

                                                                                                                                                                                                                                    L'apprendimento automatico e le reti neurali utilizzano spesso tipi di dati a mezza precisione, come Float16 e BFloat. Sebbene questi tipi di dati possano migliorare l'efficienza delle query e ridurre l'uso della memoria, hanno come contropartita una minore precisione. Con questa versione, Milvus supporta ora questi tipi di dati per i campi vettoriali.

                                                                                                                                                                                                                                    -

                                                                                                                                                                                                                                    Il codice di esempio si trova in float16_example.py e bfloat16_example.py.

                                                                                                                                                                                                                                    -

                                                                                                                                                                                                                                    Architettura aggiornata

                                                                                                                                                                                                                                    Segmento L0

                                                                                                                                                                                                                                    Questa versione include un nuovo segmento chiamato Segmento L0, progettato per registrare i dati cancellati. Questo segmento compatta periodicamente i record cancellati memorizzati e li divide in segmenti sigillati, riducendo il numero di flush dei dati necessari per le piccole cancellazioni e lasciando un'impronta di memoria ridotta. Con questo meccanismo, Milvus separa completamente la compattazione dei dati dal lavaggio dei dati, migliorando le prestazioni delle operazioni di cancellazione e di upsert.

                                                                                                                                                                                                                                    -

                                                                                                                                                                                                                                    BulkInsert rifatto

                                                                                                                                                                                                                                    Questa versione introduce anche una logica di inserimento massivo migliorata. Ciò consente di importare più file in un'unica richiesta di bulk-insert. Con la versione rifattorizzata, sia le prestazioni che la stabilità del bulk insert sono migliorate in modo significativo. Anche l'esperienza dell'utente è stata migliorata, come la limitazione della velocità e i messaggi di errore più semplici. Inoltre, è possibile accedere facilmente agli endpoint di inserimento massivo tramite l'API RESTful di Milvus.

                                                                                                                                                                                                                                    -

                                                                                                                                                                                                                                    Archiviazione con memoria

                                                                                                                                                                                                                                    Milvus utilizza lo storage memory-mapped (MMap) per ottimizzare l'uso della memoria. Invece di caricare il contenuto del file direttamente nella memoria, questo meccanismo mappa il contenuto del file nella memoria. Questo approccio ha come contropartita una riduzione delle prestazioni. Abilitando MMap per una raccolta indicizzata HNSW su un host con 2 CPU e 8 GB di RAM, è possibile caricare 4 volte più dati con una riduzione delle prestazioni inferiore al 10%.

                                                                                                                                                                                                                                    -

                                                                                                                                                                                                                                    Inoltre, questa versione consente anche un controllo dinamico e a grana fine su MMap senza la necessità di riavviare Milvus.

                                                                                                                                                                                                                                    -

                                                                                                                                                                                                                                    Per maggiori dettagli, consultare la sezione Memorizzazione MMap.

                                                                                                                                                                                                                                    -

                                                                                                                                                                                                                                    Altri

                                                                                                                                                                                                                                    Milvus-CDC

                                                                                                                                                                                                                                    Milvus-CDC è uno strumento di facile utilizzo per acquisire e sincronizzare i dati incrementali tra le istanze di Milvus, consentendo di semplificare il backup incrementale e il disaster recovery. In questa versione, Milvus-CDC ha migliorato la stabilità e la sua funzionalità Change Data Capture (CDC) è ora generalmente disponibile.

                                                                                                                                                                                                                                    -

                                                                                                                                                                                                                                    Per saperne di più su Milvus-CDC, consultate il repository GitHub e la panoramica di Milvus-CDC.

                                                                                                                                                                                                                                    -

                                                                                                                                                                                                                                    Interfacce perfezionate per MilvusClient

                                                                                                                                                                                                                                    MilvusClient è un'alternativa facile da usare al modulo ORM. Adotta un approccio puramente funzionale per semplificare le interazioni con il server. Invece di mantenere un pool di connessioni, ogni MilvusClient stabilisce una connessione gRPC al server. Il modulo MilvusClient ha implementato la maggior parte delle funzionalità del modulo ORM. Per saperne di più sul modulo MilvusClient, visitate pymilvus e i documenti di riferimento.

                                                                                                                                                                                                                                    +

                                                                                                                                                                                                                                    Multi-vector support allows storing, indexing, and applying reranking strategies to multiple vector fields of different types, such as FLOAT_VECTOR and SPARSE_FLOAT_VECTOR, in a collection. Currently, two reranking strategies are available: Reciprocal Rank Fusion (RRF) and Average Weighted Scoring. Both strategies combine the search results from different vector fields into a unified result set. The first strategy prioritizes the entities that consistently appear in the search results of different vector fields, while the other strategy assigns weights to the search results of each vector field to determine their importance in the final result set.

                                                                                                                                                                                                                                    +

                                                                                                                                                                                                                                    Example code can be found in hybrid_search.py.

                                                                                                                                                                                                                                    +

                                                                                                                                                                                                                                    Inverted Index and Fuzzy Match

                                                                                                                                                                                                                                    In previous releases of Milvus, memory-based binary search indexes and Marisa Trie indexes were used for scalar field indexing. However, these methods were memory-intensive. The latest release of Milvus now employs the Tantivy-based inverted index, which can be applied to all numeric and string data types. This new index dramatically improves scalar query performance, reducing the query of keywords in strings by ten times. In addition, The inverted index consumes less memory, thanks to additional optimizations in data compression and Memory-mapped storage (MMap) mechanism of the internal indexing structure.

                                                                                                                                                                                                                                    +

                                                                                                                                                                                                                                    This release also supports fuzzy matches in scalar filtering using prefixes, infixes, and suffixes.

                                                                                                                                                                                                                                    +

                                                                                                                                                                                                                                    Example code can be found in inverted_index_example.py and fuzzy_match.py.

                                                                                                                                                                                                                                    +

                                                                                                                                                                                                                                    You can now aggregate the search results by the values in a specific scalar field. This helps RAG applications to implement document-level recall. Consider a collection of documents, each document splits into various passages. Each passage is represented by one vector embedding and belongs to one document. To find the most relevant documents instead of scattering passages, you can include the group_by_field argument in the search() operation to group results by the document ID.

                                                                                                                                                                                                                                    +

                                                                                                                                                                                                                                    Example code can be found in example_group_by.py.

                                                                                                                                                                                                                                    +

                                                                                                                                                                                                                                    Float16 and BFloat- Vector DataType

                                                                                                                                                                                                                                    Machine learning and neural networks often use half-precision data types, such as Float16 and BFloat- While these data types can improve query efficiency and reduce memory usage, they come with a tradeoff of reduced accuracy. With this release, Milvus now supports these data types for vector fields.

                                                                                                                                                                                                                                    +

                                                                                                                                                                                                                                    Example code can be found in float16_example.py and bfloat16_example.py.

                                                                                                                                                                                                                                    +

                                                                                                                                                                                                                                    Upgraded Architecture

                                                                                                                                                                                                                                    L0 Segment

                                                                                                                                                                                                                                    This release includes a new segment called L0 Segment, designed to record deleted data. This segment periodically compacts stored deleted records and splits them into sealed segments, reducing the number of data flushes required for small deletions and leaving a small storage footprint. With this mechanism, Milvus completely separates data compactions from data flushes, enhancing the performance of delete and upsert operations.

                                                                                                                                                                                                                                    +

                                                                                                                                                                                                                                    Refactored BulkInsert

                                                                                                                                                                                                                                    This release also introduces improved bulk-insert logic. This allows you to import multiple files in a single bulk-insert request. With the refactored version, both the performance and stability of bulk insert have seen significant improvements. The user experience has also been enhanced, such as fine-tuned rate limiting and more user-friendly error messages. In addition, you can easily access the bulk-insert endpoints through Milvus’ RESTful API.

                                                                                                                                                                                                                                    +

                                                                                                                                                                                                                                    Memory-mapped Storage

                                                                                                                                                                                                                                    Milvus uses memory-mapped storage (MMap) to optimize its memory usage. Instead of loading file content directly into memory, this mechanism maps the file content into memory. This approach comes with a tradeoff of performance degradation. By enabling MMap for an HNSW-indexed collection on a host with 2 CPUs and 8 GB RAM, you can load 4x more data with less than 10% performance degradation.

                                                                                                                                                                                                                                    +

                                                                                                                                                                                                                                    In addition, this release also allows dynamic and fine-grained control over MMap without the need to restart Milvus.

                                                                                                                                                                                                                                    +

                                                                                                                                                                                                                                    For details, refer to MMap Storage.

                                                                                                                                                                                                                                    +

                                                                                                                                                                                                                                    Others

                                                                                                                                                                                                                                    Milvus-CDC

                                                                                                                                                                                                                                    Milvus-CDC is an easy-to-use companion tool to capture and synchronize incremental data between Milvus instances, allowing for easy incremental backup and disaster recovery. In this release, Milvus-CDC has improved stability, and its Change Data Capture (CDC) functionality now becomes generally available.

                                                                                                                                                                                                                                    +

                                                                                                                                                                                                                                    To learn more about Milvus-CDC, refer to GitHub repository and Milvus-CDC Overview.

                                                                                                                                                                                                                                    +

                                                                                                                                                                                                                                    Refined MilvusClient Interfaces

                                                                                                                                                                                                                                    MilvusClient is an easy-to-use alternative to the ORM module. It adopts a purely functional approach to simplify interactions with the server. Instead of maintaining a connection pool, each MilvusClient establishes a gRPC connection to the server. +The MilvusClient module has implemented most of the functionalities of the ORM module. +To learn more about the MilvusClient module, visit pymilvus and the reference documents.

                                                                                                                                                                                                                                    diff --git a/localization/v2.4.x/site/it/userGuide/data-import/import-data.json b/localization/v2.4.x/site/it/userGuide/data-import/import-data.json index 3ebe63002..3f2b88281 100644 --- a/localization/v2.4.x/site/it/userGuide/data-import/import-data.json +++ b/localization/v2.4.x/site/it/userGuide/data-import/import-data.json @@ -1 +1 @@ -{"codeList":["client = MilvusClient(\"http://localhost:19530\")\n\nschema = MilvusClient.create_schema(\n auto_id=False,\n enable_dynamic_field=True\n)\n\nschema.add_field(field_name=\"id\", datatype=DataType.INT64, is_primary=True)\nschema.add_field(field_name=\"vector\", datatype=DataType.FLOAT_VECTOR, dim=768)\nschema.add_field(field_name=\"scalar_1\", datatype=DataType.VARCHAR, max_length=512)\nschema.add_field(field_name=\"scalar_2\", datatype=DataType.INT64)\n\nclient.create_collection(\n collection_name=\"quick_setup\",\n schema=schema\n)\n","import io.milvus.client.MilvusServiceClient;\nimport io.milvus.param.ConnectParam;\nimport io.milvus.grpc.DataType;\nimport io.milvus.param.collection.CollectionSchemaParam;\nimport io.milvus.param.collection.CollectionSchemaParam;\nimport io.milvus.param.collection.FieldType;\n\nfinal MilvusServiceClient milvusClient = new MilvusServiceClient(\nConnectParam.newBuilder()\n .withUri(\"localhost:19530\")\n .withToken(\"root:Milvus\")\n .build()\n);\n\n// Define schema for the target collection\nFieldType id = FieldType.newBuilder()\n .withName(\"id\")\n .withDataType(DataType.Int64)\n .withPrimaryKey(true)\n .withAutoID(false)\n .build();\n\nFieldType vector = FieldType.newBuilder()\n .withName(\"vector\")\n .withDataType(DataType.FloatVector)\n .withDimension(768)\n .build();\n\nFieldType scalar1 = FieldType.newBuilder()\n .withName(\"scalar_1\")\n .withDataType(DataType.VarChar)\n .withMaxLength(512)\n .build();\n\nFieldType scalar2 = FieldType.newBuilder()\n .withName(\"scalar_2\")\n .withDataType(DataType.Int64)\n .build();\n\nCollectionSchemaParam schema = CollectionSchemaParam.newBuilder()\n .withEnableDynamicField(true)\n .addFieldType(id)\n .addFieldType(vector)\n .addFieldType(scalar1)\n .addFieldType(scalar2)\n .build();\n\n// Create a collection with the given schema\nmilvusClient.createCollection(CreateCollectionParam.newBuilder()\n .withCollectionName(\"quick_setup\")\n .withSchema(schema)\n .build()\n);\n","export MILVUS_URI=\"localhost:19530\"\n\ncurl --request POST \"http://${MILVUS_URI}/v2/vectordb/jobs/import/create\" \\\n--header \"Content-Type: application/json\" \\\n--data-raw '{\n \"files\": [\n [\n \"/8ca44f28-47f7-40ba-9604-98918afe26d1/1.parquet\"\n ],\n [\n \"/8ca44f28-47f7-40ba-9604-98918afe26d1/2.parquet\"\n ]\n ],\n \"collectionName\": \"quick_setup\"\n}'\n","[\n \"/d1782fa1-6b65-4ff3-b05a-43a436342445/1.json\"\n],\n","[\n \"/a6fb2d1c-7b1b-427c-a8a3-178944e3b66d/1.parquet\"\n]\n\n","{\n \"code\": 200,\n \"data\": {\n \"jobId\": \"448707763884413158\"\n }\n}\n","export MILVUS_URI=\"localhost:19530\"\n\ncurl --request POST \"http://${MILVUS_URI}/v2/vectordb/jobs/import/get_progress\" \\\n--header \"Content-Type: application/json\" \\\n--data-raw '{\n \"jobId\": \"449839014328146739\"\n}'\n","{\n \"code\": 200,\n \"data\": {\n \"collectionName\": \"quick_setup\",\n \"completeTime\": \"2024-05-18T02:57:13Z\",\n \"details\": [\n {\n \"completeTime\": \"2024-05-18T02:57:11Z\",\n \"fileName\": \"id:449839014328146740 paths:\\\"/8ca44f28-47f7-40ba-9604-98918afe26d1/1.parquet\\\" \",\n \"fileSize\": 31567874,\n \"importedRows\": 100000,\n \"progress\": 100,\n \"state\": \"Completed\",\n \"totalRows\": 100000\n },\n {\n \"completeTime\": \"2024-05-18T02:57:11Z\",\n \"fileName\": \"id:449839014328146741 paths:\\\"/8ca44f28-47f7-40ba-9604-98918afe26d1/2.parquet\\\" \",\n \"fileSize\": 31517224,\n \"importedRows\": 100000,\n \"progress\": 100,\n \"state\": \"Completed\",\n \"totalRows\": 200000 \n }\n ],\n \"fileSize\": 63085098,\n \"importedRows\": 200000,\n \"jobId\": \"449839014328146739\",\n \"progress\": 100,\n \"state\": \"Completed\",\n \"totalRows\": 200000\n }\n}\n","export MILVUS_URI=\"localhost:19530\"\n\ncurl --request POST \"http://${MILVUS_URI}/v2/vectordb/jobs/import/list\" \\\n--header \"Content-Type: application/json\" \\\n--data-raw '{\n \"collectionName\": \"quick_setup\"\n}'\n","{\n \"code\": 200,\n \"data\": {\n \"records\": [\n {\n \"collectionName\": \"quick_setup\",\n \"jobId\": \"448761313698322011\",\n \"progress\": 50,\n \"state\": \"Importing\"\n }\n ]\n }\n}\n"],"headingContent":"","anchorList":[{"label":"Importazione dei dati","href":"Import-data","type":1,"isActive":false},{"label":"Prima di iniziare","href":"Before-you-start","type":2,"isActive":false},{"label":"Importazione dei dati","href":"Import-data","type":2,"isActive":false},{"label":"Controllare l'avanzamento dell'importazione","href":"Check-import-progress","type":2,"isActive":false},{"label":"Elenco dei lavori di importazione","href":"List-Import-Jobs","type":2,"isActive":false}]} \ No newline at end of file +{"codeList":["from pymilvus.bulk_writer import bulk_import\n\nurl = f\"http://127.0.0.1:19530\"\n\n# Bulk-insert data from a set of JSON files already uploaded to the MinIO server\nresp = bulk_import(\n url=url,\n collection_name=\"quick_setup\",\n files=[['a1e18323-a658-4d1b-95a7-9907a4391bcf/1.parquet'],\n ['a1e18323-a658-4d1b-95a7-9907a4391bcf/2.parquet'],\n ['a1e18323-a658-4d1b-95a7-9907a4391bcf/3.parquet'],\n ['a1e18323-a658-4d1b-95a7-9907a4391bcf/4.parquet'],\n ['a1e18323-a658-4d1b-95a7-9907a4391bcf/5.parquet'],\n ['a1e18323-a658-4d1b-95a7-9907a4391bcf/6.parquet'],\n ['a1e18323-a658-4d1b-95a7-9907a4391bcf/7.parquet'],\n ['a1e18323-a658-4d1b-95a7-9907a4391bcf/8.parquet'],\n ['a1e18323-a658-4d1b-95a7-9907a4391bcf/9.parquet'],\n ['a1e18323-a658-4d1b-95a7-9907a4391bcf/10.parquet']],\n)\n\njob_id = resp.json()['data']['jobId']\nprint(job_id)\n","private static String bulkImport(List> batchFiles) throws InterruptedException {\n MilvusImportRequest milvusImportRequest = MilvusImportRequest.builder()\n .collectionName(\"quick_setup\")\n .files(batchFiles)\n .build();\n String bulkImportResult = BulkImport.bulkImport(\"http://localhost:19530\", milvusImportRequest);\n System.out.println(bulkImportResult);\n\n JsonObject bulkImportObject = new Gson().fromJson(bulkImportResult, JsonObject.class);\n String jobId = bulkImportObject.getAsJsonObject(\"data\").get(\"jobId\").getAsString();\n System.out.println(\"Create a bulkInert task, job id: \" + jobId);\n return jobId;\n}\n\npublic static void main(String[] args) throws Exception {\n List> batchFiles = uploadData();\n String jobId = bulkImport(batchFiles);\n}\n","export MILVUS_URI=\"localhost:19530\"\n\ncurl --request POST \"http://${MILVUS_URI}/v2/vectordb/jobs/import/create\" \\\n--header \"Content-Type: application/json\" \\\n--data-raw '{\n \"files\": [\n [\n \"/8ca44f28-47f7-40ba-9604-98918afe26d1/1.parquet\"\n ],\n [\n \"/8ca44f28-47f7-40ba-9604-98918afe26d1/2.parquet\"\n ]\n ],\n \"collectionName\": \"quick_setup\"\n}'\n","[\n \"/d1782fa1-6b65-4ff3-b05a-43a436342445/1.json\"\n],\n","[\n \"/a6fb2d1c-7b1b-427c-a8a3-178944e3b66d/1.parquet\"\n]\n\n","{\n \"code\": 200,\n \"data\": {\n \"jobId\": \"448707763884413158\"\n }\n}\n","import json\nfrom pymilvus.bulk_writer import get_import_progress\n\nurl = f\"http://127.0.0.1:19530\"\n\n# Get bulk-insert job progress\nresp = get_import_progress(\n url=url,\n job_id=\"453265736269038336\",\n)\n\nprint(json.dumps(resp.json(), indent=4))\n","private static void getImportProgress(String jobId) {\n while (true) {\n System.out.println(\"Wait 5 second to check bulkInsert job state...\");\n try {\n TimeUnit.SECONDS.sleep(5);\n } catch (InterruptedException e) {\n break;\n }\n\n MilvusDescribeImportRequest request = MilvusDescribeImportRequest.builder()\n .jobId(jobId)\n .build();\n String getImportProgressResult = BulkImport.getImportProgress(\"http://localhost:19530\", request);\n\n JsonObject getImportProgressObject = new Gson().fromJson(getImportProgressResult, JsonObject.class);\n String state = getImportProgressObject.getAsJsonObject(\"data\").get(\"state\").getAsString();\n String progress = getImportProgressObject.getAsJsonObject(\"data\").get(\"progress\").getAsString();\n if (\"Failed\".equals(state)) {\n String reason = getImportProgressObject.getAsJsonObject(\"data\").get(\"reason\").getAsString();\n System.out.printf(\"The job %s failed, reason: %s%n\", jobId, reason);\n break;\n } else if (\"Completed\".equals(state)) {\n System.out.printf(\"The job %s completed%n\", jobId);\n break;\n } else {\n System.out.printf(\"The job %s is running, state:%s progress:%s%n\", jobId, state, progress);\n }\n }\n}\n\npublic static void main(String[] args) throws Exception {\n List> batchFiles = uploadData();\n String jobId = bulkImport(batchFiles);\n getImportProgress(jobId);\n}\n","export MILVUS_URI=\"localhost:19530\"\n\ncurl --request POST \"http://${MILVUS_URI}/v2/vectordb/jobs/import/describe\" \\\n--header \"Content-Type: application/json\" \\\n--data-raw '{\n \"jobId\": \"449839014328146739\"\n}'\n","{\n \"code\": 200,\n \"data\": {\n \"collectionName\": \"quick_setup\",\n \"completeTime\": \"2024-05-18T02:57:13Z\",\n \"details\": [\n {\n \"completeTime\": \"2024-05-18T02:57:11Z\",\n \"fileName\": \"id:449839014328146740 paths:\\\"/8ca44f28-47f7-40ba-9604-98918afe26d1/1.parquet\\\" \",\n \"fileSize\": 31567874,\n \"importedRows\": 100000,\n \"progress\": 100,\n \"state\": \"Completed\",\n \"totalRows\": 100000\n },\n {\n \"completeTime\": \"2024-05-18T02:57:11Z\",\n \"fileName\": \"id:449839014328146741 paths:\\\"/8ca44f28-47f7-40ba-9604-98918afe26d1/2.parquet\\\" \",\n \"fileSize\": 31517224,\n \"importedRows\": 100000,\n \"progress\": 100,\n \"state\": \"Completed\",\n \"totalRows\": 200000 \n }\n ],\n \"fileSize\": 63085098,\n \"importedRows\": 200000,\n \"jobId\": \"449839014328146739\",\n \"progress\": 100,\n \"state\": \"Completed\",\n \"totalRows\": 200000\n }\n}\n","import json\nfrom pymilvus.bulk_writer import list_import_jobs\n\nurl = f\"http://127.0.0.1:19530\"\n\n# List bulk-insert jobs\nresp = list_import_jobs(\n url=url,\n collection_name=\"quick_setup\",\n)\n\nprint(json.dumps(resp.json(), indent=4))\n","private static void listImportJobs() {\n MilvusListImportJobsRequest listImportJobsRequest = MilvusListImportJobsRequest.builder().collectionName(\"quick_setup\").build();\n String listImportJobsResult = BulkImport.listImportJobs(\"http://localhost:19530\", listImportJobsRequest);\n System.out.println(listImportJobsResult);\n}\n\npublic static void main(String[] args) throws Exception {\n listImportJobs();\n}\n","export MILVUS_URI=\"localhost:19530\"\n\ncurl --request POST \"http://${MILVUS_URI}/v2/vectordb/jobs/import/list\" \\\n--header \"Content-Type: application/json\" \\\n--data-raw '{\n \"collectionName\": \"quick_setup\"\n}'\n","{\n \"code\": 200,\n \"data\": {\n \"records\": [\n {\n \"collectionName\": \"quick_setup\",\n \"jobId\": \"448761313698322011\",\n \"progress\": 50,\n \"state\": \"Importing\"\n }\n ]\n }\n}\n"],"headingContent":"Import data","anchorList":[{"label":"Importazione dei dati","href":"Import-data","type":1,"isActive":false},{"label":"Prima di iniziare","href":"Before-you-start","type":2,"isActive":false},{"label":"Importazione dei dati","href":"Import-data","type":2,"isActive":false},{"label":"Controllare l'avanzamento dell'importazione","href":"Check-import-progress","type":2,"isActive":false},{"label":"Elenco dei lavori di importazione","href":"List-Import-Jobs","type":2,"isActive":false},{"label":"Limitazioni","href":"Limitations","type":2,"isActive":false},{"label":"Vincoli","href":"Constraints","type":2,"isActive":false},{"label":"Raccomandazioni","href":"Recommendations","type":2,"isActive":false}]} \ No newline at end of file diff --git a/localization/v2.4.x/site/it/userGuide/data-import/import-data.md b/localization/v2.4.x/site/it/userGuide/data-import/import-data.md index b6488630a..e03e4ad1e 100644 --- a/localization/v2.4.x/site/it/userGuide/data-import/import-data.md +++ b/localization/v2.4.x/site/it/userGuide/data-import/import-data.md @@ -46,79 +46,6 @@ summary: Questa pagina mostra la procedura per importare i dati preparati.

                                                                                                                                                                                                                                    Il seguente frammento di codice crea una collezione semplice con lo schema dato. Per ulteriori informazioni sui parametri, fare riferimento a createCollection() nel riferimento all'SDK.

                                                                                                                                                                                                                                    - -
                                                                                                                                                                                                                                    client = MilvusClient("http://localhost:19530")
                                                                                                                                                                                                                                    -
                                                                                                                                                                                                                                    -schema = MilvusClient.create_schema(
                                                                                                                                                                                                                                    -    auto_id=False,
                                                                                                                                                                                                                                    -    enable_dynamic_field=True
                                                                                                                                                                                                                                    -)
                                                                                                                                                                                                                                    -
                                                                                                                                                                                                                                    -schema.add_field(field_name="id", datatype=DataType.INT64, is_primary=True)
                                                                                                                                                                                                                                    -schema.add_field(field_name="vector", datatype=DataType.FLOAT_VECTOR, dim=768)
                                                                                                                                                                                                                                    -schema.add_field(field_name="scalar_1", datatype=DataType.VARCHAR, max_length=512)
                                                                                                                                                                                                                                    -schema.add_field(field_name="scalar_2", datatype=DataType.INT64)
                                                                                                                                                                                                                                    -
                                                                                                                                                                                                                                    -client.create_collection(
                                                                                                                                                                                                                                    -    collection_name="quick_setup",
                                                                                                                                                                                                                                    -    schema=schema
                                                                                                                                                                                                                                    -)
                                                                                                                                                                                                                                    -
                                                                                                                                                                                                                                    -
                                                                                                                                                                                                                                    import io.milvus.client.MilvusServiceClient;
                                                                                                                                                                                                                                    -import io.milvus.param.ConnectParam;
                                                                                                                                                                                                                                    -import io.milvus.grpc.DataType;
                                                                                                                                                                                                                                    -import io.milvus.param.collection.CollectionSchemaParam;
                                                                                                                                                                                                                                    -import io.milvus.param.collection.CollectionSchemaParam;
                                                                                                                                                                                                                                    -import io.milvus.param.collection.FieldType;
                                                                                                                                                                                                                                    -
                                                                                                                                                                                                                                    -final MilvusServiceClient milvusClient = new MilvusServiceClient(
                                                                                                                                                                                                                                    -ConnectParam.newBuilder()
                                                                                                                                                                                                                                    -    .withUri("localhost:19530")
                                                                                                                                                                                                                                    -    .withToken("root:Milvus")
                                                                                                                                                                                                                                    -    .build()
                                                                                                                                                                                                                                    -);
                                                                                                                                                                                                                                    -
                                                                                                                                                                                                                                    -// Define schema for the target collection
                                                                                                                                                                                                                                    -FieldType id = FieldType.newBuilder()
                                                                                                                                                                                                                                    -    .withName("id")
                                                                                                                                                                                                                                    -    .withDataType(DataType.Int64)
                                                                                                                                                                                                                                    -    .withPrimaryKey(true)
                                                                                                                                                                                                                                    -    .withAutoID(false)
                                                                                                                                                                                                                                    -    .build();
                                                                                                                                                                                                                                    -
                                                                                                                                                                                                                                    -FieldType vector = FieldType.newBuilder()
                                                                                                                                                                                                                                    -    .withName("vector")
                                                                                                                                                                                                                                    -    .withDataType(DataType.FloatVector)
                                                                                                                                                                                                                                    -    .withDimension(768)
                                                                                                                                                                                                                                    -    .build();
                                                                                                                                                                                                                                    -
                                                                                                                                                                                                                                    -FieldType scalar1 = FieldType.newBuilder()
                                                                                                                                                                                                                                    -    .withName("scalar_1")
                                                                                                                                                                                                                                    -    .withDataType(DataType.VarChar)
                                                                                                                                                                                                                                    -    .withMaxLength(512)
                                                                                                                                                                                                                                    -    .build();
                                                                                                                                                                                                                                    -
                                                                                                                                                                                                                                    -FieldType scalar2 = FieldType.newBuilder()
                                                                                                                                                                                                                                    -    .withName("scalar_2")
                                                                                                                                                                                                                                    -    .withDataType(DataType.Int64)
                                                                                                                                                                                                                                    -    .build();
                                                                                                                                                                                                                                    -
                                                                                                                                                                                                                                    -CollectionSchemaParam schema = CollectionSchemaParam.newBuilder()
                                                                                                                                                                                                                                    -    .withEnableDynamicField(true)
                                                                                                                                                                                                                                    -    .addFieldType(id)
                                                                                                                                                                                                                                    -    .addFieldType(vector)
                                                                                                                                                                                                                                    -    .addFieldType(scalar1)
                                                                                                                                                                                                                                    -    .addFieldType(scalar2)
                                                                                                                                                                                                                                    -    .build();
                                                                                                                                                                                                                                    -
                                                                                                                                                                                                                                    -// Create a collection with the given schema
                                                                                                                                                                                                                                    -milvusClient.createCollection(CreateCollectionParam.newBuilder()
                                                                                                                                                                                                                                    -    .withCollectionName("quick_setup")
                                                                                                                                                                                                                                    -    .withSchema(schema)
                                                                                                                                                                                                                                    -    .build()
                                                                                                                                                                                                                                    -);
                                                                                                                                                                                                                                    -

                                                                                                                                                                                                                                    Importare i dati

                                                                                                                                                                                                                                    Per importare i dati preparati, è necessario creare un lavoro di importazione come segue:

                                                                                                                                                                                                                                    -
                                                                                                                                                                                                                                    export MILVUS_URI="localhost:19530"
                                                                                                                                                                                                                                    +
                                                                                                                                                                                                                                    +
                                                                                                                                                                                                                                    from pymilvus.bulk_writer import bulk_import
                                                                                                                                                                                                                                    +
                                                                                                                                                                                                                                    +url = f"http://127.0.0.1:19530"
                                                                                                                                                                                                                                    +
                                                                                                                                                                                                                                    +# Bulk-insert data from a set of JSON files already uploaded to the MinIO server
                                                                                                                                                                                                                                    +resp = bulk_import(
                                                                                                                                                                                                                                    +    url=url,
                                                                                                                                                                                                                                    +    collection_name="quick_setup",
                                                                                                                                                                                                                                    +    files=[['a1e18323-a658-4d1b-95a7-9907a4391bcf/1.parquet'],
                                                                                                                                                                                                                                    +           ['a1e18323-a658-4d1b-95a7-9907a4391bcf/2.parquet'],
                                                                                                                                                                                                                                    +           ['a1e18323-a658-4d1b-95a7-9907a4391bcf/3.parquet'],
                                                                                                                                                                                                                                    +           ['a1e18323-a658-4d1b-95a7-9907a4391bcf/4.parquet'],
                                                                                                                                                                                                                                    +           ['a1e18323-a658-4d1b-95a7-9907a4391bcf/5.parquet'],
                                                                                                                                                                                                                                    +           ['a1e18323-a658-4d1b-95a7-9907a4391bcf/6.parquet'],
                                                                                                                                                                                                                                    +           ['a1e18323-a658-4d1b-95a7-9907a4391bcf/7.parquet'],
                                                                                                                                                                                                                                    +           ['a1e18323-a658-4d1b-95a7-9907a4391bcf/8.parquet'],
                                                                                                                                                                                                                                    +           ['a1e18323-a658-4d1b-95a7-9907a4391bcf/9.parquet'],
                                                                                                                                                                                                                                    +           ['a1e18323-a658-4d1b-95a7-9907a4391bcf/10.parquet']],
                                                                                                                                                                                                                                    +)
                                                                                                                                                                                                                                    +
                                                                                                                                                                                                                                    +job_id = resp.json()['data']['jobId']
                                                                                                                                                                                                                                    +print(job_id)
                                                                                                                                                                                                                                    +
                                                                                                                                                                                                                                    +
                                                                                                                                                                                                                                    private static String bulkImport(List<List<String>> batchFiles) throws InterruptedException {
                                                                                                                                                                                                                                    +    MilvusImportRequest milvusImportRequest = MilvusImportRequest.builder()
                                                                                                                                                                                                                                    +            .collectionName("quick_setup")
                                                                                                                                                                                                                                    +            .files(batchFiles)
                                                                                                                                                                                                                                    +            .build();
                                                                                                                                                                                                                                    +    String bulkImportResult = BulkImport.bulkImport("http://localhost:19530", milvusImportRequest);
                                                                                                                                                                                                                                    +    System.out.println(bulkImportResult);
                                                                                                                                                                                                                                    +
                                                                                                                                                                                                                                    +    JsonObject bulkImportObject = new Gson().fromJson(bulkImportResult, JsonObject.class);
                                                                                                                                                                                                                                    +    String jobId = bulkImportObject.getAsJsonObject("data").get("jobId").getAsString();
                                                                                                                                                                                                                                    +    System.out.println("Create a bulkInert task, job id: " + jobId);
                                                                                                                                                                                                                                    +    return jobId;
                                                                                                                                                                                                                                    +}
                                                                                                                                                                                                                                    +
                                                                                                                                                                                                                                    +public static void main(String[] args) throws Exception {
                                                                                                                                                                                                                                    +    List<List<String>> batchFiles = uploadData();
                                                                                                                                                                                                                                    +    String jobId = bulkImport(batchFiles);
                                                                                                                                                                                                                                    +}
                                                                                                                                                                                                                                    +
                                                                                                                                                                                                                                    +
                                                                                                                                                                                                                                    export MILVUS_URI="localhost:19530"
                                                                                                                                                                                                                                     
                                                                                                                                                                                                                                     curl --request POST "http://${MILVUS_URI}/v2/vectordb/jobs/import/create" \
                                                                                                                                                                                                                                     --header "Content-Type: application/json" \
                                                                                                                                                                                                                                    @@ -174,7 +145,7 @@ curl --request POST "http://{
                                                                                                                                                                                                                                    +
                                                                                                                                                                                                                                    {
                                                                                                                                                                                                                                         "code": 200,
                                                                                                                                                                                                                                         "data": {
                                                                                                                                                                                                                                             "jobId": "448707763884413158"
                                                                                                                                                                                                                                    @@ -196,10 +167,61 @@ curl --request POST "http://
                                                                                                                                                                                                                                           
                                                                                                                                                                                                                                    -    

                                                                                                                                                                                                                                    Una volta ottenuto l'ID del lavoro di importazione, è possibile verificare l'avanzamento dell'importazione come segue:

                                                                                                                                                                                                                                    -
                                                                                                                                                                                                                                    export MILVUS_URI="localhost:19530"
                                                                                                                                                                                                                                    +    

                                                                                                                                                                                                                                    Una volta ottenuto l'ID di un lavoro di importazione, è possibile verificare l'avanzamento dell'importazione come segue:

                                                                                                                                                                                                                                    + +
                                                                                                                                                                                                                                    import json
                                                                                                                                                                                                                                    +from pymilvus.bulk_writer import get_import_progress
                                                                                                                                                                                                                                    +
                                                                                                                                                                                                                                    +url = f"http://127.0.0.1:19530"
                                                                                                                                                                                                                                    +
                                                                                                                                                                                                                                    +# Get bulk-insert job progress
                                                                                                                                                                                                                                    +resp = get_import_progress(
                                                                                                                                                                                                                                    +    url=url,
                                                                                                                                                                                                                                    +    job_id="453265736269038336",
                                                                                                                                                                                                                                    +)
                                                                                                                                                                                                                                    +
                                                                                                                                                                                                                                    +print(json.dumps(resp.json(), indent=4))
                                                                                                                                                                                                                                    +
                                                                                                                                                                                                                                    +
                                                                                                                                                                                                                                    private static void getImportProgress(String jobId) {
                                                                                                                                                                                                                                    +    while (true) {
                                                                                                                                                                                                                                    +        System.out.println("Wait 5 second to check bulkInsert job state...");
                                                                                                                                                                                                                                    +        try {
                                                                                                                                                                                                                                    +            TimeUnit.SECONDS.sleep(5);
                                                                                                                                                                                                                                    +        } catch (InterruptedException e) {
                                                                                                                                                                                                                                    +            break;
                                                                                                                                                                                                                                    +        }
                                                                                                                                                                                                                                    +
                                                                                                                                                                                                                                    +        MilvusDescribeImportRequest request = MilvusDescribeImportRequest.builder()
                                                                                                                                                                                                                                    +                .jobId(jobId)
                                                                                                                                                                                                                                    +                .build();
                                                                                                                                                                                                                                    +        String getImportProgressResult = BulkImport.getImportProgress("http://localhost:19530", request);
                                                                                                                                                                                                                                     
                                                                                                                                                                                                                                    -curl --request POST "http://${MILVUS_URI}/v2/vectordb/jobs/import/get_progress" \
                                                                                                                                                                                                                                    +        JsonObject getImportProgressObject = new Gson().fromJson(getImportProgressResult, JsonObject.class);
                                                                                                                                                                                                                                    +        String state = getImportProgressObject.getAsJsonObject("data").get("state").getAsString();
                                                                                                                                                                                                                                    +        String progress = getImportProgressObject.getAsJsonObject("data").get("progress").getAsString();
                                                                                                                                                                                                                                    +        if ("Failed".equals(state)) {
                                                                                                                                                                                                                                    +            String reason = getImportProgressObject.getAsJsonObject("data").get("reason").getAsString();
                                                                                                                                                                                                                                    +            System.out.printf("The job %s failed, reason: %s%n", jobId, reason);
                                                                                                                                                                                                                                    +            break;
                                                                                                                                                                                                                                    +        } else if ("Completed".equals(state)) {
                                                                                                                                                                                                                                    +            System.out.printf("The job %s completed%n", jobId);
                                                                                                                                                                                                                                    +            break;
                                                                                                                                                                                                                                    +        } else {
                                                                                                                                                                                                                                    +            System.out.printf("The job %s is running, state:%s progress:%s%n", jobId, state, progress);
                                                                                                                                                                                                                                    +        }
                                                                                                                                                                                                                                    +    }
                                                                                                                                                                                                                                    +}
                                                                                                                                                                                                                                    +
                                                                                                                                                                                                                                    +public static void main(String[] args) throws Exception {
                                                                                                                                                                                                                                    +    List<List<String>> batchFiles = uploadData();
                                                                                                                                                                                                                                    +    String jobId = bulkImport(batchFiles);
                                                                                                                                                                                                                                    +    getImportProgress(jobId);
                                                                                                                                                                                                                                    +}
                                                                                                                                                                                                                                    +
                                                                                                                                                                                                                                    +
                                                                                                                                                                                                                                    export MILVUS_URI="localhost:19530"
                                                                                                                                                                                                                                    +
                                                                                                                                                                                                                                    +curl --request POST "http://${MILVUS_URI}/v2/vectordb/jobs/import/describe" \
                                                                                                                                                                                                                                     --header "Content-Type: application/json" \
                                                                                                                                                                                                                                     --data-raw '{
                                                                                                                                                                                                                                         "jobId": "449839014328146739"
                                                                                                                                                                                                                                    @@ -255,8 +277,33 @@ curl --request POST "http://
                                                                                                                                                                                                                                           
                                                                                                                                                                                                                                    -    

                                                                                                                                                                                                                                    È possibile elencare tutti i lavori di importazione relativi a una specifica raccolta come segue:

                                                                                                                                                                                                                                    -
                                                                                                                                                                                                                                    export MILVUS_URI="localhost:19530"
                                                                                                                                                                                                                                    +    

                                                                                                                                                                                                                                    È possibile elencare tutti i lavori di importazione relativi a una collezione specifica come segue:

                                                                                                                                                                                                                                    + +
                                                                                                                                                                                                                                    import json
                                                                                                                                                                                                                                    +from pymilvus.bulk_writer import list_import_jobs
                                                                                                                                                                                                                                    +
                                                                                                                                                                                                                                    +url = f"http://127.0.0.1:19530"
                                                                                                                                                                                                                                    +
                                                                                                                                                                                                                                    +# List bulk-insert jobs
                                                                                                                                                                                                                                    +resp = list_import_jobs(
                                                                                                                                                                                                                                    +    url=url,
                                                                                                                                                                                                                                    +    collection_name="quick_setup",
                                                                                                                                                                                                                                    +)
                                                                                                                                                                                                                                    +
                                                                                                                                                                                                                                    +print(json.dumps(resp.json(), indent=4))
                                                                                                                                                                                                                                    +
                                                                                                                                                                                                                                    +
                                                                                                                                                                                                                                    private static void listImportJobs() {
                                                                                                                                                                                                                                    +    MilvusListImportJobsRequest listImportJobsRequest = MilvusListImportJobsRequest.builder().collectionName("quick_setup").build();
                                                                                                                                                                                                                                    +    String listImportJobsResult = BulkImport.listImportJobs("http://localhost:19530", listImportJobsRequest);
                                                                                                                                                                                                                                    +    System.out.println(listImportJobsResult);
                                                                                                                                                                                                                                    +}
                                                                                                                                                                                                                                    +
                                                                                                                                                                                                                                    +public static void main(String[] args) throws Exception {
                                                                                                                                                                                                                                    +    listImportJobs();
                                                                                                                                                                                                                                    +}
                                                                                                                                                                                                                                    +
                                                                                                                                                                                                                                    +
                                                                                                                                                                                                                                    export MILVUS_URI="localhost:19530"
                                                                                                                                                                                                                                     
                                                                                                                                                                                                                                     curl --request POST "http://${MILVUS_URI}/v2/vectordb/jobs/import/list" \
                                                                                                                                                                                                                                     --header "Content-Type: application/json" \
                                                                                                                                                                                                                                    @@ -265,7 +312,7 @@ curl --request POST "http://

                                                                                                                                                                                                                                    I valori possibili sono i seguenti:

                                                                                                                                                                                                                                    -
                                                                                                                                                                                                                                    {
                                                                                                                                                                                                                                    +
                                                                                                                                                                                                                                    {
                                                                                                                                                                                                                                         "code": 200,
                                                                                                                                                                                                                                         "data": {
                                                                                                                                                                                                                                             "records": [
                                                                                                                                                                                                                                    @@ -279,3 +326,76 @@ curl --request POST "http://
                                                                                                                                                                                                                                    +

                                                                                                                                                                                                                                    Limitazioni

                                                                                                                                                                                                                                      +
                                                                                                                                                                                                                                    • La dimensione di ciascun file di importazione non deve superare i 16 GB.

                                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                                    • Il numero massimo di richieste di importazione è limitato a 1024.

                                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                                    • Il numero massimo di file per richiesta di importazione non deve superare i 1024.

                                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                                    • In una richiesta di importazione è possibile specificare un solo nome di partizione. Se non viene specificato alcun nome di partizione, i dati verranno inseriti nella partizione predefinita. Inoltre, non è possibile impostare un nome di partizione nella richiesta di importazione se è stata impostata la chiave di partizione nella raccolta di destinazione.

                                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                                    +

                                                                                                                                                                                                                                    Vincoli

                                                                                                                                                                                                                                    Prima di importare i dati, assicurarsi di aver preso atto dei vincoli relativi ai seguenti comportamenti di Milvus:

                                                                                                                                                                                                                                    +
                                                                                                                                                                                                                                      +
                                                                                                                                                                                                                                    • Vincoli relativi al comportamento Load:

                                                                                                                                                                                                                                      +
                                                                                                                                                                                                                                        +
                                                                                                                                                                                                                                      • Se una collezione è già stata caricata prima di un'importazione, è possibile utilizzare la funzione refresh_load per caricare i dati appena importati al termine dell'importazione.
                                                                                                                                                                                                                                      • +
                                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                                    • Vincoli relativi ai comportamenti di interrogazione e ricerca:

                                                                                                                                                                                                                                      +
                                                                                                                                                                                                                                        +
                                                                                                                                                                                                                                      • Prima che lo stato del lavoro di importazione sia Completato, i dati appena importati sono garantiti come invisibili alle query e alle ricerche.

                                                                                                                                                                                                                                      • +
                                                                                                                                                                                                                                      • Una volta che lo stato del lavoro è Completato,

                                                                                                                                                                                                                                        +
                                                                                                                                                                                                                                          +
                                                                                                                                                                                                                                        • Se la raccolta non è caricata, è possibile utilizzare la funzione load per caricare i dati appena importati.

                                                                                                                                                                                                                                        • +
                                                                                                                                                                                                                                        • Se la collezione è già caricata, si può chiamare load(is_refresh=True) per caricare i dati importati.

                                                                                                                                                                                                                                        • +
                                                                                                                                                                                                                                      • +
                                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                                    • Vincoli relativi al comportamento di cancellazione:

                                                                                                                                                                                                                                      +
                                                                                                                                                                                                                                        +
                                                                                                                                                                                                                                      • Prima che lo stato del lavoro di importazione sia Completato, l'eliminazione non è garantita e può avere o meno successo.

                                                                                                                                                                                                                                      • +
                                                                                                                                                                                                                                      • L'eliminazione dopo che lo stato del lavoro è Completato è garantita.

                                                                                                                                                                                                                                      • +
                                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                                    +

                                                                                                                                                                                                                                    Raccomandazioni

                                                                                                                                                                                                                                    Si consiglia vivamente di utilizzare la funzione di importazione di più file, che consente di caricare più file in un'unica richiesta. Questo metodo non solo semplifica il processo di importazione, ma aumenta anche in modo significativo le prestazioni dell'importazione. Inoltre, consolidando i caricamenti, è possibile ridurre il tempo dedicato alla gestione dei dati e rendere più efficiente il flusso di lavoro.

                                                                                                                                                                                                                                    diff --git a/localization/v2.4.x/site/it/userGuide/data-import/prepare-source-data.json b/localization/v2.4.x/site/it/userGuide/data-import/prepare-source-data.json index ef99ec184..2ad6e020e 100644 --- a/localization/v2.4.x/site/it/userGuide/data-import/prepare-source-data.json +++ b/localization/v2.4.x/site/it/userGuide/data-import/prepare-source-data.json @@ -1 +1 @@ -{"codeList":["from pymilvus import MilvusClient, DataType\n\n# You need to work out a collection schema out of your dataset.\nschema = MilvusClient.create_schema(\n auto_id=False,\n enable_dynamic_field=True\n)\n\nschema.add_field(field_name=\"id\", datatype=DataType.INT64, is_primary=True)\nschema.add_field(field_name=\"vector\", datatype=DataType.FLOAT_VECTOR, dim=768)\nschema.add_field(field_name=\"scalar_1\", datatype=DataType.VARCHAR, max_length=512)\nschema.add_field(field_name=\"scalar_2\", datatype=DataType.INT64)\n\nschema.verify()\n","import io.milvus.grpc.DataType;\nimport io.milvus.param.collection.CollectionSchemaParam;\nimport io.milvus.param.collection.FieldType;\n\n// Define schema for the target collection\nFieldType id = FieldType.newBuilder()\n .withName(\"id\")\n .withDataType(DataType.Int64)\n .withPrimaryKey(true)\n .withAutoID(false)\n .build();\n\nFieldType vector = FieldType.newBuilder()\n .withName(\"vector\")\n .withDataType(DataType.FloatVector)\n .withDimension(768)\n .build();\n\nFieldType scalar1 = FieldType.newBuilder()\n .withName(\"scalar_1\")\n .withDataType(DataType.VarChar)\n .withMaxLength(512)\n .build();\n\nFieldType scalar2 = FieldType.newBuilder()\n .withName(\"scalar_2\")\n .withDataType(DataType.Int64)\n .build();\n\nCollectionSchemaParam schema = CollectionSchemaParam.newBuilder()\n .withEnableDynamicField(true)\n .addFieldType(id)\n .addFieldType(vector)\n .addFieldType(scalar1)\n .addFieldType(scalar2)\n .build();\n","from pymilvus.bulk_writer import LocalBulkWriter, BulkFileType\n# Use `from pymilvus import LocalBulkWriter, BulkFileType` \n# when you use pymilvus earlier than 2.4.2 \n\nwriter = LocalBulkWriter(\n schema=schema,\n local_path='.',\n segment_size=512 * 1024 * 1024, # Default value\n file_type=BulkFileType.PARQUET\n)\n","import io.milvus.bulkwriter.LocalBulkWriter;\nimport io.milvus.bulkwriter.LocalBulkWriterParam;\nimport io.milvus.bulkwriter.common.clientenum.BulkFileType;\n\nLocalBulkWriterParam localBulkWriterParam = LocalBulkWriterParam.newBuilder()\n .withCollectionSchema(schema)\n .withLocalPath(\".\")\n .withChunkSize(512 * 1024 * 1024)\n .withFileType(BulkFileType.PARQUET)\n .build();\n\nLocalBulkWriter localBulkWriter = new LocalBulkWriter(localBulkWriterParam);\n","from pymilvus.bulk_writer import RemoteBulkWriter\n# Use `from pymilvus import RemoteBulkWriter` \n# when you use pymilvus earlier than 2.4.2 \n\n# Third-party constants\nACCESS_KEY=\"minioadmin\"\nSECRET_KEY=\"minioadmin\"\nBUCKET_NAME=\"milvus-bucket\"\n\n# Connections parameters to access the remote bucket\nconn = RemoteBulkWriter.S3ConnectParam(\n endpoint=\"localhost:9000\", # the default MinIO service started along with Milvus\n access_key=ACCESS_KEY,\n secret_key=SECRET_KEY,\n bucket_name=BUCKET_NAME,\n secure=False\n)\n","import io.milvus.bulkwriter.common.clientenum.BulkFileType;\nimport io.milvus.bulkwriter.connect.S3ConnectParam;\nimport io.milvus.bulkwriter.connect.StorageConnectParam;\n\nString ACCESS_KEY = \"minioadmin\";\nString SECRET_KEY = \"minioadmin\";\nString BUCKET_NAME = \"milvus-bucket\";\n\nStorageConnectParam storageConnectParam = S3ConnectParam.newBuilder()\n .withEndpoint(MINIO_URI)\n .withAccessKey(ACCESS_KEY)\n .withSecretKey(SECRET_KEY)\n .withBucketName(BUCKET_NAME)\n .build();\n","from pymilvus.bulk_writer import BulkFileType\n# Use `from pymilvus import BulkFileType` \n# when you use pymilvus earlier than 2.4.2 \n\nwriter = RemoteBulkWriter(\n schema=schema,\n remote_path=\"/\",\n connect_param=conn,\n file_type=BulkFileType.PARQUET\n)\n","import io.milvus.bulkwriter.RemoteBulkWriter;\nimport io.milvus.bulkwriter.RemoteBulkWriterParam;\n\nRemoteBulkWriterParam remoteBulkWriterParam = RemoteBulkWriterParam.newBuilder()\n .withCollectionSchema(schema)\n .withConnectParam(storageConnectParam)\n .withChunkSize(512 * 1024 * 1024)\n .withRemotePath(\"/\")\n .withFileType(BulkFileType.PARQUET)\n .build();\n\nRemoteBulkWriter remoteBulkWriter = new RemoteBulkWriter(remoteBulkWriterParam);\n","import random\nimport string\n\ndef generate_random_str(length=5):\n letters = string.ascii_uppercase\n digits = string.digits\n \n return ''.join(random.choices(letters + digits, k=length))\n\nfor i in range(10000):\n writer.append_row({\n \"id\": i, \n \"vector\": [random.uniform(-1, 1) for _ in range(768)],\n \"scalar_1\": generate_random_str(random.randint(1, 20)),\n \"scalar_2\": random.randint(0, 100)\n })\n \nwriter.commit()\n","import com.alibaba.fastjson.JSONObject;\n\nfor (int i = 0; i < 10000; i++) {\n JSONObject json = new JSONObject();\n json.put(\"id\", i);\n json.put(\"vector\", get_random_vector(768));\n json.put(\"scalar_1\", get_random_string(20));\n json.put(\"scalar_2\", (long) (Math.random() * 100));\n\n // localBulkWriter.appendRow(json);\n remoteBulkWriter.appendRow(json);\n}\n\n// localBulkWriter.commit(false);\nremoteBulkWriter.commit(false);\n","import random\nimport string\n\ndef generate_random_string(length=5):\n letters = string.ascii_uppercase\n digits = string.digits\n \n return ''.join(random.choices(letters + digits, k=length))\n\nfor i in range(10000):\n writer.append_row({\n \"id\": i, \n \"vector\":[random.uniform(-1, 1) for _ in range(768)],\n \"scalar_1\": generate_random_string(),\n \"scalar_2\": random.randint(0, 100),\n \"dynamic_field_1\": random.choice([True, False]),\n \"dynamic_field_2\": random.randint(0, 100)\n })\n \nwriter.commit()\n","for (int i = 0; i < 10000; i++) {\n JSONObject json = new JSONObject();\n json.put(\"id\", i);\n json.put(\"vector\", get_random_vector(768));\n json.put(\"scalar_1\", get_random_string(20));\n json.put(\"scalar_2\", (long) (Math.random() * 100));\n json.put(\"dynamic_field_1\", get_random_boolean());\n json.put(\"dynamic_field_2\", (long) (Math.random() * 100));\n\n // localBulkWriter.appendRow(json);\n remoteBulkWriter.appendRow(json);\n}\n\n// localBulkWriter.commit(false);\nremoteBulkWriter.commit(false);\n","print(writer.batch_files)\n\n# [['d4220a9e-45be-4ccb-8cb5-bf09304b9f23/1.parquet'],\n# ['d4220a9e-45be-4ccb-8cb5-bf09304b9f23/2.parquet']]\n","// localBulkWriter.getBatchFiles();\nremoteBulkWriter.getBatchFiles();\n\n// \n\n// Close the BulkWriter\ntry {\n localBulkWriter.close();\n remoteBulkWriter.close(); \n} catch (Exception e) {\n // TODO: handle exception\n e.printStackTrace();\n}\n","# JSON\n├── folder\n│ └── 45ae1139-1d87-4aff-85f5-0039111f9e6b\n│ └── 1.json \n\n# Parquet\n├── folder\n│ └── 45ae1139-1d87-4aff-85f5-0039111f9e6b\n│ └── 1.parquet \n"],"headingContent":"","anchorList":[{"label":"Preparare i dati di origine","href":"Prepare-Source-Data","type":1,"isActive":false},{"label":"Prima di iniziare","href":"Before-you-start","type":2,"isActive":false},{"label":"Configurazione di BulkWriter","href":"Set-up-BulkWriter","type":2,"isActive":false},{"label":"Avvio della scrittura","href":"Start-writing","type":2,"isActive":false},{"label":"Verifica dei risultati","href":"Verify-the-results","type":2,"isActive":false}]} \ No newline at end of file +{"codeList":["from pymilvus import MilvusClient, DataType\n\n# You need to work out a collection schema out of your dataset.\nschema = MilvusClient.create_schema(\n auto_id=False,\n enable_dynamic_field=True\n)\n\nDIM = 512\n\nschema.add_field(field_name=\"id\", datatype=DataType.INT64, is_primary=True),\nschema.add_field(field_name=\"bool\", datatype=DataType.BOOL),\nschema.add_field(field_name=\"int8\", datatype=DataType.INT8),\nschema.add_field(field_name=\"int16\", datatype=DataType.INT16),\nschema.add_field(field_name=\"int32\", datatype=DataType.INT32),\nschema.add_field(field_name=\"int64\", datatype=DataType.INT64),\nschema.add_field(field_name=\"float\", datatype=DataType.FLOAT),\nschema.add_field(field_name=\"double\", datatype=DataType.DOUBLE),\nschema.add_field(field_name=\"varchar\", datatype=DataType.VARCHAR, max_length=512),\nschema.add_field(field_name=\"json\", datatype=DataType.JSON),\nschema.add_field(field_name=\"array_str\", datatype=DataType.ARRAY, max_capacity=100, element_type=DataType.VARCHAR, max_length=128)\nschema.add_field(field_name=\"array_int\", datatype=DataType.ARRAY, max_capacity=100, element_type=DataType.INT64)\nschema.add_field(field_name=\"float_vector\", datatype=DataType.FLOAT_VECTOR, dim=DIM),\nschema.add_field(field_name=\"binary_vector\", datatype=DataType.BINARY_VECTOR, dim=DIM),\nschema.add_field(field_name=\"float16_vector\", datatype=DataType.FLOAT16_VECTOR, dim=DIM),\n# schema.add_field(field_name=\"bfloat16_vector\", datatype=DataType.BFLOAT16_VECTOR, dim=DIM),\nschema.add_field(field_name=\"sparse_vector\", datatype=DataType.SPARSE_FLOAT_VECTOR)\n\nschema.verify()\n\nprint(schema)\n","import com.google.gson.Gson;\nimport com.google.gson.JsonObject;\nimport io.milvus.bulkwriter.BulkImport;\nimport io.milvus.bulkwriter.RemoteBulkWriter;\nimport io.milvus.bulkwriter.RemoteBulkWriterParam;\nimport io.milvus.bulkwriter.common.clientenum.BulkFileType;\nimport io.milvus.bulkwriter.common.clientenum.CloudStorage;\nimport io.milvus.bulkwriter.connect.S3ConnectParam;\nimport io.milvus.bulkwriter.connect.StorageConnectParam;\nimport io.milvus.bulkwriter.request.describe.MilvusDescribeImportRequest;\nimport io.milvus.bulkwriter.request.import_.MilvusImportRequest;\nimport io.milvus.bulkwriter.request.list.MilvusListImportJobsRequest;\nimport io.milvus.common.utils.Float16Utils;\nimport io.milvus.v2.client.ConnectConfig;\nimport io.milvus.v2.client.MilvusClientV2;\nimport io.milvus.v2.common.DataType;\nimport io.milvus.v2.service.collection.request.*;\n\nimport java.io.IOException;\nimport java.nio.ByteBuffer;\nimport java.util.*;\nimport java.util.concurrent.TimeUnit;\n\nprivate static final String MINIO_ENDPOINT = CloudStorage.MINIO.getEndpoint(\"http://127.0.0.1:9000\");\nprivate static final String BUCKET_NAME = \"a-bucket\";\nprivate static final String ACCESS_KEY = \"minioadmin\";\nprivate static final String SECRET_KEY = \"minioadmin\";\n\nprivate static final Integer DIM = 512;\nprivate static final Gson GSON_INSTANCE = new Gson();\n\nprivate static CreateCollectionReq.CollectionSchema createSchema() {\n CreateCollectionReq.CollectionSchema schema = CreateCollectionReq.CollectionSchema.builder()\n .enableDynamicField(true)\n .build();\n schema.addField(AddFieldReq.builder()\n .fieldName(\"id\")\n .dataType(io.milvus.v2.common.DataType.Int64)\n .isPrimaryKey(Boolean.TRUE)\n .autoID(false)\n .build());\n schema.addField(AddFieldReq.builder()\n .fieldName(\"bool\")\n .dataType(DataType.Bool)\n .build());\n schema.addField(AddFieldReq.builder()\n .fieldName(\"int8\")\n .dataType(DataType.Int8)\n .build());\n schema.addField(AddFieldReq.builder()\n .fieldName(\"int16\")\n .dataType(DataType.Int16)\n .build());\n schema.addField(AddFieldReq.builder()\n .fieldName(\"int32\")\n .dataType(DataType.Int32)\n .build());\n schema.addField(AddFieldReq.builder()\n .fieldName(\"int64\")\n .dataType(DataType.Int64)\n .build());\n schema.addField(AddFieldReq.builder()\n .fieldName(\"float\")\n .dataType(DataType.Float)\n .build());\n schema.addField(AddFieldReq.builder()\n .fieldName(\"double\")\n .dataType(DataType.Double)\n .build());\n schema.addField(AddFieldReq.builder()\n .fieldName(\"varchar\")\n .dataType(DataType.VarChar)\n .maxLength(512)\n .build());\n schema.addField(AddFieldReq.builder()\n .fieldName(\"json\")\n .dataType(io.milvus.v2.common.DataType.JSON)\n .build());\n schema.addField(AddFieldReq.builder()\n .fieldName(\"array_int\")\n .dataType(io.milvus.v2.common.DataType.Array)\n .maxCapacity(100)\n .elementType(io.milvus.v2.common.DataType.Int64)\n .build());\n schema.addField(AddFieldReq.builder()\n .fieldName(\"array_str\")\n .dataType(io.milvus.v2.common.DataType.Array)\n .maxCapacity(100)\n .elementType(io.milvus.v2.common.DataType.VarChar)\n .maxLength(128)\n .build());\n schema.addField(AddFieldReq.builder()\n .fieldName(\"float_vector\")\n .dataType(io.milvus.v2.common.DataType.FloatVector)\n .dimension(DIM)\n .build());\n schema.addField(AddFieldReq.builder()\n .fieldName(\"binary_vector\")\n .dataType(io.milvus.v2.common.DataType.BinaryVector)\n .dimension(DIM)\n .build());\n schema.addField(AddFieldReq.builder()\n .fieldName(\"float16_vector\")\n .dataType(io.milvus.v2.common.DataType.Float16Vector)\n .dimension(DIM)\n .build());\n schema.addField(AddFieldReq.builder()\n .fieldName(\"sparse_vector\")\n .dataType(io.milvus.v2.common.DataType.SparseFloatVector)\n .build());\n \n return schema;\n}\n","from pymilvus.bulk_writer import LocalBulkWriter, BulkFileType\n# Use `from pymilvus import LocalBulkWriter, BulkFileType` \n# when you use pymilvus earlier than 2.4.2 \n\nwriter = LocalBulkWriter(\n schema=schema,\n local_path='.',\n segment_size=512 * 1024 * 1024, # Default value\n file_type=BulkFileType.PARQUET\n)\n","import io.milvus.bulkwriter.LocalBulkWriter;\nimport io.milvus.bulkwriter.LocalBulkWriterParam;\nimport io.milvus.bulkwriter.common.clientenum.BulkFileType;\n\nLocalBulkWriterParam localBulkWriterParam = LocalBulkWriterParam.newBuilder()\n .withCollectionSchema(schema)\n .withLocalPath(\".\")\n .withChunkSize(512 * 1024 * 1024)\n .withFileType(BulkFileType.PARQUET)\n .build();\n\nLocalBulkWriter localBulkWriter = new LocalBulkWriter(localBulkWriterParam);\n","from pymilvus.bulk_writer import RemoteBulkWriter\n# Use `from pymilvus import RemoteBulkWriter` \n# when you use pymilvus earlier than 2.4.2 \n\n# Third-party constants\nACCESS_KEY=\"minioadmin\"\nSECRET_KEY=\"minioadmin\"\nBUCKET_NAME=\"a-bucket\"\n\n# Connections parameters to access the remote bucket\nconn = RemoteBulkWriter.S3ConnectParam(\n endpoint=\"localhost:9000\", # the default MinIO service started along with Milvus\n access_key=ACCESS_KEY,\n secret_key=SECRET_KEY,\n bucket_name=BUCKET_NAME,\n secure=False\n)\n\nfrom pymilvus.bulk_writer import BulkFileType\n# Use `from pymilvus import BulkFileType` \n# when you use pymilvus earlier than 2.4.2 \n\nwriter = RemoteBulkWriter(\n schema=schema,\n remote_path=\"/\",\n connect_param=conn,\n file_type=BulkFileType.PARQUET\n)\n\nprint('bulk writer created.')\n","private static RemoteBulkWriter createRemoteBulkWriter(CreateCollectionReq.CollectionSchema collectionSchema) throws IOException {\n StorageConnectParam connectParam = S3ConnectParam.newBuilder()\n .withEndpoint(MINIO_ENDPOINT)\n .withBucketName(BUCKET_NAME)\n .withAccessKey(ACCESS_KEY)\n .withSecretKey(SECRET_KEY)\n .build();\n RemoteBulkWriterParam bulkWriterParam = RemoteBulkWriterParam.newBuilder()\n .withCollectionSchema(collectionSchema)\n .withRemotePath(\"/\")\n .withConnectParam(connectParam)\n .withFileType(BulkFileType.PARQUET)\n .build();\n return new RemoteBulkWriter(bulkWriterParam);\n}\n","from pymilvus.bulk_writer import BulkFileType\n# Use `from pymilvus import BulkFileType` \n# when you use pymilvus earlier than 2.4.2 \n\nwriter = RemoteBulkWriter(\n schema=schema,\n remote_path=\"/\",\n connect_param=conn,\n file_type=BulkFileType.PARQUET\n)\n","import io.milvus.bulkwriter.RemoteBulkWriter;\nimport io.milvus.bulkwriter.RemoteBulkWriterParam;\n\nRemoteBulkWriterParam remoteBulkWriterParam = RemoteBulkWriterParam.newBuilder()\n .withCollectionSchema(schema)\n .withConnectParam(storageConnectParam)\n .withChunkSize(512 * 1024 * 1024)\n .withRemotePath(\"/\")\n .withFileType(BulkFileType.PARQUET)\n .build();\n\nRemoteBulkWriter remoteBulkWriter = new RemoteBulkWriter(remoteBulkWriterParam);\n","import random, string, json\nimport numpy as np\nimport tensorflow as tf\n\ndef generate_random_str(length=5):\n letters = string.ascii_uppercase\n digits = string.digits\n \n return ''.join(random.choices(letters + digits, k=length))\n\n# optional input for binary vector:\n# 1. list of int such as [1, 0, 1, 1, 0, 0, 1, 0]\n# 2. numpy array of uint8\ndef gen_binary_vector(to_numpy_arr):\n raw_vector = [random.randint(0, 1) for i in range(DIM)]\n if to_numpy_arr:\n return np.packbits(raw_vector, axis=-1)\n return raw_vector\n\n# optional input for float vector:\n# 1. list of float such as [0.56, 1.859, 6.55, 9.45]\n# 2. numpy array of float32\ndef gen_float_vector(to_numpy_arr):\n raw_vector = [random.random() for _ in range(DIM)]\n if to_numpy_arr:\n return np.array(raw_vector, dtype=\"float32\")\n return raw_vector\n\n# # optional input for bfloat16 vector:\n# # 1. list of float such as [0.56, 1.859, 6.55, 9.45]\n# # 2. numpy array of bfloat16\n# def gen_bf16_vector(to_numpy_arr):\n# raw_vector = [random.random() for _ in range(DIM)]\n# if to_numpy_arr:\n# return tf.cast(raw_vector, dtype=tf.bfloat16).numpy()\n# return raw_vector\n\n# optional input for float16 vector:\n# 1. list of float such as [0.56, 1.859, 6.55, 9.45]\n# 2. numpy array of float16\ndef gen_fp16_vector(to_numpy_arr):\n raw_vector = [random.random() for _ in range(DIM)]\n if to_numpy_arr:\n return np.array(raw_vector, dtype=np.float16)\n return raw_vector\n\n# optional input for sparse vector:\n# only accepts dict like {2: 13.23, 45: 0.54} or {\"indices\": [1, 2], \"values\": [0.1, 0.2]}\n# note: no need to sort the keys\ndef gen_sparse_vector(pair_dict: bool):\n raw_vector = {}\n dim = random.randint(2, 20)\n if pair_dict:\n raw_vector[\"indices\"] = [i for i in range(dim)]\n raw_vector[\"values\"] = [random.random() for _ in range(dim)]\n else:\n for i in range(dim):\n raw_vector[i] = random.random()\n return raw_vector\n\nfor i in range(10000):\n writer.append_row({\n \"id\": np.int64(i),\n \"bool\": True if i % 3 == 0 else False,\n \"int8\": np.int8(i%128),\n \"int16\": np.int16(i%1000),\n \"int32\": np.int32(i%100000),\n \"int64\": np.int64(i),\n \"float\": np.float32(i/3),\n \"double\": np.float64(i/7),\n \"varchar\": f\"varchar_{i}\",\n \"json\": json.dumps({\"dummy\": i, \"ok\": f\"name_{i}\"}),\n \"array_str\": np.array([f\"str_{k}\" for k in range(5)], np.dtype(\"str\")),\n \"array_int\": np.array([k for k in range(10)], np.dtype(\"int64\")),\n \"float_vector\": gen_float_vector(True),\n \"binary_vector\": gen_binary_vector(True),\n \"float16_vector\": gen_fp16_vector(True),\n # \"bfloat16_vector\": gen_bf16_vector(True),\n \"sparse_vector\": gen_sparse_vector(True),\n f\"dynamic_{i}\": i,\n })\n if (i+1)%1000 == 0:\n writer.commit()\n print('committed')\n\nprint(writer.batch_files)\n","private static byte[] genBinaryVector() {\n Random ran = new Random();\n int byteCount = DIM / 8;\n ByteBuffer vector = ByteBuffer.allocate(byteCount);\n for (int i = 0; i < byteCount; ++i) {\n vector.put((byte) ran.nextInt(Byte.MAX_VALUE));\n }\n return vector.array();\n}\n\nprivate static List genFloatVector() {\n Random ran = new Random();\n List vector = new ArrayList<>();\n for (int i = 0; i < DIM; ++i) {\n vector.add(ran.nextFloat());\n }\n return vector;\n}\n\nprivate static byte[] genFloat16Vector() {\n List originalVector = genFloatVector();\n return Float16Utils.f32VectorToFp16Buffer(originalVector).array();\n}\n\nprivate static SortedMap genSparseVector() {\n Random ran = new Random();\n SortedMap sparse = new TreeMap<>();\n int dim = ran.nextInt(18) + 2; // [2, 20)\n for (int i = 0; i < dim; ++i) {\n sparse.put((long)ran.nextInt(1000000), ran.nextFloat());\n }\n return sparse;\n}\n\nprivate static List genStringArray(int length) {\n List arr = new ArrayList<>();\n for (int i = 0; i < length; i++) {\n arr.add(\"str_\" + i);\n }\n return arr;\n}\n\nprivate static List genIntArray(int length) {\n List arr = new ArrayList<>();\n for (long i = 0; i < length; i++) {\n arr.add(i);\n }\n return arr;\n}\n\nprivate static RemoteBulkWriter createRemoteBulkWriter(CreateCollectionReq.CollectionSchema collectionSchema) throws IOException {\n StorageConnectParam connectParam = S3ConnectParam.newBuilder()\n .withEndpoint(MINIO_ENDPOINT)\n .withBucketName(BUCKET_NAME)\n .withAccessKey(ACCESS_KEY)\n .withSecretKey(SECRET_KEY)\n .build();\n RemoteBulkWriterParam bulkWriterParam = RemoteBulkWriterParam.newBuilder()\n .withCollectionSchema(collectionSchema)\n .withRemotePath(\"/\")\n .withConnectParam(connectParam)\n .withFileType(BulkFileType.PARQUET)\n .build();\n return new RemoteBulkWriter(bulkWriterParam);\n}\n\nprivate static List> uploadData() throws Exception {\n CreateCollectionReq.CollectionSchema collectionSchema = createSchema();\n try (RemoteBulkWriter remoteBulkWriter = createRemoteBulkWriter(collectionSchema)) {\n for (int i = 0; i < 10000; ++i) {\n JsonObject rowObject = new JsonObject();\n\n rowObject.addProperty(\"id\", i);\n rowObject.addProperty(\"bool\", i % 3 == 0);\n rowObject.addProperty(\"int8\", i % 128);\n rowObject.addProperty(\"int16\", i % 1000);\n rowObject.addProperty(\"int32\", i % 100000);\n rowObject.addProperty(\"int64\", i);\n rowObject.addProperty(\"float\", i / 3);\n rowObject.addProperty(\"double\", i / 7);\n rowObject.addProperty(\"varchar\", \"varchar_\" + i);\n rowObject.addProperty(\"json\", String.format(\"{\\\"dummy\\\": %s, \\\"ok\\\": \\\"name_%s\\\"}\", i, i));\n rowObject.add(\"array_str\", GSON_INSTANCE.toJsonTree(genStringArray(5)));\n rowObject.add(\"array_int\", GSON_INSTANCE.toJsonTree(genIntArray(10)));\n rowObject.add(\"float_vector\", GSON_INSTANCE.toJsonTree(genFloatVector()));\n rowObject.add(\"binary_vector\", GSON_INSTANCE.toJsonTree(genBinaryVector()));\n rowObject.add(\"float16_vector\", GSON_INSTANCE.toJsonTree(genFloat16Vector()));\n rowObject.add(\"sparse_vector\", GSON_INSTANCE.toJsonTree(genSparseVector()));\n rowObject.addProperty(\"dynamic\", \"dynamic_\" + i);\n\n remoteBulkWriter.appendRow(rowObject);\n\n if ((i+1)%1000 == 0) {\n remoteBulkWriter.commit(false);\n }\n }\n\n List> batchFiles = remoteBulkWriter.getBatchFiles();\n System.out.println(batchFiles);\n return batchFiles;\n } catch (Exception e) {\n throw e;\n }\n}\n\npublic static void main(String[] args) throws Exception {\n List> batchFiles = uploadData();\n}\n","print(writer.batch_files)\n\n# [['d4220a9e-45be-4ccb-8cb5-bf09304b9f23/1.parquet'],\n# ['d4220a9e-45be-4ccb-8cb5-bf09304b9f23/2.parquet']]\n","// localBulkWriter.getBatchFiles();\nremoteBulkWriter.getBatchFiles();\n\n// \n\n// Close the BulkWriter\ntry {\n localBulkWriter.close();\n remoteBulkWriter.close(); \n} catch (Exception e) {\n // TODO: handle exception\n e.printStackTrace();\n}\n","# JSON\n├── folder\n│ └── 45ae1139-1d87-4aff-85f5-0039111f9e6b\n│ └── 1.json \n\n# Parquet\n├── folder\n│ └── 45ae1139-1d87-4aff-85f5-0039111f9e6b\n│ └── 1.parquet \n"],"headingContent":"Prepare Source Data","anchorList":[{"label":"Preparare i dati di origine","href":"Prepare-Source-Data","type":1,"isActive":false},{"label":"Prima di iniziare","href":"Before-you-start","type":2,"isActive":false},{"label":"Configurazione di BulkWriter","href":"Set-up-BulkWriter","type":2,"isActive":false},{"label":"Avvio della scrittura","href":"Start-writing","type":2,"isActive":false},{"label":"Verifica dei risultati","href":"Verify-the-results","type":2,"isActive":false}]} \ No newline at end of file diff --git a/localization/v2.4.x/site/it/userGuide/data-import/prepare-source-data.md b/localization/v2.4.x/site/it/userGuide/data-import/prepare-source-data.md index 8430eefe1..aeab86de1 100644 --- a/localization/v2.4.x/site/it/userGuide/data-import/prepare-source-data.md +++ b/localization/v2.4.x/site/it/userGuide/data-import/prepare-source-data.md @@ -1,10 +1,10 @@ --- id: prepare-source-data.md order: 0 -title: Preparare i dati di partenza +title: Preparare i dati di origine summary: >- In questa pagina si parla di un aspetto da tenere in considerazione prima di - iniziare a inserire i dati in blocco nella propria raccolta. + iniziare a inserire dati in blocco nella propria raccolta. ---

                                                                                                                                                                                                                                    Preparare i dati di origine

                                                                                                                                                                                                                                    -
                                                                                                                                                                                                                                    import io.milvus.grpc.DataType;
                                                                                                                                                                                                                                    -import io.milvus.param.collection.CollectionSchemaParam;
                                                                                                                                                                                                                                    -import io.milvus.param.collection.FieldType;
                                                                                                                                                                                                                                    -
                                                                                                                                                                                                                                    -// Define schema for the target collection
                                                                                                                                                                                                                                    -FieldType id = FieldType.newBuilder()
                                                                                                                                                                                                                                    -        .withName("id")
                                                                                                                                                                                                                                    -        .withDataType(DataType.Int64)
                                                                                                                                                                                                                                    -        .withPrimaryKey(true)
                                                                                                                                                                                                                                    -        .withAutoID(false)
                                                                                                                                                                                                                                    -        .build();
                                                                                                                                                                                                                                    +
                                                                                                                                                                                                                                    import com.google.gson.Gson;
                                                                                                                                                                                                                                    +import com.google.gson.JsonObject;
                                                                                                                                                                                                                                    +import io.milvus.bulkwriter.BulkImport;
                                                                                                                                                                                                                                    +import io.milvus.bulkwriter.RemoteBulkWriter;
                                                                                                                                                                                                                                    +import io.milvus.bulkwriter.RemoteBulkWriterParam;
                                                                                                                                                                                                                                    +import io.milvus.bulkwriter.common.clientenum.BulkFileType;
                                                                                                                                                                                                                                    +import io.milvus.bulkwriter.common.clientenum.CloudStorage;
                                                                                                                                                                                                                                    +import io.milvus.bulkwriter.connect.S3ConnectParam;
                                                                                                                                                                                                                                    +import io.milvus.bulkwriter.connect.StorageConnectParam;
                                                                                                                                                                                                                                    +import io.milvus.bulkwriter.request.describe.MilvusDescribeImportRequest;
                                                                                                                                                                                                                                    +import io.milvus.bulkwriter.request.import_.MilvusImportRequest;
                                                                                                                                                                                                                                    +import io.milvus.bulkwriter.request.list.MilvusListImportJobsRequest;
                                                                                                                                                                                                                                    +import io.milvus.common.utils.Float16Utils;
                                                                                                                                                                                                                                    +import io.milvus.v2.client.ConnectConfig;
                                                                                                                                                                                                                                    +import io.milvus.v2.client.MilvusClientV2;
                                                                                                                                                                                                                                    +import io.milvus.v2.common.DataType;
                                                                                                                                                                                                                                    +import io.milvus.v2.service.collection.request.*;
                                                                                                                                                                                                                                     
                                                                                                                                                                                                                                    -FieldType vector = FieldType.newBuilder()
                                                                                                                                                                                                                                    -        .withName("vector")
                                                                                                                                                                                                                                    -        .withDataType(DataType.FloatVector)
                                                                                                                                                                                                                                    -        .withDimension(768)
                                                                                                                                                                                                                                    -        .build();
                                                                                                                                                                                                                                    +import java.io.IOException;
                                                                                                                                                                                                                                    +import java.nio.ByteBuffer;
                                                                                                                                                                                                                                    +import java.util.*;
                                                                                                                                                                                                                                    +import java.util.concurrent.TimeUnit;
                                                                                                                                                                                                                                     
                                                                                                                                                                                                                                    -FieldType scalar1 = FieldType.newBuilder()
                                                                                                                                                                                                                                    -        .withName("scalar_1")
                                                                                                                                                                                                                                    -        .withDataType(DataType.VarChar)
                                                                                                                                                                                                                                    -        .withMaxLength(512)
                                                                                                                                                                                                                                    -        .build();
                                                                                                                                                                                                                                    +private static final String MINIO_ENDPOINT = CloudStorage.MINIO.getEndpoint("http://127.0.0.1:9000");
                                                                                                                                                                                                                                    +private static final String BUCKET_NAME = "a-bucket";
                                                                                                                                                                                                                                    +private static final String ACCESS_KEY = "minioadmin";
                                                                                                                                                                                                                                    +private static final String SECRET_KEY = "minioadmin";
                                                                                                                                                                                                                                     
                                                                                                                                                                                                                                    -FieldType scalar2 = FieldType.newBuilder()
                                                                                                                                                                                                                                    -        .withName("scalar_2")
                                                                                                                                                                                                                                    -        .withDataType(DataType.Int64)
                                                                                                                                                                                                                                    -        .build();
                                                                                                                                                                                                                                    +private static final Integer DIM = 512;
                                                                                                                                                                                                                                    +private static final Gson GSON_INSTANCE = new Gson();
                                                                                                                                                                                                                                     
                                                                                                                                                                                                                                    -CollectionSchemaParam schema = CollectionSchemaParam.newBuilder()
                                                                                                                                                                                                                                    -        .withEnableDynamicField(true)
                                                                                                                                                                                                                                    -        .addFieldType(id)
                                                                                                                                                                                                                                    -        .addFieldType(vector)
                                                                                                                                                                                                                                    -        .addFieldType(scalar1)
                                                                                                                                                                                                                                    -        .addFieldType(scalar2)
                                                                                                                                                                                                                                    +private static CreateCollectionReq.CollectionSchema createSchema() {
                                                                                                                                                                                                                                    +    CreateCollectionReq.CollectionSchema schema = CreateCollectionReq.CollectionSchema.builder()
                                                                                                                                                                                                                                    +        .enableDynamicField(true)
                                                                                                                                                                                                                                             .build();
                                                                                                                                                                                                                                    +    schema.addField(AddFieldReq.builder()
                                                                                                                                                                                                                                    +            .fieldName("id")
                                                                                                                                                                                                                                    +            .dataType(io.milvus.v2.common.DataType.Int64)
                                                                                                                                                                                                                                    +            .isPrimaryKey(Boolean.TRUE)
                                                                                                                                                                                                                                    +            .autoID(false)
                                                                                                                                                                                                                                    +            .build());
                                                                                                                                                                                                                                    +    schema.addField(AddFieldReq.builder()
                                                                                                                                                                                                                                    +            .fieldName("bool")
                                                                                                                                                                                                                                    +            .dataType(DataType.Bool)
                                                                                                                                                                                                                                    +            .build());
                                                                                                                                                                                                                                    +    schema.addField(AddFieldReq.builder()
                                                                                                                                                                                                                                    +            .fieldName("int8")
                                                                                                                                                                                                                                    +            .dataType(DataType.Int8)
                                                                                                                                                                                                                                    +            .build());
                                                                                                                                                                                                                                    +    schema.addField(AddFieldReq.builder()
                                                                                                                                                                                                                                    +            .fieldName("int16")
                                                                                                                                                                                                                                    +            .dataType(DataType.Int16)
                                                                                                                                                                                                                                    +            .build());
                                                                                                                                                                                                                                    +    schema.addField(AddFieldReq.builder()
                                                                                                                                                                                                                                    +            .fieldName("int32")
                                                                                                                                                                                                                                    +            .dataType(DataType.Int32)
                                                                                                                                                                                                                                    +            .build());
                                                                                                                                                                                                                                    +    schema.addField(AddFieldReq.builder()
                                                                                                                                                                                                                                    +            .fieldName("int64")
                                                                                                                                                                                                                                    +            .dataType(DataType.Int64)
                                                                                                                                                                                                                                    +            .build());
                                                                                                                                                                                                                                    +    schema.addField(AddFieldReq.builder()
                                                                                                                                                                                                                                    +            .fieldName("float")
                                                                                                                                                                                                                                    +            .dataType(DataType.Float)
                                                                                                                                                                                                                                    +            .build());
                                                                                                                                                                                                                                    +    schema.addField(AddFieldReq.builder()
                                                                                                                                                                                                                                    +            .fieldName("double")
                                                                                                                                                                                                                                    +            .dataType(DataType.Double)
                                                                                                                                                                                                                                    +            .build());
                                                                                                                                                                                                                                    +    schema.addField(AddFieldReq.builder()
                                                                                                                                                                                                                                    +            .fieldName("varchar")
                                                                                                                                                                                                                                    +            .dataType(DataType.VarChar)
                                                                                                                                                                                                                                    +            .maxLength(512)
                                                                                                                                                                                                                                    +            .build());
                                                                                                                                                                                                                                    +    schema.addField(AddFieldReq.builder()
                                                                                                                                                                                                                                    +            .fieldName("json")
                                                                                                                                                                                                                                    +            .dataType(io.milvus.v2.common.DataType.JSON)
                                                                                                                                                                                                                                    +            .build());
                                                                                                                                                                                                                                    +    schema.addField(AddFieldReq.builder()
                                                                                                                                                                                                                                    +            .fieldName("array_int")
                                                                                                                                                                                                                                    +            .dataType(io.milvus.v2.common.DataType.Array)
                                                                                                                                                                                                                                    +            .maxCapacity(100)
                                                                                                                                                                                                                                    +            .elementType(io.milvus.v2.common.DataType.Int64)
                                                                                                                                                                                                                                    +            .build());
                                                                                                                                                                                                                                    +    schema.addField(AddFieldReq.builder()
                                                                                                                                                                                                                                    +            .fieldName("array_str")
                                                                                                                                                                                                                                    +            .dataType(io.milvus.v2.common.DataType.Array)
                                                                                                                                                                                                                                    +            .maxCapacity(100)
                                                                                                                                                                                                                                    +            .elementType(io.milvus.v2.common.DataType.VarChar)
                                                                                                                                                                                                                                    +            .maxLength(128)
                                                                                                                                                                                                                                    +            .build());
                                                                                                                                                                                                                                    +    schema.addField(AddFieldReq.builder()
                                                                                                                                                                                                                                    +            .fieldName("float_vector")
                                                                                                                                                                                                                                    +            .dataType(io.milvus.v2.common.DataType.FloatVector)
                                                                                                                                                                                                                                    +            .dimension(DIM)
                                                                                                                                                                                                                                    +            .build());
                                                                                                                                                                                                                                    +    schema.addField(AddFieldReq.builder()
                                                                                                                                                                                                                                    +            .fieldName("binary_vector")
                                                                                                                                                                                                                                    +            .dataType(io.milvus.v2.common.DataType.BinaryVector)
                                                                                                                                                                                                                                    +            .dimension(DIM)
                                                                                                                                                                                                                                    +            .build());
                                                                                                                                                                                                                                    +    schema.addField(AddFieldReq.builder()
                                                                                                                                                                                                                                    +            .fieldName("float16_vector")
                                                                                                                                                                                                                                    +            .dataType(io.milvus.v2.common.DataType.Float16Vector)
                                                                                                                                                                                                                                    +            .dimension(DIM)
                                                                                                                                                                                                                                    +            .build());
                                                                                                                                                                                                                                    +    schema.addField(AddFieldReq.builder()
                                                                                                                                                                                                                                    +            .fieldName("sparse_vector")
                                                                                                                                                                                                                                    +            .dataType(io.milvus.v2.common.DataType.SparseFloatVector)
                                                                                                                                                                                                                                    +            .build());
                                                                                                                                                                                                                                    +    
                                                                                                                                                                                                                                    +    return schema;
                                                                                                                                                                                                                                    +}
                                                                                                                                                                                                                                     

                                                                                                                                                                                                                                    Configurazione di BulkWriter

                                                                                                                                                                                                                                    -

                                                                                                                                                                                                                                    Quando si crea un LocalBulkWriter, occorre:

                                                                                                                                                                                                                                    +

                                                                                                                                                                                                                                    Quando si crea un LocalBulkWriter, si deve:

                                                                                                                                                                                                                                    • Fare riferimento allo schema creato in schema.
                                                                                                                                                                                                                                    • Impostare local_path come directory di output.
                                                                                                                                                                                                                                    • @@ -190,7 +284,7 @@ writer = LocalBulkWriter( # Third-party constants ACCESS_KEY="minioadmin" SECRET_KEY="minioadmin" -BUCKET_NAME="milvus-bucket" +BUCKET_NAME="a-bucket" # Connections parameters to access the remote bucket conn = RemoteBulkWriter.S3ConnectParam( @@ -200,21 +294,35 @@ conn = RemoteBulkWriter.S3ConnectParam( bucket_name=BUCKET_NAME, secure=False ) -
                                                                                                                                                                                                                                    -
                                                                                                                                                                                                                                    import io.milvus.bulkwriter.common.clientenum.BulkFileType;
                                                                                                                                                                                                                                    -import io.milvus.bulkwriter.connect.S3ConnectParam;
                                                                                                                                                                                                                                    -import io.milvus.bulkwriter.connect.StorageConnectParam;
                                                                                                                                                                                                                                     
                                                                                                                                                                                                                                    -String ACCESS_KEY = "minioadmin";
                                                                                                                                                                                                                                    -String SECRET_KEY = "minioadmin";
                                                                                                                                                                                                                                    -String BUCKET_NAME = "milvus-bucket";
                                                                                                                                                                                                                                    +from pymilvus.bulk_writer import BulkFileType
                                                                                                                                                                                                                                    +# Use `from pymilvus import BulkFileType` 
                                                                                                                                                                                                                                    +# when you use pymilvus earlier than 2.4.2 
                                                                                                                                                                                                                                     
                                                                                                                                                                                                                                    -StorageConnectParam storageConnectParam = S3ConnectParam.newBuilder()
                                                                                                                                                                                                                                    -    .withEndpoint(MINIO_URI)
                                                                                                                                                                                                                                    -    .withAccessKey(ACCESS_KEY)
                                                                                                                                                                                                                                    -    .withSecretKey(SECRET_KEY)
                                                                                                                                                                                                                                    -    .withBucketName(BUCKET_NAME)
                                                                                                                                                                                                                                    -    .build();
                                                                                                                                                                                                                                    +writer = RemoteBulkWriter(
                                                                                                                                                                                                                                    +    schema=schema,
                                                                                                                                                                                                                                    +    remote_path="/",
                                                                                                                                                                                                                                    +    connect_param=conn,
                                                                                                                                                                                                                                    +    file_type=BulkFileType.PARQUET
                                                                                                                                                                                                                                    +)
                                                                                                                                                                                                                                    +
                                                                                                                                                                                                                                    +print('bulk writer created.')
                                                                                                                                                                                                                                    +
                                                                                                                                                                                                                                    +
                                                                                                                                                                                                                                    private static RemoteBulkWriter createRemoteBulkWriter(CreateCollectionReq.CollectionSchema collectionSchema) throws IOException {
                                                                                                                                                                                                                                    +    StorageConnectParam connectParam = S3ConnectParam.newBuilder()
                                                                                                                                                                                                                                    +            .withEndpoint(MINIO_ENDPOINT)
                                                                                                                                                                                                                                    +            .withBucketName(BUCKET_NAME)
                                                                                                                                                                                                                                    +            .withAccessKey(ACCESS_KEY)
                                                                                                                                                                                                                                    +            .withSecretKey(SECRET_KEY)
                                                                                                                                                                                                                                    +            .build();
                                                                                                                                                                                                                                    +    RemoteBulkWriterParam bulkWriterParam = RemoteBulkWriterParam.newBuilder()
                                                                                                                                                                                                                                    +            .withCollectionSchema(collectionSchema)
                                                                                                                                                                                                                                    +            .withRemotePath("/")
                                                                                                                                                                                                                                    +            .withConnectParam(connectParam)
                                                                                                                                                                                                                                    +            .withFileType(BulkFileType.PARQUET)
                                                                                                                                                                                                                                    +            .build();
                                                                                                                                                                                                                                    +    return new RemoteBulkWriter(bulkWriterParam);
                                                                                                                                                                                                                                    +}
                                                                                                                                                                                                                                     

                                                                                                                                                                                                                                    Una volta che i parametri di connessione sono pronti, si può fare riferimento ad essi nel RemoteBulkWriter come segue:

                                                                                                                                                                                                                                    @@ -265,7 +373,7 @@ writer = RemoteBulkWriter( >
                                                                                                                                                                                                                                    -

                                                                                                                                                                                                                                    Un BulkWriter ha due metodi: append_row() aggiunge una riga da un set di dati di origine e commit() esegue il commit delle righe aggiunte in un file locale o in un bucket remoto.

                                                                                                                                                                                                                                    +

                                                                                                                                                                                                                                    Un BulkWriter ha due metodi: append_row() aggiunge una riga da un set di dati di origine e commit() commette le righe aggiunte in un file locale o in un bucket remoto.

                                                                                                                                                                                                                                    Un BulkWriter ha due metodi: appendRow() aggiunge una riga da un set di dati di origine e commit() esegue il commit delle righe aggiunte in un file locale o in un bucket remoto.

                                                                                                                                                                                                                                    @@ -273,80 +381,201 @@ writer = RemoteBulkWriter(

                                                                                                                                                                                                                                    A scopo dimostrativo, il codice seguente aggiunge dati generati in modo casuale.

                                                                                                                                                                                                                                    -
                                                                                                                                                                                                                                    import random
                                                                                                                                                                                                                                    -import string
                                                                                                                                                                                                                                    +
                                                                                                                                                                                                                                    import random, string, json
                                                                                                                                                                                                                                    +import numpy as np
                                                                                                                                                                                                                                    +import tensorflow as tf
                                                                                                                                                                                                                                     
                                                                                                                                                                                                                                    -def generate_random_str(length=5):
                                                                                                                                                                                                                                    -    letters = string.ascii_uppercase
                                                                                                                                                                                                                                    -    digits = string.digits
                                                                                                                                                                                                                                    +def generate_random_str(length=5):
                                                                                                                                                                                                                                    +    letters = string.ascii_uppercase
                                                                                                                                                                                                                                    +    digits = string.digits
                                                                                                                                                                                                                                         
                                                                                                                                                                                                                                         return ''.join(random.choices(letters + digits, k=length))
                                                                                                                                                                                                                                     
                                                                                                                                                                                                                                    -for i in range(10000):
                                                                                                                                                                                                                                    -    writer.append_row({
                                                                                                                                                                                                                                    -        "id": i, 
                                                                                                                                                                                                                                    -        "vector": [random.uniform(-1, 1) for _ in range(768)],
                                                                                                                                                                                                                                    -        "scalar_1": generate_random_str(random.randint(1, 20)),
                                                                                                                                                                                                                                    -        "scalar_2": random.randint(0, 100)
                                                                                                                                                                                                                                    -    })
                                                                                                                                                                                                                                    -    
                                                                                                                                                                                                                                    -writer.commit()
                                                                                                                                                                                                                                    -
                                                                                                                                                                                                                                    -
                                                                                                                                                                                                                                    import com.alibaba.fastjson.JSONObject;
                                                                                                                                                                                                                                    +# optional input for binary vector:
                                                                                                                                                                                                                                    +# 1. list of int such as [1, 0, 1, 1, 0, 0, 1, 0]
                                                                                                                                                                                                                                    +# 2. numpy array of uint8
                                                                                                                                                                                                                                    +def gen_binary_vector(to_numpy_arr):
                                                                                                                                                                                                                                    +    raw_vector = [random.randint(0, 1) for i in range(DIM)]
                                                                                                                                                                                                                                    +    if to_numpy_arr:
                                                                                                                                                                                                                                    +        return np.packbits(raw_vector, axis=-1)
                                                                                                                                                                                                                                    +    return raw_vector
                                                                                                                                                                                                                                     
                                                                                                                                                                                                                                    -for (int i = 0; i < 10000; i++) {
                                                                                                                                                                                                                                    -    JSONObject json = new JSONObject();
                                                                                                                                                                                                                                    -    json.put("id", i);
                                                                                                                                                                                                                                    -    json.put("vector", get_random_vector(768));
                                                                                                                                                                                                                                    -    json.put("scalar_1", get_random_string(20));
                                                                                                                                                                                                                                    -    json.put("scalar_2", (long) (Math.random() * 100));
                                                                                                                                                                                                                                    +# optional input for float vector:
                                                                                                                                                                                                                                    +# 1. list of float such as [0.56, 1.859, 6.55, 9.45]
                                                                                                                                                                                                                                    +# 2. numpy array of float32
                                                                                                                                                                                                                                    +def gen_float_vector(to_numpy_arr):
                                                                                                                                                                                                                                    +    raw_vector = [random.random() for _ in range(DIM)]
                                                                                                                                                                                                                                    +    if to_numpy_arr:
                                                                                                                                                                                                                                    +        return np.array(raw_vector, dtype="float32")
                                                                                                                                                                                                                                    +    return raw_vector
                                                                                                                                                                                                                                     
                                                                                                                                                                                                                                    -    // localBulkWriter.appendRow(json);
                                                                                                                                                                                                                                    -    remoteBulkWriter.appendRow(json);
                                                                                                                                                                                                                                    -}
                                                                                                                                                                                                                                    +# # optional input for bfloat16 vector:
                                                                                                                                                                                                                                    +# # 1. list of float such as [0.56, 1.859, 6.55, 9.45]
                                                                                                                                                                                                                                    +# # 2. numpy array of bfloat16
                                                                                                                                                                                                                                    +# def gen_bf16_vector(to_numpy_arr):
                                                                                                                                                                                                                                    +#     raw_vector = [random.random() for _ in range(DIM)]
                                                                                                                                                                                                                                    +#     if to_numpy_arr:
                                                                                                                                                                                                                                    +#         return tf.cast(raw_vector, dtype=tf.bfloat16).numpy()
                                                                                                                                                                                                                                    +#     return raw_vector
                                                                                                                                                                                                                                     
                                                                                                                                                                                                                                    -// localBulkWriter.commit(false);
                                                                                                                                                                                                                                    -remoteBulkWriter.commit(false);
                                                                                                                                                                                                                                    -
                                                                                                                                                                                                                                    -

                                                                                                                                                                                                                                    Poiché lo schema definito consente campi dinamici, è possibile includere nei dati da inserire anche campi non definiti dallo schema, come segue.

                                                                                                                                                                                                                                    - -
                                                                                                                                                                                                                                    import random
                                                                                                                                                                                                                                    -import string
                                                                                                                                                                                                                                    +# optional input for float16 vector:
                                                                                                                                                                                                                                    +# 1. list of float such as [0.56, 1.859, 6.55, 9.45]
                                                                                                                                                                                                                                    +# 2. numpy array of float16
                                                                                                                                                                                                                                    +def gen_fp16_vector(to_numpy_arr):
                                                                                                                                                                                                                                    +    raw_vector = [random.random() for _ in range(DIM)]
                                                                                                                                                                                                                                    +    if to_numpy_arr:
                                                                                                                                                                                                                                    +        return np.array(raw_vector, dtype=np.float16)
                                                                                                                                                                                                                                    +    return raw_vector
                                                                                                                                                                                                                                     
                                                                                                                                                                                                                                    -def generate_random_string(length=5):
                                                                                                                                                                                                                                    -    letters = string.ascii_uppercase
                                                                                                                                                                                                                                    -    digits = string.digits
                                                                                                                                                                                                                                    -    
                                                                                                                                                                                                                                    -    return ''.join(random.choices(letters + digits, k=length))
                                                                                                                                                                                                                                    +# optional input for sparse vector:
                                                                                                                                                                                                                                    +# only accepts dict like {2: 13.23, 45: 0.54} or {"indices": [1, 2], "values": [0.1, 0.2]}
                                                                                                                                                                                                                                    +# note: no need to sort the keys
                                                                                                                                                                                                                                    +def gen_sparse_vector(pair_dict: bool):
                                                                                                                                                                                                                                    +    raw_vector = {}
                                                                                                                                                                                                                                    +    dim = random.randint(2, 20)
                                                                                                                                                                                                                                    +    if pair_dict:
                                                                                                                                                                                                                                    +        raw_vector["indices"] = [i for i in range(dim)]
                                                                                                                                                                                                                                    +        raw_vector["values"] = [random.random() for _ in range(dim)]
                                                                                                                                                                                                                                    +    else:
                                                                                                                                                                                                                                    +        for i in range(dim):
                                                                                                                                                                                                                                    +            raw_vector[i] = random.random()
                                                                                                                                                                                                                                    +    return raw_vector
                                                                                                                                                                                                                                     
                                                                                                                                                                                                                                     for i in range(10000):
                                                                                                                                                                                                                                         writer.append_row({
                                                                                                                                                                                                                                    -        "id": i, 
                                                                                                                                                                                                                                    -        "vector":[random.uniform(-1, 1) for _ in range(768)],
                                                                                                                                                                                                                                    -        "scalar_1": generate_random_string(),
                                                                                                                                                                                                                                    -        "scalar_2": random.randint(0, 100),
                                                                                                                                                                                                                                    -        "dynamic_field_1": random.choice([True, False]),
                                                                                                                                                                                                                                    -        "dynamic_field_2": random.randint(0, 100)
                                                                                                                                                                                                                                    +        "id": np.int64(i),
                                                                                                                                                                                                                                    +        "bool": True if i % 3 == 0 else False,
                                                                                                                                                                                                                                    +        "int8": np.int8(i%128),
                                                                                                                                                                                                                                    +        "int16": np.int16(i%1000),
                                                                                                                                                                                                                                    +        "int32": np.int32(i%100000),
                                                                                                                                                                                                                                    +        "int64": np.int64(i),
                                                                                                                                                                                                                                    +        "float": np.float32(i/3),
                                                                                                                                                                                                                                    +        "double": np.float64(i/7),
                                                                                                                                                                                                                                    +        "varchar": f"varchar_{i}",
                                                                                                                                                                                                                                    +        "json": json.dumps({"dummy": i, "ok": f"name_{i}"}),
                                                                                                                                                                                                                                    +        "array_str": np.array([f"str_{k}" for k in range(5)], np.dtype("str")),
                                                                                                                                                                                                                                    +        "array_int": np.array([k for k in range(10)], np.dtype("int64")),
                                                                                                                                                                                                                                    +        "float_vector": gen_float_vector(True),
                                                                                                                                                                                                                                    +        "binary_vector": gen_binary_vector(True),
                                                                                                                                                                                                                                    +        "float16_vector": gen_fp16_vector(True),
                                                                                                                                                                                                                                    +        # "bfloat16_vector": gen_bf16_vector(True),
                                                                                                                                                                                                                                    +        "sparse_vector": gen_sparse_vector(True),
                                                                                                                                                                                                                                    +        f"dynamic_{i}": i,
                                                                                                                                                                                                                                         })
                                                                                                                                                                                                                                    -    
                                                                                                                                                                                                                                    -writer.commit()
                                                                                                                                                                                                                                    +    if (i+1)%1000 == 0:
                                                                                                                                                                                                                                    +        writer.commit()
                                                                                                                                                                                                                                    +        print('committed')
                                                                                                                                                                                                                                    +
                                                                                                                                                                                                                                    +print(writer.batch_files)
                                                                                                                                                                                                                                     
                                                                                                                                                                                                                                    -
                                                                                                                                                                                                                                    for (int i = 0; i < 10000; i++) {
                                                                                                                                                                                                                                    -    JSONObject json = new JSONObject();
                                                                                                                                                                                                                                    -    json.put("id", i);
                                                                                                                                                                                                                                    -    json.put("vector", get_random_vector(768));
                                                                                                                                                                                                                                    -    json.put("scalar_1", get_random_string(20));
                                                                                                                                                                                                                                    -    json.put("scalar_2", (long) (Math.random() * 100));
                                                                                                                                                                                                                                    -    json.put("dynamic_field_1", get_random_boolean());
                                                                                                                                                                                                                                    -    json.put("dynamic_field_2", (long) (Math.random() * 100));
                                                                                                                                                                                                                                    -
                                                                                                                                                                                                                                    -    // localBulkWriter.appendRow(json);
                                                                                                                                                                                                                                    -    remoteBulkWriter.appendRow(json);
                                                                                                                                                                                                                                    +
                                                                                                                                                                                                                                    private static byte[] genBinaryVector() {
                                                                                                                                                                                                                                    +    Random ran = new Random();
                                                                                                                                                                                                                                    +    int byteCount = DIM / 8;
                                                                                                                                                                                                                                    +    ByteBuffer vector = ByteBuffer.allocate(byteCount);
                                                                                                                                                                                                                                    +    for (int i = 0; i < byteCount; ++i) {
                                                                                                                                                                                                                                    +        vector.put((byte) ran.nextInt(Byte.MAX_VALUE));
                                                                                                                                                                                                                                    +    }
                                                                                                                                                                                                                                    +    return vector.array();
                                                                                                                                                                                                                                    +}
                                                                                                                                                                                                                                    +
                                                                                                                                                                                                                                    +private static List<Float> genFloatVector() {
                                                                                                                                                                                                                                    +    Random ran = new Random();
                                                                                                                                                                                                                                    +    List<Float> vector = new ArrayList<>();
                                                                                                                                                                                                                                    +    for (int i = 0; i < DIM; ++i) {
                                                                                                                                                                                                                                    +        vector.add(ran.nextFloat());
                                                                                                                                                                                                                                    +    }
                                                                                                                                                                                                                                    +    return vector;
                                                                                                                                                                                                                                    +}
                                                                                                                                                                                                                                    +
                                                                                                                                                                                                                                    +private static byte[] genFloat16Vector() {
                                                                                                                                                                                                                                    +    List<Float> originalVector = genFloatVector();
                                                                                                                                                                                                                                    +    return Float16Utils.f32VectorToFp16Buffer(originalVector).array();
                                                                                                                                                                                                                                     }
                                                                                                                                                                                                                                     
                                                                                                                                                                                                                                    -// localBulkWriter.commit(false);
                                                                                                                                                                                                                                    -remoteBulkWriter.commit(false);
                                                                                                                                                                                                                                    +private static SortedMap<Long, Float> genSparseVector() {
                                                                                                                                                                                                                                    +    Random ran = new Random();
                                                                                                                                                                                                                                    +    SortedMap<Long, Float> sparse = new TreeMap<>();
                                                                                                                                                                                                                                    +    int dim = ran.nextInt(18) + 2; // [2, 20)
                                                                                                                                                                                                                                    +    for (int i = 0; i < dim; ++i) {
                                                                                                                                                                                                                                    +        sparse.put((long)ran.nextInt(1000000), ran.nextFloat());
                                                                                                                                                                                                                                    +    }
                                                                                                                                                                                                                                    +    return sparse;
                                                                                                                                                                                                                                    +}
                                                                                                                                                                                                                                    +
                                                                                                                                                                                                                                    +private static List<String> genStringArray(int length) {
                                                                                                                                                                                                                                    +    List<String> arr = new ArrayList<>();
                                                                                                                                                                                                                                    +    for (int i = 0; i < length; i++) {
                                                                                                                                                                                                                                    +        arr.add("str_" + i);
                                                                                                                                                                                                                                    +    }
                                                                                                                                                                                                                                    +    return arr;
                                                                                                                                                                                                                                    +}
                                                                                                                                                                                                                                    +
                                                                                                                                                                                                                                    +private static List<Long> genIntArray(int length) {
                                                                                                                                                                                                                                    +    List<Long> arr = new ArrayList<>();
                                                                                                                                                                                                                                    +    for (long i = 0; i < length; i++) {
                                                                                                                                                                                                                                    +        arr.add(i);
                                                                                                                                                                                                                                    +    }
                                                                                                                                                                                                                                    +    return arr;
                                                                                                                                                                                                                                    +}
                                                                                                                                                                                                                                    +
                                                                                                                                                                                                                                    +private static RemoteBulkWriter createRemoteBulkWriter(CreateCollectionReq.CollectionSchema collectionSchema) throws IOException {
                                                                                                                                                                                                                                    +    StorageConnectParam connectParam = S3ConnectParam.newBuilder()
                                                                                                                                                                                                                                    +            .withEndpoint(MINIO_ENDPOINT)
                                                                                                                                                                                                                                    +            .withBucketName(BUCKET_NAME)
                                                                                                                                                                                                                                    +            .withAccessKey(ACCESS_KEY)
                                                                                                                                                                                                                                    +            .withSecretKey(SECRET_KEY)
                                                                                                                                                                                                                                    +            .build();
                                                                                                                                                                                                                                    +    RemoteBulkWriterParam bulkWriterParam = RemoteBulkWriterParam.newBuilder()
                                                                                                                                                                                                                                    +            .withCollectionSchema(collectionSchema)
                                                                                                                                                                                                                                    +            .withRemotePath("/")
                                                                                                                                                                                                                                    +            .withConnectParam(connectParam)
                                                                                                                                                                                                                                    +            .withFileType(BulkFileType.PARQUET)
                                                                                                                                                                                                                                    +            .build();
                                                                                                                                                                                                                                    +    return new RemoteBulkWriter(bulkWriterParam);
                                                                                                                                                                                                                                    +}
                                                                                                                                                                                                                                    +
                                                                                                                                                                                                                                    +private static List<List<String>> uploadData() throws Exception {
                                                                                                                                                                                                                                    +    CreateCollectionReq.CollectionSchema collectionSchema = createSchema();
                                                                                                                                                                                                                                    +    try (RemoteBulkWriter remoteBulkWriter = createRemoteBulkWriter(collectionSchema)) {
                                                                                                                                                                                                                                    +        for (int i = 0; i < 10000; ++i) {
                                                                                                                                                                                                                                    +            JsonObject rowObject = new JsonObject();
                                                                                                                                                                                                                                    +
                                                                                                                                                                                                                                    +            rowObject.addProperty("id", i);
                                                                                                                                                                                                                                    +            rowObject.addProperty("bool", i % 3 == 0);
                                                                                                                                                                                                                                    +            rowObject.addProperty("int8", i % 128);
                                                                                                                                                                                                                                    +            rowObject.addProperty("int16", i % 1000);
                                                                                                                                                                                                                                    +            rowObject.addProperty("int32", i % 100000);
                                                                                                                                                                                                                                    +            rowObject.addProperty("int64", i);
                                                                                                                                                                                                                                    +            rowObject.addProperty("float", i / 3);
                                                                                                                                                                                                                                    +            rowObject.addProperty("double", i / 7);
                                                                                                                                                                                                                                    +            rowObject.addProperty("varchar", "varchar_" + i);
                                                                                                                                                                                                                                    +            rowObject.addProperty("json", String.format("{\"dummy\": %s, \"ok\": \"name_%s\"}", i, i));
                                                                                                                                                                                                                                    +            rowObject.add("array_str", GSON_INSTANCE.toJsonTree(genStringArray(5)));
                                                                                                                                                                                                                                    +            rowObject.add("array_int", GSON_INSTANCE.toJsonTree(genIntArray(10)));
                                                                                                                                                                                                                                    +            rowObject.add("float_vector", GSON_INSTANCE.toJsonTree(genFloatVector()));
                                                                                                                                                                                                                                    +            rowObject.add("binary_vector", GSON_INSTANCE.toJsonTree(genBinaryVector()));
                                                                                                                                                                                                                                    +            rowObject.add("float16_vector", GSON_INSTANCE.toJsonTree(genFloat16Vector()));
                                                                                                                                                                                                                                    +            rowObject.add("sparse_vector", GSON_INSTANCE.toJsonTree(genSparseVector()));
                                                                                                                                                                                                                                    +            rowObject.addProperty("dynamic", "dynamic_" + i);
                                                                                                                                                                                                                                    +
                                                                                                                                                                                                                                    +            remoteBulkWriter.appendRow(rowObject);
                                                                                                                                                                                                                                    +
                                                                                                                                                                                                                                    +            if ((i+1)%1000 == 0) {
                                                                                                                                                                                                                                    +                remoteBulkWriter.commit(false);
                                                                                                                                                                                                                                    +            }
                                                                                                                                                                                                                                    +        }
                                                                                                                                                                                                                                    +
                                                                                                                                                                                                                                    +        List<List<String>> batchFiles = remoteBulkWriter.getBatchFiles();
                                                                                                                                                                                                                                    +        System.out.println(batchFiles);
                                                                                                                                                                                                                                    +        return batchFiles;
                                                                                                                                                                                                                                    +    } catch (Exception e) {
                                                                                                                                                                                                                                    +        throw e;
                                                                                                                                                                                                                                    +    }
                                                                                                                                                                                                                                    +}
                                                                                                                                                                                                                                    +
                                                                                                                                                                                                                                    +public static void main(String[] args) throws Exception {
                                                                                                                                                                                                                                    +    List<List<String>> batchFiles = uploadData();
                                                                                                                                                                                                                                    +}
                                                                                                                                                                                                                                     

                                                                                                                                                                                                                                    Verifica dei risultati

                                                                                                                                                                                                                                    Sfruttando i metadati memorizzati in un file indice, Milvus organizza i dati in una struttura specializzata, facilitando il rapido recupero delle informazioni richieste durante le ricerche o le interrogazioni.

                                                                                                                                                                                                                                    -

                                                                                                                                                                                                                                    Milvus offre diversi tipi di indice e metriche per ordinare i valori dei campi per una ricerca efficiente delle somiglianze. La tabella seguente elenca i tipi di indice e le metriche supportate per i diversi tipi di campi vettoriali. Per maggiori dettagli, consultare la sezione Indice e metriche di somiglianza in memoria.

                                                                                                                                                                                                                                    +

                                                                                                                                                                                                                                    Milvus offre diversi tipi di indice e metriche per ordinare i valori dei campi per una ricerca efficiente delle somiglianze. La tabella seguente elenca i tipi di indice e le metriche supportate per i diversi tipi di campi vettoriali. Attualmente Milvus supporta diversi tipi di dati vettoriali, tra cui embedding in virgola mobile (spesso noti come vettori in virgola mobile o vettori densi), embedding binari (noti anche come vettori binari) e embedding sparsi (noti anche come vettori sparsi). Per ulteriori informazioni, consultare Indice in-memory e metriche di somiglianza.

                                                                                                                                                                                                                                    + Matrici in virgola mobile Matrici binarie Matrici rade Matrici rade
                                                                                                                                                                                                                                    - + diff --git a/localization/v2.4.x/site/ja/adminGuide/configure-docker.json b/localization/v2.4.x/site/ja/adminGuide/configure-docker.json index 52267f581..73e157299 100644 --- a/localization/v2.4.x/site/ja/adminGuide/configure-docker.json +++ b/localization/v2.4.x/site/ja/adminGuide/configure-docker.json @@ -1 +1 @@ -{"codeList":["$ wget https://raw.githubusercontent.com/milvus-io/milvus/v2.4.15/configs/milvus.yaml\n","# For Milvus standalone\n$ wget https://github.com/milvus-io/milvus/releases/download/v2.4.15/milvus-standalone-docker-compose.yml -O docker-compose.yml\n","...\n standalone:\n container_name: milvus-standalone\n image: milvusdb/milvus:v2.2.13\n command: [\"milvus\", \"run\", \"standalone\"]\n environment:\n ETCD_ENDPOINTS: etcd:2379\n MINIO_ADDRESS: minio:9000\n volumes:\n - /local/path/to/your/milvus.yaml:/milvus/configs/milvus.yaml # Map the local path to the container path\n - ${DOCKER_VOLUME_DIRECTORY:-.}/volumes/milvus:/var/lib/milvus\n ports:\n - \"19530:19530\"\n - \"9091:9091\"\n depends_on:\n - \"etcd\"\n - \"minio\"\n...\n","$ sudo docker compose up -d\n"],"headingContent":"Configure Milvus with Docker Compose","anchorList":[{"label":"Docker ComposeでMilvusを設定する","href":"Configure-Milvus-with-Docker-Compose","type":1,"isActive":false},{"label":"設定ファイルのダウンロード","href":"Download-a-configuration-file","type":2,"isActive":false},{"label":"設定ファイルの変更","href":"Modify-the-configuration-file","type":2,"isActive":false},{"label":"インストールファイルのダウンロード","href":"Download-an-installation-file","type":2,"isActive":false},{"label":"インストールファイルの修正","href":"Modify-the-installation-file","type":2,"isActive":false},{"label":"Milvusの起動","href":"Start-Milvus","type":2,"isActive":false},{"label":"次の内容","href":"Whats-next","type":2,"isActive":false}]} \ No newline at end of file +{"codeList":["$ wget https://raw.githubusercontent.com/milvus-io/milvus/v2.4.17/configs/milvus.yaml\n","# For Milvus standalone\n$ wget https://github.com/milvus-io/milvus/releases/download/v2.4.17/milvus-standalone-docker-compose.yml -O docker-compose.yml\n","...\n standalone:\n container_name: milvus-standalone\n image: milvusdb/milvus:v2.2.13\n command: [\"milvus\", \"run\", \"standalone\"]\n environment:\n ETCD_ENDPOINTS: etcd:2379\n MINIO_ADDRESS: minio:9000\n volumes:\n - /local/path/to/your/milvus.yaml:/milvus/configs/milvus.yaml # Map the local path to the container path\n - ${DOCKER_VOLUME_DIRECTORY:-.}/volumes/milvus:/var/lib/milvus\n ports:\n - \"19530:19530\"\n - \"9091:9091\"\n depends_on:\n - \"etcd\"\n - \"minio\"\n...\n","$ sudo docker compose up -d\n"],"headingContent":"Configure Milvus with Docker Compose","anchorList":[{"label":"Docker ComposeでMilvusを設定する","href":"Configure-Milvus-with-Docker-Compose","type":1,"isActive":false},{"label":"設定ファイルのダウンロード","href":"Download-a-configuration-file","type":2,"isActive":false},{"label":"設定ファイルの変更","href":"Modify-the-configuration-file","type":2,"isActive":false},{"label":"インストールファイルのダウンロード","href":"Download-an-installation-file","type":2,"isActive":false},{"label":"インストールファイルの修正","href":"Modify-the-installation-file","type":2,"isActive":false},{"label":"Milvusの起動","href":"Start-Milvus","type":2,"isActive":false},{"label":"次の内容","href":"Whats-next","type":2,"isActive":false}]} \ No newline at end of file diff --git a/localization/v2.4.x/site/ja/adminGuide/configure-docker.md b/localization/v2.4.x/site/ja/adminGuide/configure-docker.md index 65fe40e5d..76cc7ef85 100644 --- a/localization/v2.4.x/site/ja/adminGuide/configure-docker.md +++ b/localization/v2.4.x/site/ja/adminGuide/configure-docker.md @@ -38,8 +38,8 @@ title: Docker ComposeでMilvusを設定する d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z" > -

                                                                                                                                                                                                                                    milvus.yaml を直接ダウンロードするか、以下のコマンドでダウンロードします。

                                                                                                                                                                                                                                    -
                                                                                                                                                                                                                                    $ wget https://raw.githubusercontent.com/milvus-io/milvus/v2.4.15/configs/milvus.yaml
                                                                                                                                                                                                                                    +    

                                                                                                                                                                                                                                    milvus.yaml を直接ダウンロードするか、以下のコマンドでダウンロードします。

                                                                                                                                                                                                                                    +
                                                                                                                                                                                                                                    $ wget https://raw.githubusercontent.com/milvus-io/milvus/v2.4.17/configs/milvus.yaml
                                                                                                                                                                                                                                     

                                                                                                                                                                                                                                    設定ファイルの変更

                                                                                                                                                                                                                                    Milvusスタンドアロン用のインストールファイルをダウンロードし、docker-compose.yml として保存してください。

                                                                                                                                                                                                                                    +

                                                                                                                                                                                                                                    Milvusスタンドアロン用のインストールファイルをダウンロードし、docker-compose.yml として保存してください。

                                                                                                                                                                                                                                    以下のコマンドを実行するだけでもインストールできます。

                                                                                                                                                                                                                                    # For Milvus standalone
                                                                                                                                                                                                                                    -$ wget https://github.com/milvus-io/milvus/releases/download/v2.4.15/milvus-standalone-docker-compose.yml -O docker-compose.yml
                                                                                                                                                                                                                                    +$ wget https://github.com/milvus-io/milvus/releases/download/v2.4.17/milvus-standalone-docker-compose.yml -O docker-compose.yml
                                                                                                                                                                                                                                     

                                                                                                                                                                                                                                    インストールファイルの修正

                                                                                                                                                                                                                                    docker-compose.yml で、各milvus-standalone の下にvolumes セクションを追加します。

                                                                                                                                                                                                                                    +

                                                                                                                                                                                                                                    docker-compose.yml に、各milvus-standalone の下にvolumes セクションを追加します。

                                                                                                                                                                                                                                    milvus.yaml ファイルへのローカルパスを、すべてのvolumes セクションの下にある設定ファイル/milvus/configs/milvus.yaml への対応する docker コンテナ・パスにマッピングします。

                                                                                                                                                                                                                                    ...
                                                                                                                                                                                                                                       standalone:
                                                                                                                                                                                                                                    diff --git a/localization/v2.4.x/site/ja/adminGuide/upgrade_milvus_cluster-docker.json b/localization/v2.4.x/site/ja/adminGuide/upgrade_milvus_cluster-docker.json
                                                                                                                                                                                                                                    index d8b98ff8b..2f6c04bb4 100644
                                                                                                                                                                                                                                    --- a/localization/v2.4.x/site/ja/adminGuide/upgrade_milvus_cluster-docker.json
                                                                                                                                                                                                                                    +++ b/localization/v2.4.x/site/ja/adminGuide/upgrade_milvus_cluster-docker.json
                                                                                                                                                                                                                                    @@ -1 +1 @@
                                                                                                                                                                                                                                    -{"codeList":["...\nrootcoord:\n  container_name: milvus-rootcoord\n  image: milvusdb/milvus:v2.4.15\n...\nproxy:\n  container_name: milvus-proxy\n  image: milvusdb/milvus:v2.4.15\n...\nquerycoord:\n  container_name: milvus-querycoord\n  image: milvusdb/milvus:v2.4.15  \n...\nquerynode:\n  container_name: milvus-querynode\n  image: milvusdb/milvus:v2.4.15\n...\nindexcoord:\n  container_name: milvus-indexcoord\n  image: milvusdb/milvus:v2.4.15\n...\nindexnode:\n  container_name: milvus-indexnode\n  image: milvusdb/milvus:v2.4.15 \n...\ndatacoord:\n  container_name: milvus-datacoord\n  image: milvusdb/milvus:v2.4.15   \n...\ndatanode:\n  container_name: milvus-datanode\n  image: milvusdb/milvus:v2.4.15\n","docker compose down\ndocker compose up -d\n","docker stop \n","# migration.yaml\ncmd:\n  # Option: run/backup/rollback\n  type: run\n  runWithBackup: true\nconfig:\n  sourceVersion: 2.1.4   # Specify your milvus version\n  targetVersion: 2.4.15\n  backupFilePath: /tmp/migration.bak\nmetastore:\n  type: etcd\netcd:\n  endpoints:\n    - milvus-etcd:2379  # Use the etcd container name\n  rootPath: by-dev # The root path where data is stored in etcd\n  metaSubPath: meta\n  kvSubPath: kv\n","# Suppose your docker-compose run with the default milvus network,\n# and you put migration.yaml in the same directory with docker-compose.yaml.\ndocker run --rm -it --network milvus -v $(pwd)/migration.yaml:/milvus/configs/migration.yaml milvus/meta-migration:v2.2.0 /milvus/bin/meta-migration -config=/milvus/configs/migration.yaml\n","Update the milvus image tag in the docker-compose.yaml\ndocker compose down\ndocker compose up -d\n"],"headingContent":"Upgrade Milvus Cluster with Docker Compose","anchorList":[{"label":"Docker Composeを使用したMilvusクラスタのアップグレード","href":"Upgrade-Milvus-Cluster-with-Docker-Compose","type":1,"isActive":false},{"label":"Milvusのイメージ変更によるアップグレード","href":"Upgrade-Milvus-by-changing-its-image","type":2,"isActive":false},{"label":"メタデータの移行","href":"Migrate-the-metadata","type":2,"isActive":false},{"label":"次のステップ","href":"Whats-next","type":2,"isActive":false}]}
                                                                                                                                                                                                                                    \ No newline at end of file
                                                                                                                                                                                                                                    +{"codeList":["...\nrootcoord:\n  container_name: milvus-rootcoord\n  image: milvusdb/milvus:v2.4.17\n...\nproxy:\n  container_name: milvus-proxy\n  image: milvusdb/milvus:v2.4.17\n...\nquerycoord:\n  container_name: milvus-querycoord\n  image: milvusdb/milvus:v2.4.17  \n...\nquerynode:\n  container_name: milvus-querynode\n  image: milvusdb/milvus:v2.4.17\n...\nindexcoord:\n  container_name: milvus-indexcoord\n  image: milvusdb/milvus:v2.4.17\n...\nindexnode:\n  container_name: milvus-indexnode\n  image: milvusdb/milvus:v2.4.17 \n...\ndatacoord:\n  container_name: milvus-datacoord\n  image: milvusdb/milvus:v2.4.17   \n...\ndatanode:\n  container_name: milvus-datanode\n  image: milvusdb/milvus:v2.4.17\n","docker compose down\ndocker compose up -d\n","docker stop \n","# migration.yaml\ncmd:\n  # Option: run/backup/rollback\n  type: run\n  runWithBackup: true\nconfig:\n  sourceVersion: 2.1.4   # Specify your milvus version\n  targetVersion: 2.4.17\n  backupFilePath: /tmp/migration.bak\nmetastore:\n  type: etcd\netcd:\n  endpoints:\n    - milvus-etcd:2379  # Use the etcd container name\n  rootPath: by-dev # The root path where data is stored in etcd\n  metaSubPath: meta\n  kvSubPath: kv\n","# Suppose your docker-compose run with the default milvus network,\n# and you put migration.yaml in the same directory with docker-compose.yaml.\ndocker run --rm -it --network milvus -v $(pwd)/migration.yaml:/milvus/configs/migration.yaml milvus/meta-migration:v2.2.0 /milvus/bin/meta-migration -config=/milvus/configs/migration.yaml\n","Update the milvus image tag in the docker-compose.yaml\ndocker compose down\ndocker compose up -d\n"],"headingContent":"Upgrade Milvus Cluster with Docker Compose","anchorList":[{"label":"Docker Composeを使用したMilvusクラスタのアップグレード","href":"Upgrade-Milvus-Cluster-with-Docker-Compose","type":1,"isActive":false},{"label":"Milvusのイメージ変更によるアップグレード","href":"Upgrade-Milvus-by-changing-its-image","type":2,"isActive":false},{"label":"メタデータの移行","href":"Migrate-the-metadata","type":2,"isActive":false},{"label":"次のステップ","href":"Whats-next","type":2,"isActive":false}]}
                                                                                                                                                                                                                                    \ No newline at end of file
                                                                                                                                                                                                                                    diff --git a/localization/v2.4.x/site/ja/adminGuide/upgrade_milvus_cluster-docker.md b/localization/v2.4.x/site/ja/adminGuide/upgrade_milvus_cluster-docker.md
                                                                                                                                                                                                                                    index 5337d5440..6b8e2b655 100644
                                                                                                                                                                                                                                    --- a/localization/v2.4.x/site/ja/adminGuide/upgrade_milvus_cluster-docker.md
                                                                                                                                                                                                                                    +++ b/localization/v2.4.x/site/ja/adminGuide/upgrade_milvus_cluster-docker.md
                                                                                                                                                                                                                                    @@ -20,7 +20,7 @@ title: Docker Composeを使用したMilvusクラスタのアップグレード
                                                                                                                                                                                                                                             >
                                                                                                                                                                                                                                           
                                                                                                                                                                                                                                         

                                                                                                                                                                                                                                    このトピックでは、Docker Composeを使用してMilvusをアップグレードする方法について説明します。

                                                                                                                                                                                                                                    -

                                                                                                                                                                                                                                    通常の場合、Milvusのイメージを変更することでアップグレードが可能です。ただし、v2.1.xからv2.4.15にアップグレードする場合は、事前にメタデータを移行する必要があります。

                                                                                                                                                                                                                                    +

                                                                                                                                                                                                                                    通常の場合、Milvusのイメージを変更することでアップグレードが可能です。ただし、v2.1.xからv2.4.17にアップグレードする場合は、事前にメタデータを移行する必要があります。

                                                                                                                                                                                                                                    Milvusのイメージ変更によるアップグレード

                                                                                                                                                                                                                                  • 以下のコマンドを実行してアップグレードを実行します。

                                                                                                                                                                                                                                    docker compose down
                                                                                                                                                                                                                                    @@ -105,7 +105,7 @@ cmd:
                                                                                                                                                                                                                                       runWithBackup: true
                                                                                                                                                                                                                                     config:
                                                                                                                                                                                                                                       sourceVersion: 2.1.4   # Specify your milvus version
                                                                                                                                                                                                                                    -  targetVersion: 2.4.15
                                                                                                                                                                                                                                    +  targetVersion: 2.4.17
                                                                                                                                                                                                                                       backupFilePath: /tmp/migration.bak
                                                                                                                                                                                                                                     metastore:
                                                                                                                                                                                                                                       type: etcd
                                                                                                                                                                                                                                    @@ -149,6 +149,6 @@ docker compose up -d
                                                                                                                                                                                                                                     
                                                                                                                                                                                                                                  • クラウド上にクラスターをデプロイする準備ができている場合は、次の方法を参照してください:
                                                                                                                                                                                                                                  • diff --git a/localization/v2.4.x/site/ja/adminGuide/upgrade_milvus_cluster-helm.json b/localization/v2.4.x/site/ja/adminGuide/upgrade_milvus_cluster-helm.json index ce6cb3cc4..bbad52906 100644 --- a/localization/v2.4.x/site/ja/adminGuide/upgrade_milvus_cluster-helm.json +++ b/localization/v2.4.x/site/ja/adminGuide/upgrade_milvus_cluster-helm.json @@ -1 +1 @@ -{"codeList":["$ helm repo update\n$ helm search repo zilliztech/milvus --versions\n","helm repo add zilliztech https://zilliztech.github.io/milvus-helm\nhelm repo update\n# upgrade existing helm release\nhelm upgrade my-release zilliztech/milvus\n","NAME CHART VERSION APP VERSION DESCRIPTION \nzilliztech/milvus 4.1.34 2.4.5 Milvus is an open-source vector database built ...\nzilliztech/milvus 4.1.33 2.4.4 Milvus is an open-source vector database built ...\nzilliztech/milvus 4.1.32 2.4.3 Milvus is an open-source vector database built ...\nzilliztech/milvus 4.1.31 2.4.1 Milvus is an open-source vector database built ...\nzilliztech/milvus 4.1.30 2.4.1 Milvus is an open-source vector database built ...\nzilliztech/milvus 4.1.29 2.4.0 Milvus is an open-source vector database built ...\nzilliztech/milvus 4.1.24 2.3.11 Milvus is an open-source vector database built ...\nzilliztech/milvus 4.1.23 2.3.10 Milvus is an open-source vector database built ...\nzilliztech/milvus 4.1.22 2.3.10 Milvus is an open-source vector database built ...\nzilliztech/milvus 4.1.21 2.3.10 Milvus is an open-source vector database built ...\nzilliztech/milvus 4.1.20 2.3.10 Milvus is an open-source vector database built ...\nzilliztech/milvus 4.1.18 2.3.10 Milvus is an open-source vector database built ... \nzilliztech/milvus 4.1.18 2.3.9 Milvus is an open-source vector database built ... \nzilliztech/milvus 4.1.17 2.3.8 Milvus is an open-source vector database built ...\nzilliztech/milvus 4.1.16 2.3.7 Milvus is an open-source vector database built ...\nzilliztech/milvus 4.1.15 2.3.5 Milvus is an open-source vector database built ...\nzilliztech/milvus 4.1.14 2.3.6 Milvus is an open-source vector database built ...\nzilliztech/milvus 4.1.13 2.3.5 Milvus is an open-source vector database built ...\nzilliztech/milvus 4.1.12 2.3.5 Milvus is an open-source vector database built ...\nzilliztech/milvus 4.1.11 2.3.4 Milvus is an open-source vector database built ...\nzilliztech/milvus 4.1.10 2.3.3 Milvus is an open-source vector database built ...\nzilliztech/milvus 4.1.9 2.3.3 Milvus is an open-source vector database built ...\nzilliztech/milvus 4.1.8 2.3.2 Milvus is an open-source vector database built ...\nzilliztech/milvus 4.1.7 2.3.2 Milvus is an open-source vector database built ...\nzilliztech/milvus 4.1.6 2.3.1 Milvus is an open-source vector database built ...\nzilliztech/milvus 4.1.5 2.3.1 Milvus is an open-source vector database built ...\nzilliztech/milvus 4.1.4 2.3.1 Milvus is an open-source vector database built ...\nzilliztech/milvus 4.1.3 2.3.1 Milvus is an open-source vector database built ...\nzilliztech/milvus 4.1.2 2.3.1 Milvus is an open-source vector database built ...\nzilliztech/milvus 4.1.1 2.3.0 Milvus is an open-source vector database built ...\nzilliztech/milvus 4.1.0 2.3.0 Milvus is an open-source vector database built ...\n","sh rollingUpdate.sh -n default -i my-release -o update -t 2.4.15 -w 'milvusdb/milvus:v2.4.15'\n","helm repo update\nhelm upgrade my-release zilliztech/milvus --reuse-values --version=4.1.24 # use the helm chart version here\n","NAME NAMESPACE REVISION UPDATED STATUS CHART APP VERSION \nnew-release default 1 2022-11-21 15:41:25.51539 +0800 CST deployed milvus-3.2.18 2.1.4 \n","NAME READY STATUS RESTARTS AGE\nmy-release-etcd-0 1/1 Running 0 21m\nmy-release-etcd-1 1/1 Running 0 21m\nmy-release-etcd-2 1/1 Running 0 21m\nmy-release-milvus-datacoord-664c58798d-fl75s 1/1 Running 0 21m\nmy-release-milvus-datanode-5f75686c55-xfg2r 1/1 Running 0 21m\nmy-release-milvus-indexcoord-5f98b97589-2l48r 1/1 Running 0 21m\nmy-release-milvus-indexnode-857b4ddf98-vmd75 1/1 Running 0 21m\nmy-release-milvus-proxy-6c548f787f-scspp 1/1 Running 0 21m\nmy-release-milvus-querycoord-c454f44cd-dwmwq 1/1 Running 0 21m\nmy-release-milvus-querynode-76bb4946d-lbrz6 1/1 Running 0 21m\nmy-release-milvus-rootcoord-7764c5b686-62msm 1/1 Running 0 21m\nmy-release-minio-0 1/1 Running 0 21m\nmy-release-minio-1 1/1 Running 0 21m\nmy-release-minio-2 1/1 Running 0 21m\nmy-release-minio-3 1/1 Running 0 21m\nmy-release-pulsar-bookie-0 1/1 Running 0 21m\nmy-release-pulsar-bookie-1 1/1 Running 0 21m\nmy-release-pulsar-bookie-2 1/1 Running 0 21m\nmy-release-pulsar-bookie-init-tjxpj 0/1 Completed 0 21m\nmy-release-pulsar-broker-0 1/1 Running 0 21m\nmy-release-pulsar-proxy-0 1/1 Running 0 21m\nmy-release-pulsar-pulsar-init-c8vvc 0/1 Completed 0 21m\nmy-release-pulsar-recovery-0 1/1 Running 0 21m\nmy-release-pulsar-zookeeper-0 1/1 Running 0 21m\nmy-release-pulsar-zookeeper-1 1/1 Running 0 20m\nmy-release-pulsar-zookeeper-2 1/1 Running 0 20m\n","$ kubectl get pods my-release-milvus-proxy-6c548f787f-scspp -o=jsonpath='{$.spec.containers[0].image}'\n# milvusdb/milvus:v2.1.4\n","./migrate.sh -i my-release -s 2.1.4 -t 2.2.0\n","./migrate.sh -i my-release -n milvus -s 2.1.4 -t 2.2.0\n","./migrate.sh -i my-release -n milvus -s 2.1.4 -t 2.2.0 -r by-dev\n","./migrate.sh -i my-release -n milvus -s 2.1.4 -t 2.2.0 -r by-dev -w milvusdb/milvus:v2.2.0\n","./migrate.sh -i my-release -n milvus -s 2.1.4 -t 2.2.0 -w milvusdb/milvus:v2.2.0 -d true\n","./migrate.sh -i my-release -n milvus -s 2.1.4 -t 2.2.0 -r by-dev -o rollback -w milvusdb/milvus:v2.1.4\n./migrate.sh -i my-release -n milvus -s 2.1.4 -t 2.2.0 -r by-dev -o migrate -w milvusdb/milvus:v2.2.0\n"],"headingContent":"Upgrade Milvus Cluster with Helm Chart","anchorList":[{"label":"HelmチャートによるMilvusクラスタのアップグレード","href":"Upgrade-Milvus-Cluster-with-Helm-Chart","type":1,"isActive":false},{"label":"Milvus Helmチャートの確認","href":"Check-Milvus-Helm-Chart","type":2,"isActive":false},{"label":"ローリングアップグレードの実施","href":"Conduct-a-rolling-upgrade","type":2,"isActive":false},{"label":"Helmを使用したMilvusのアップグレード","href":"Upgrade-Milvus-using-Helm","type":2,"isActive":false},{"label":"メタデータの移行","href":"Migrate-the-metadata","type":2,"isActive":false}]} \ No newline at end of file +{"codeList":["$ helm repo update zilliztech\n$ helm search repo zilliztech/milvus --versions\n","helm repo add zilliztech https://zilliztech.github.io/milvus-helm\nhelm repo update\n# upgrade existing helm release\nhelm upgrade my-release zilliztech/milvus --reset-then-reuse-values\n","NAME CHART VERSION APP VERSION DESCRIPTION \nzilliztech/milvus 4.1.34 2.4.5 Milvus is an open-source vector database built ...\nzilliztech/milvus 4.1.33 2.4.4 Milvus is an open-source vector database built ...\nzilliztech/milvus 4.1.32 2.4.3 Milvus is an open-source vector database built ...\nzilliztech/milvus 4.1.31 2.4.1 Milvus is an open-source vector database built ...\nzilliztech/milvus 4.1.30 2.4.1 Milvus is an open-source vector database built ...\nzilliztech/milvus 4.1.29 2.4.0 Milvus is an open-source vector database built ...\nzilliztech/milvus 4.1.24 2.3.11 Milvus is an open-source vector database built ...\nzilliztech/milvus 4.1.23 2.3.10 Milvus is an open-source vector database built ...\nzilliztech/milvus 4.1.22 2.3.10 Milvus is an open-source vector database built ...\nzilliztech/milvus 4.1.21 2.3.10 Milvus is an open-source vector database built ...\nzilliztech/milvus 4.1.20 2.3.10 Milvus is an open-source vector database built ...\nzilliztech/milvus 4.1.18 2.3.10 Milvus is an open-source vector database built ... \nzilliztech/milvus 4.1.18 2.3.9 Milvus is an open-source vector database built ... \nzilliztech/milvus 4.1.17 2.3.8 Milvus is an open-source vector database built ...\nzilliztech/milvus 4.1.16 2.3.7 Milvus is an open-source vector database built ...\nzilliztech/milvus 4.1.15 2.3.5 Milvus is an open-source vector database built ...\nzilliztech/milvus 4.1.14 2.3.6 Milvus is an open-source vector database built ...\nzilliztech/milvus 4.1.13 2.3.5 Milvus is an open-source vector database built ...\nzilliztech/milvus 4.1.12 2.3.5 Milvus is an open-source vector database built ...\nzilliztech/milvus 4.1.11 2.3.4 Milvus is an open-source vector database built ...\nzilliztech/milvus 4.1.10 2.3.3 Milvus is an open-source vector database built ...\nzilliztech/milvus 4.1.9 2.3.3 Milvus is an open-source vector database built ...\nzilliztech/milvus 4.1.8 2.3.2 Milvus is an open-source vector database built ...\nzilliztech/milvus 4.1.7 2.3.2 Milvus is an open-source vector database built ...\nzilliztech/milvus 4.1.6 2.3.1 Milvus is an open-source vector database built ...\nzilliztech/milvus 4.1.5 2.3.1 Milvus is an open-source vector database built ...\nzilliztech/milvus 4.1.4 2.3.1 Milvus is an open-source vector database built ...\nzilliztech/milvus 4.1.3 2.3.1 Milvus is an open-source vector database built ...\nzilliztech/milvus 4.1.2 2.3.1 Milvus is an open-source vector database built ...\nzilliztech/milvus 4.1.1 2.3.0 Milvus is an open-source vector database built ...\nzilliztech/milvus 4.1.0 2.3.0 Milvus is an open-source vector database built ...\n","sh rollingUpdate.sh -n default -i my-release -o update -t 2.4.17 -w 'milvusdb/milvus:v2.4.17'\n","helm repo update zilliztech\nhelm upgrade my-release zilliztech/milvus --reset-then-reuse-values --version=4.1.24 # use the helm chart version here\n","NAME NAMESPACE REVISION UPDATED STATUS CHART APP VERSION \nnew-release default 1 2022-11-21 15:41:25.51539 +0800 CST deployed milvus-3.2.18 2.1.4 \n","NAME READY STATUS RESTARTS AGE\nmy-release-etcd-0 1/1 Running 0 21m\nmy-release-etcd-1 1/1 Running 0 21m\nmy-release-etcd-2 1/1 Running 0 21m\nmy-release-milvus-datacoord-664c58798d-fl75s 1/1 Running 0 21m\nmy-release-milvus-datanode-5f75686c55-xfg2r 1/1 Running 0 21m\nmy-release-milvus-indexcoord-5f98b97589-2l48r 1/1 Running 0 21m\nmy-release-milvus-indexnode-857b4ddf98-vmd75 1/1 Running 0 21m\nmy-release-milvus-proxy-6c548f787f-scspp 1/1 Running 0 21m\nmy-release-milvus-querycoord-c454f44cd-dwmwq 1/1 Running 0 21m\nmy-release-milvus-querynode-76bb4946d-lbrz6 1/1 Running 0 21m\nmy-release-milvus-rootcoord-7764c5b686-62msm 1/1 Running 0 21m\nmy-release-minio-0 1/1 Running 0 21m\nmy-release-minio-1 1/1 Running 0 21m\nmy-release-minio-2 1/1 Running 0 21m\nmy-release-minio-3 1/1 Running 0 21m\nmy-release-pulsar-bookie-0 1/1 Running 0 21m\nmy-release-pulsar-bookie-1 1/1 Running 0 21m\nmy-release-pulsar-bookie-2 1/1 Running 0 21m\nmy-release-pulsar-bookie-init-tjxpj 0/1 Completed 0 21m\nmy-release-pulsar-broker-0 1/1 Running 0 21m\nmy-release-pulsar-proxy-0 1/1 Running 0 21m\nmy-release-pulsar-pulsar-init-c8vvc 0/1 Completed 0 21m\nmy-release-pulsar-recovery-0 1/1 Running 0 21m\nmy-release-pulsar-zookeeper-0 1/1 Running 0 21m\nmy-release-pulsar-zookeeper-1 1/1 Running 0 20m\nmy-release-pulsar-zookeeper-2 1/1 Running 0 20m\n","$ kubectl get pods my-release-milvus-proxy-6c548f787f-scspp -o=jsonpath='{$.spec.containers[0].image}'\n# milvusdb/milvus:v2.1.4\n","./migrate.sh -i my-release -s 2.1.4 -t 2.2.0\n","./migrate.sh -i my-release -n milvus -s 2.1.4 -t 2.2.0\n","./migrate.sh -i my-release -n milvus -s 2.1.4 -t 2.2.0 -r by-dev\n","./migrate.sh -i my-release -n milvus -s 2.1.4 -t 2.2.0 -r by-dev -w milvusdb/milvus:v2.2.0\n","./migrate.sh -i my-release -n milvus -s 2.1.4 -t 2.2.0 -w milvusdb/milvus:v2.2.0 -d true\n","./migrate.sh -i my-release -n milvus -s 2.1.4 -t 2.2.0 -r by-dev -o rollback -w milvusdb/milvus:v2.1.4\n./migrate.sh -i my-release -n milvus -s 2.1.4 -t 2.2.0 -r by-dev -o migrate -w milvusdb/milvus:v2.2.0\n"],"headingContent":"Upgrade Milvus Cluster with Helm Chart","anchorList":[{"label":"HelmチャートによるMilvusクラスタのアップグレード","href":"Upgrade-Milvus-Cluster-with-Helm-Chart","type":1,"isActive":false},{"label":"前提条件","href":"Prerequisites","type":2,"isActive":false},{"label":"Milvus Helmチャートのチェック","href":"Check-Milvus-Helm-Chart","type":2,"isActive":false},{"label":"ローリングアップグレードの実施","href":"Conduct-a-rolling-upgrade","type":2,"isActive":false},{"label":"Helmを使用したMilvusのアップグレード","href":"Upgrade-Milvus-using-Helm","type":2,"isActive":false},{"label":"メタデータの移行","href":"Migrate-the-metadata","type":2,"isActive":false}]} \ No newline at end of file diff --git a/localization/v2.4.x/site/ja/adminGuide/upgrade_milvus_cluster-helm.md b/localization/v2.4.x/site/ja/adminGuide/upgrade_milvus_cluster-helm.md index d66d5e17e..7f29a057b 100644 --- a/localization/v2.4.x/site/ja/adminGuide/upgrade_milvus_cluster-helm.md +++ b/localization/v2.4.x/site/ja/adminGuide/upgrade_milvus_cluster-helm.md @@ -24,7 +24,7 @@ title: HelmチャートによるMilvusクラスタのアップグレード >

                                                                                                                                                                                                                                    このガイドでは、Milvus Helmチャートを使用してMilvusクラスタをアップグレードする方法について説明します。

                                                                                                                                                                                                                                    -

                                                                                                                                                                                                                                    Milvus Helmチャートの確認

                                                                                                                                                                                                                                    以下のコマンドを実行し、Milvusの新バージョンを確認します。

                                                                                                                                                                                                                                    -
                                                                                                                                                                                                                                    $ helm repo update
                                                                                                                                                                                                                                    +    
                                                                                                                                                                                                                                      +
                                                                                                                                                                                                                                    • Helmバージョン >= 3.14.0
                                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                                    • Kubernetesバージョン >= 1.20.0
                                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                                    +
                                                                                                                                                                                                                                    +

                                                                                                                                                                                                                                    Milvus-Helmチャートバージョン4.2.21以降、依存関係としてpulsar-v3.xチャートを導入しました。後方互換性のため、helmをv3.14またはそれ以降のバージョンにアップグレードし、helm upgrade を使用するときは必ず--reset-then-reuse-values オプションを追加してください。

                                                                                                                                                                                                                                    +
                                                                                                                                                                                                                                    +

                                                                                                                                                                                                                                    Milvus Helmチャートのチェック

                                                                                                                                                                                                                                    以下のコマンドを実行して、Milvusの新しいバージョンをチェックしてください。

                                                                                                                                                                                                                                    +
                                                                                                                                                                                                                                    $ helm repo update zilliztech
                                                                                                                                                                                                                                     $ helm search repo zilliztech/milvus --versions
                                                                                                                                                                                                                                     
                                                                                                                                                                                                                                    -

                                                                                                                                                                                                                                    https://milvus-io.github.io/milvus-helm/ にあるMilvus Helm Chartsのレポはアーカイブされており、https://zilliztech.github.io/milvus-helm/ から以下のように更なるアップデートを取得することができます:

                                                                                                                                                                                                                                    +

                                                                                                                                                                                                                                    https://milvus-io.github.io/milvus-helm/ にある Milvus Helm Charts のレポはアーカイブされ、次のようにhttps://zilliztech.github.io/milvus-helm/ から更なるアップデートを取得することができます:

                                                                                                                                                                                                                                    helm repo add zilliztech https://zilliztech.github.io/milvus-helm
                                                                                                                                                                                                                                     helm repo update
                                                                                                                                                                                                                                     # upgrade existing helm release
                                                                                                                                                                                                                                    -helm upgrade my-release zilliztech/milvus
                                                                                                                                                                                                                                    +helm upgrade my-release zilliztech/milvus --reset-then-reuse-values
                                                                                                                                                                                                                                     

                                                                                                                                                                                                                                    アーカイブされたレポは4.0.31までのチャートで利用可能です。それ以降のリリースについては、代わりに新しいレポを使用してください。

                                                                                                                                                                                                                                    @@ -86,10 +108,10 @@ zilliztech/milvus 4.1.1 2.3.0 Milvus is an ope zilliztech/milvus 4.1.0 2.3.0 Milvus is an open-source vector database built ...

                                                                                                                                                                                                                                    Milvusのアップグレードパスは以下のように選択できます:

                                                                                                                                                                                                                                    -
                                                                                                                                                                                                                                    - Milvus v2.2.3以降からv2.4.15への[ローリングアップグレード](#conduct-a-rolling-upgrade)。
                                                                                                                                                                                                                                    +
                                                                                                                                                                                                                                    - Milvus v2.2.3以降からv2.4.17への[ローリングアップグレード](#conduct-a-rolling-upgrade)。

                                                                                                                                                                                                                                    ローリングアップグレードの実施

                                                                                                                                                                                                                                  • Tipi di metricaTipi di metriche Tipi di indice
                                                                                                                                                                                                                                    o操作方法update
                                                                                                                                                                                                                                    -

                                                                                                                                                                                                                                    Milvusインスタンスのすべてのデプロイメントが正常な状態であることを確認したら、以下のコマンドを実行してMilvusインスタンスを2.4.15にアップグレードします。以下のコマンドを実行することで、Milvusインスタンスを2.4.15にアップグレードすることができます。

                                                                                                                                                                                                                                    -
                                                                                                                                                                                                                                    sh rollingUpdate.sh -n default -i my-release -o update -t 2.4.15 -w 'milvusdb/milvus:v2.4.15'
                                                                                                                                                                                                                                    +

                                                                                                                                                                                                                                    Milvusインスタンスのすべてのデプロイメントが正常な状態であることを確認したら、以下のコマンドを実行してMilvusインスタンスを2.4.17にアップグレードします。以下のコマンドを実行することで、Milvusインスタンスを2.4.17にアップグレードすることができます。

                                                                                                                                                                                                                                    +
                                                                                                                                                                                                                                    sh rollingUpdate.sh -n default -i my-release -o update -t 2.4.17 -w 'milvusdb/milvus:v2.4.17'
                                                                                                                                                                                                                                     
                                                                                                                                                                                                                                    1. スクリプトはデプロイのアップグレード順序をハードコードしており、変更することはできません。
                                                                                                                                                                                                                                    2. -
                                                                                                                                                                                                                                    3. スクリプトはkubectl patch を使ってデプロイメントを更新し、kubectl rollout status を使ってステータスを監視します。
                                                                                                                                                                                                                                    4. +
                                                                                                                                                                                                                                    5. このスクリプトでは、kubectl patch を使用してデプロイメントを更新し、kubectl rollout status を使用してステータスを監視します。
                                                                                                                                                                                                                                    6. スクリプトはkubectl patch を使って、デプロイメントのapp.kubernetes.io/version ラベルを、コマンドの-t フラグの後に指定したラベルに更新します。
                                                                                                                                                                                                                                    @@ -150,8 +172,8 @@ zilliztech/milvus 4.1.0 2.3.0 Milvus is an ope >

                                                                                                                                                                                                                                    Milvusをv2.2.3以前のマイナーリリースから最新のものにアップグレードするには、以下のコマンドを実行します:

                                                                                                                                                                                                                                    -
                                                                                                                                                                                                                                    helm repo update
                                                                                                                                                                                                                                    -helm upgrade my-release zilliztech/milvus --reuse-values --version=4.1.24 # use the helm chart version here
                                                                                                                                                                                                                                    +
                                                                                                                                                                                                                                    helm repo update zilliztech
                                                                                                                                                                                                                                    +helm upgrade my-release zilliztech/milvus --reset-then-reuse-values --version=4.1.24 # use the helm chart version here
                                                                                                                                                                                                                                     

                                                                                                                                                                                                                                    直前のコマンドでHelm chartのバージョンを使用してください。Helmチャートバージョンの取得方法については、「Milvusバージョンの確認」をご参照ください。

                                                                                                                                                                                                                                    メタデータの移行

                                                                                                                                                                                                                                    Milvus operatorを最新バージョンにアップグレードすると、以下の選択肢があります:

                                                                                                                                                                                                                                    ローリングアップグレードの実施

                                                                                                                                                                                                                                    上記の設定ファイルでは、spec.components.enableRollingUpdatetrue に設定し、spec.components.image を任意の Milvus バージョンに設定します。

                                                                                                                                                                                                                                    デフォルトでは、Milvusはコーディネーターのローリングアップグレードを順番に実行し、コーディネーターのポッドイメージを次々に置き換えていきます。アップグレード時間を短縮するには、spec.components.imageUpdateModeall に設定し、Milvus がすべてのポッドイメージを同時に置き換えるようにします。

                                                                                                                                                                                                                                    @@ -88,7 +88,7 @@ spec: components: enableRollingUpdate: true imageUpdateMode: all - image: milvusdb/milvus:v2.4.15 + image: milvusdb/milvus:v2.4.17

                                                                                                                                                                                                                                    Milvusがコーディネータポッドイメージを低いバージョンに置き換えるようにするには、spec.components.imageUpdateModerollingDowngrade に設定します。

                                                                                                                                                                                                                                    apiVersion: milvus.io/v1beta1
                                                                                                                                                                                                                                    @@ -101,8 +101,8 @@ spec:
                                                                                                                                                                                                                                         imageUpdateMode: rollingDowngrade
                                                                                                                                                                                                                                         image: milvusdb/milvus:<some-old-version>
                                                                                                                                                                                                                                     
                                                                                                                                                                                                                                    -

                                                                                                                                                                                                                                    次に、設定をYAMLファイル(例えば、milvusupgrade.yml)として保存し、この設定ファイルを以下のようにMilvusインスタンスに適用します:

                                                                                                                                                                                                                                    -
                                                                                                                                                                                                                                    kubectl apply -f milvusupgrade.yml
                                                                                                                                                                                                                                    +

                                                                                                                                                                                                                                    次に、設定をYAMLファイル(例えば、milvusupgrade.yml)として保存し、この設定ファイルを以下のようにMilvusインスタンスにパッチします:

                                                                                                                                                                                                                                    +
                                                                                                                                                                                                                                    kubectl patch -f milvusupgrade.yml
                                                                                                                                                                                                                                     

                                                                                                                                                                                                                                    イメージを変更してMilvusをアップグレードする

                                                                                                                                                                                                                                    その後、以下を実行してアップグレードを実行します:

                                                                                                                                                                                                                                    -
                                                                                                                                                                                                                                    kubectl apply -f milvusupgrade.yaml
                                                                                                                                                                                                                                    +
                                                                                                                                                                                                                                    kubectl patch -f milvusupgrade.yaml
                                                                                                                                                                                                                                     

                                                                                                                                                                                                                                    メタデータの移行

                                                                                                                                                                                                                                    Milvus 2.2.0以降、メタデータは以前のリリースと互換性がありません。以下の例は、Milvus 2.1.4からMilvus 2.4.15へのアップグレードを想定しています。

                                                                                                                                                                                                                                    -

                                                                                                                                                                                                                                    1.メタデータ移行用ファイル.yaml の作成

                                                                                                                                                                                                                                    メタデータ移行ファイルを作成します。以下はその例です。設定ファイルには、namesourceVersiontargetVersion を指定する必要があります。以下の例では、namemy-release-upgrade に、sourceVersionv2.1.4 に、targetVersionv2.4.15 に設定しています。これは、Milvusクラスタがv2.1.4からv2.4.15にアップグレードされることを意味します。

                                                                                                                                                                                                                                    +

                                                                                                                                                                                                                                    Milvus 2.2.0以降、メタデータは以前のリリースと互換性がありません。以下の例は、Milvus 2.1.4からMilvus 2.4.17へのアップグレードを想定しています。

                                                                                                                                                                                                                                    +

                                                                                                                                                                                                                                    1.メタデータ移行用ファイル.yaml の作成

                                                                                                                                                                                                                                    メタデータ移行用ファイルを作成します。以下はその例です。設定ファイルには、namesourceVersiontargetVersion を指定する必要があります。以下の例では、namemy-release-upgrade に、sourceVersionv2.1.4 に、targetVersionv2.4.17 に設定しています。これは、Milvusクラスタがv2.1.4からv2.4.17にアップグレードされることを意味します。

                                                                                                                                                                                                                                    apiVersion: milvus.io/v1beta1
                                                                                                                                                                                                                                     kind: MilvusUpgrade
                                                                                                                                                                                                                                     metadata:
                                                                                                                                                                                                                                    @@ -159,17 +159,17 @@ spec:
                                                                                                                                                                                                                                         namespace: default
                                                                                                                                                                                                                                         name: my-release
                                                                                                                                                                                                                                       sourceVersion: "v2.1.4"
                                                                                                                                                                                                                                    -  targetVersion: "v2.4.15"
                                                                                                                                                                                                                                    +  targetVersion: "v2.4.17"
                                                                                                                                                                                                                                       # below are some omit default values:
                                                                                                                                                                                                                                    -  # targetImage: "milvusdb/milvus:v2.4.15"
                                                                                                                                                                                                                                    +  # targetImage: "milvusdb/milvus:v2.4.17"
                                                                                                                                                                                                                                       # toolImage: "milvusdb/meta-migration:v2.2.0"
                                                                                                                                                                                                                                       # operation: upgrade
                                                                                                                                                                                                                                       # rollbackIfFailed: true
                                                                                                                                                                                                                                       # backupPVC: ""
                                                                                                                                                                                                                                       # maxRetry: 3
                                                                                                                                                                                                                                     
                                                                                                                                                                                                                                    -

                                                                                                                                                                                                                                    2.新しい設定の適用

                                                                                                                                                                                                                                    以下のコマンドを実行して新しい設定を適用します。

                                                                                                                                                                                                                                    -
                                                                                                                                                                                                                                    $ kubectl apply -f https://github.com/zilliztech/milvus-operator/blob/main/config/samples/beta/milvusupgrade.yaml
                                                                                                                                                                                                                                    +

                                                                                                                                                                                                                                    2.新しい設定の適用

                                                                                                                                                                                                                                    以下のコマンドを実行して新しい設定を作成します。

                                                                                                                                                                                                                                    +
                                                                                                                                                                                                                                    $ kubectl create -f https://github.com/zilliztech/milvus-operator/blob/main/config/samples/beta/milvusupgrade.yaml
                                                                                                                                                                                                                                     

                                                                                                                                                                                                                                    3.メタデータの移行状況の確認

                                                                                                                                                                                                                                    以下のコマンドを実行して、メタデータ移行のステータスを確認します。

                                                                                                                                                                                                                                    kubectl describe milvus release-name
                                                                                                                                                                                                                                    diff --git a/localization/v2.4.x/site/ja/adminGuide/upgrade_milvus_standalone-docker.json b/localization/v2.4.x/site/ja/adminGuide/upgrade_milvus_standalone-docker.json
                                                                                                                                                                                                                                    index 1d87e787d..89a49ae9e 100644
                                                                                                                                                                                                                                    --- a/localization/v2.4.x/site/ja/adminGuide/upgrade_milvus_standalone-docker.json
                                                                                                                                                                                                                                    +++ b/localization/v2.4.x/site/ja/adminGuide/upgrade_milvus_standalone-docker.json
                                                                                                                                                                                                                                    @@ -1 +1 @@
                                                                                                                                                                                                                                    -{"codeList":["...\nstandalone:\n  container_name: milvus-standalone\n  image: milvusdb/milvus:v2.4.15\n","docker compose down\ndocker compose up -d\n","docker stop \n","# migration.yaml\ncmd:\n  # Option: run/backup/rollback\n  type: run\n  runWithBackup: true\nconfig:\n  sourceVersion: 2.1.4   # Specify your milvus version\n  targetVersion: 2.4.15\n  backupFilePath: /tmp/migration.bak\nmetastore:\n  type: etcd\netcd:\n  endpoints:\n    - milvus-etcd:2379  # Use the etcd container name\n  rootPath: by-dev # The root path where data is stored in etcd\n  metaSubPath: meta\n  kvSubPath: kv\n","# Suppose your docker-compose run with the default milvus network,\n# and you put migration.yaml in the same directory with docker-compose.yaml.\ndocker run --rm -it --network milvus -v $(pwd)/migration.yaml:/milvus/configs/migration.yaml milvusdb/meta-migration:v2.2.0 /milvus/bin/meta-migration -config=/milvus/configs/migration.yaml\n","// Run the following only after update the milvus image tag in the docker-compose.yaml\ndocker compose down\ndocker compose up -d\n"],"headingContent":"Upgrade Milvus Standalone with Docker Compose","anchorList":[{"label":"Docker Composeを使用したMilvusスタンドアロンのアップグレード","href":"Upgrade-Milvus-Standalone-with-Docker-Compose","type":1,"isActive":false},{"label":"イメージを変更してMilvusをアップグレードする","href":"Upgrade-Milvus-by-changing-its-image","type":2,"isActive":false},{"label":"メタデータの移行","href":"Migrate-the-metadata","type":2,"isActive":false},{"label":"次のステップ","href":"Whats-next","type":2,"isActive":false}]}
                                                                                                                                                                                                                                    \ No newline at end of file
                                                                                                                                                                                                                                    +{"codeList":["...\nstandalone:\n  container_name: milvus-standalone\n  image: milvusdb/milvus:v2.4.17\n","docker compose down\ndocker compose up -d\n","docker stop \n","# migration.yaml\ncmd:\n  # Option: run/backup/rollback\n  type: run\n  runWithBackup: true\nconfig:\n  sourceVersion: 2.1.4   # Specify your milvus version\n  targetVersion: 2.4.17\n  backupFilePath: /tmp/migration.bak\nmetastore:\n  type: etcd\netcd:\n  endpoints:\n    - milvus-etcd:2379  # Use the etcd container name\n  rootPath: by-dev # The root path where data is stored in etcd\n  metaSubPath: meta\n  kvSubPath: kv\n","# Suppose your docker-compose run with the default milvus network,\n# and you put migration.yaml in the same directory with docker-compose.yaml.\ndocker run --rm -it --network milvus -v $(pwd)/migration.yaml:/milvus/configs/migration.yaml milvusdb/meta-migration:v2.2.0 /milvus/bin/meta-migration -config=/milvus/configs/migration.yaml\n","// Run the following only after update the milvus image tag in the docker-compose.yaml\ndocker compose down\ndocker compose up -d\n"],"headingContent":"Upgrade Milvus Standalone with Docker Compose","anchorList":[{"label":"Docker Composeを使用したMilvusスタンドアロンのアップグレード","href":"Upgrade-Milvus-Standalone-with-Docker-Compose","type":1,"isActive":false},{"label":"イメージを変更してMilvusをアップグレードする","href":"Upgrade-Milvus-by-changing-its-image","type":2,"isActive":false},{"label":"メタデータの移行","href":"Migrate-the-metadata","type":2,"isActive":false},{"label":"次のステップ","href":"Whats-next","type":2,"isActive":false}]}
                                                                                                                                                                                                                                    \ No newline at end of file
                                                                                                                                                                                                                                    diff --git a/localization/v2.4.x/site/ja/adminGuide/upgrade_milvus_standalone-docker.md b/localization/v2.4.x/site/ja/adminGuide/upgrade_milvus_standalone-docker.md
                                                                                                                                                                                                                                    index c9135951a..e3cc27900 100644
                                                                                                                                                                                                                                    --- a/localization/v2.4.x/site/ja/adminGuide/upgrade_milvus_standalone-docker.md
                                                                                                                                                                                                                                    +++ b/localization/v2.4.x/site/ja/adminGuide/upgrade_milvus_standalone-docker.md
                                                                                                                                                                                                                                    @@ -24,7 +24,7 @@ title: Docker Composeを使用したMilvusスタンドアロンのアップグ
                                                                                                                                                                                                                                             >
                                                                                                                                                                                                                                           
                                                                                                                                                                                                                                         

                                                                                                                                                                                                                                    このトピックでは、Docker Composeを使用してMilvusをアップグレードする方法について説明します。

                                                                                                                                                                                                                                    -

                                                                                                                                                                                                                                    通常の場合、イメージを変更することでMilvusをアップグレードすることができます。ただし、v2.1.xからv2.4.15へアップグレードする場合は、事前にメタデータを移行する必要があります。

                                                                                                                                                                                                                                    +

                                                                                                                                                                                                                                    通常の場合、イメージを変更することでMilvusをアップグレードすることができます。ただし、v2.1.xからv2.4.17にアップグレードする場合は、事前にメタデータを移行する必要があります。

                                                                                                                                                                                                                                    セキュリティ上の問題から、Milvusはv2.2.5のリリースと同時にMinIOをRELEASE.2023-03-20T20-16-18Zにアップグレードしています。Docker Composeを使用してインストールされた以前のMilvus Standaloneリリースからアップグレードする前に、Single-Node Single-Drive MinIOデプロイメントを作成し、既存のMinIO設定とコンテンツを新しいデプロイメントに移行する必要があります。詳細については、このガイドを参照してください。

                                                                                                                                                                                                                                    @@ -45,11 +45,11 @@ title: Docker Composeを使用したMilvusスタンドアロンのアップグ

                                                                                                                                                                                                                                    通常の場合、Milvusは次のようにアップグレードできます:

                                                                                                                                                                                                                                      -
                                                                                                                                                                                                                                    1. docker-compose.yaml の Milvus イメージタグを変更します。

                                                                                                                                                                                                                                      +
                                                                                                                                                                                                                                    2. docker-compose.yaml の Milvus イメージ タグを変更します。

                                                                                                                                                                                                                                      ...
                                                                                                                                                                                                                                       standalone:
                                                                                                                                                                                                                                         container_name: milvus-standalone
                                                                                                                                                                                                                                      -  image: milvusdb/milvus:v2.4.15
                                                                                                                                                                                                                                      +  image: milvusdb/milvus:v2.4.17
                                                                                                                                                                                                                                       
                                                                                                                                                                                                                                    3. 以下のコマンドを実行してアップグレードを実行します。

                                                                                                                                                                                                                                      docker compose down
                                                                                                                                                                                                                                      @@ -83,7 +83,7 @@ cmd:
                                                                                                                                                                                                                                         runWithBackup: true
                                                                                                                                                                                                                                       config:
                                                                                                                                                                                                                                         sourceVersion: 2.1.4   # Specify your milvus version
                                                                                                                                                                                                                                      -  targetVersion: 2.4.15
                                                                                                                                                                                                                                      +  targetVersion: 2.4.17
                                                                                                                                                                                                                                         backupFilePath: /tmp/migration.bak
                                                                                                                                                                                                                                       metastore:
                                                                                                                                                                                                                                         type: etcd
                                                                                                                                                                                                                                      diff --git a/localization/v2.4.x/site/ja/adminGuide/upgrade_milvus_standalone-helm.json b/localization/v2.4.x/site/ja/adminGuide/upgrade_milvus_standalone-helm.json
                                                                                                                                                                                                                                      index c39bfedbb..a9e7b5257 100644
                                                                                                                                                                                                                                      --- a/localization/v2.4.x/site/ja/adminGuide/upgrade_milvus_standalone-helm.json
                                                                                                                                                                                                                                      +++ b/localization/v2.4.x/site/ja/adminGuide/upgrade_milvus_standalone-helm.json
                                                                                                                                                                                                                                      @@ -1 +1 @@
                                                                                                                                                                                                                                      -{"codeList":["$ helm repo update\n$ helm search repo zilliztech/milvus --versions\n","helm repo add zilliztech https://zilliztech.github.io/milvus-helm\nhelm repo update\n# upgrade existing helm release\nhelm upgrade my-release zilliztech/milvus\n","NAME                    CHART VERSION   APP VERSION             DESCRIPTION                                       \nzilliztech/milvus       4.1.34          2.4.5                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.33          2.4.4                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.32          2.4.3                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.31          2.4.1                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.30          2.4.1                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.29          2.4.0                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.24          2.3.11                  Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.23          2.3.10                  Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.22          2.3.10                  Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.21          2.3.10                  Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.20          2.3.10                  Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.18          2.3.10                  Milvus is an open-source vector database built ... \nzilliztech/milvus       4.1.18          2.3.9                   Milvus is an open-source vector database built ...                                       \nzilliztech/milvus       4.1.17          2.3.8                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.16          2.3.7                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.15          2.3.5                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.14          2.3.6                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.13          2.3.5                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.12          2.3.5                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.11          2.3.4                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.10          2.3.3                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.9           2.3.3                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.8           2.3.2                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.7           2.3.2                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.6           2.3.1                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.5           2.3.1                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.4           2.3.1                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.3           2.3.1                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.2           2.3.1                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.1           2.3.0                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.0           2.3.0                   Milvus is an open-source vector database built ...\n","sh rollingUpdate.sh -n default -i my-release -o update -t 2.4.15 -w 'milvusdb/milvus:v2.4.15'\n","helm repo update\nhelm upgrade my-release milvus/milvus --reuse-values --version=4.1.24 # use the helm chart version here\n","NAME                NAMESPACE   REVISION    UPDATED                                 STATUS      CHART           APP VERSION     \nmy-release          default     1           2022-11-21 15:41:25.51539 +0800 CST     deployed    milvus-3.2.18   2.1.4\n","NAME                                            READY   STATUS    RESTARTS   AGE\nmy-release-etcd-0                               1/1     Running   0          84s\nmy-release-milvus-standalone-75c599fffc-6rwlj   1/1     Running   0          84s\nmy-release-minio-744dd9586f-qngzv               1/1     Running   0          84s\n","$ kubectl get pods my-release-milvus-proxy-6c548f787f-scspp -o=jsonpath='{$.spec.containers[0].image}'\n# milvusdb/milvus:v2.1.4\n","./migrate.sh -i my-release -s 2.1.4 -t 2.4.15\n","./migrate.sh -i my-release -n milvus -s 2.1.4 -t 2.4.15\n","./migrate.sh -i my-release -n milvus -s 2.1.4 -t 2.4.15 -r by-dev\n","./migrate.sh -i my-release -n milvus -s 2.1.4 -t 2.4.15 -r by-dev -w milvusdb/milvus:v2.4.15\n","./migrate.sh -i my-release -n milvus -s 2.1.4 -t 2.4.15 -w milvusdb/milvus:v2.4.15 -d true\n","./migrate.sh -i my-release -n milvus -s 2.1.4 -t 2.4.15 -r by-dev -o rollback -w milvusdb/milvus:v2.1.1\n./migrate.sh -i my-release -n milvus -s 2.1.4 -t 2.4.15 -r by-dev -o migrate -w milvusdb/milvus:v2.4.15\n"],"headingContent":"Upgrade Milvus Standalone with Helm Chart","anchorList":[{"label":"MilvusスタンドアロンとHelmチャートのアップグレード","href":"Upgrade-Milvus-Standalone-with-Helm-Chart","type":1,"isActive":false},{"label":"Milvusバージョンの確認","href":"Check-the-Milvus-version","type":2,"isActive":false},{"label":"ローリングアップグレードの実施","href":"Conduct-a-rolling-upgrade","type":2,"isActive":false},{"label":"Helmを使用したMilvusのアップグレード","href":"Upgrade-Milvus-using-Helm","type":2,"isActive":false},{"label":"メタデータの移行","href":"Migrate-the-metadata","type":2,"isActive":false}]}
                                                                                                                                                                                                                                      \ No newline at end of file
                                                                                                                                                                                                                                      +{"codeList":["$ helm repo update\n$ helm search repo zilliztech/milvus --versions\n","helm repo add zilliztech https://zilliztech.github.io/milvus-helm\nhelm repo update zilliztech\n# upgrade existing helm release\nhelm upgrade my-release zilliztech/milvus --reset-then-reuse-values\n","NAME                    CHART VERSION   APP VERSION             DESCRIPTION                                       \nzilliztech/milvus       4.1.34          2.4.5                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.33          2.4.4                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.32          2.4.3                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.31          2.4.1                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.30          2.4.1                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.29          2.4.0                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.24          2.3.11                  Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.23          2.3.10                  Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.22          2.3.10                  Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.21          2.3.10                  Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.20          2.3.10                  Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.18          2.3.10                  Milvus is an open-source vector database built ... \nzilliztech/milvus       4.1.18          2.3.9                   Milvus is an open-source vector database built ...                                       \nzilliztech/milvus       4.1.17          2.3.8                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.16          2.3.7                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.15          2.3.5                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.14          2.3.6                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.13          2.3.5                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.12          2.3.5                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.11          2.3.4                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.10          2.3.3                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.9           2.3.3                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.8           2.3.2                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.7           2.3.2                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.6           2.3.1                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.5           2.3.1                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.4           2.3.1                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.3           2.3.1                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.2           2.3.1                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.1           2.3.0                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.0           2.3.0                   Milvus is an open-source vector database built ...\n","sh rollingUpdate.sh -n default -i my-release -o update -t 2.4.17 -w 'milvusdb/milvus:v2.4.17'\n","helm repo update\nhelm upgrade my-release milvus/milvus --reset-then-reuse-values --version=4.1.24 # use the helm chart version here\n","NAME                NAMESPACE   REVISION    UPDATED                                 STATUS      CHART           APP VERSION     \nmy-release          default     1           2022-11-21 15:41:25.51539 +0800 CST     deployed    milvus-3.2.18   2.1.4\n","NAME                                            READY   STATUS    RESTARTS   AGE\nmy-release-etcd-0                               1/1     Running   0          84s\nmy-release-milvus-standalone-75c599fffc-6rwlj   1/1     Running   0          84s\nmy-release-minio-744dd9586f-qngzv               1/1     Running   0          84s\n","$ kubectl get pods my-release-milvus-proxy-6c548f787f-scspp -o=jsonpath='{$.spec.containers[0].image}'\n# milvusdb/milvus:v2.1.4\n","./migrate.sh -i my-release -s 2.1.4 -t 2.4.17\n","./migrate.sh -i my-release -n milvus -s 2.1.4 -t 2.4.17\n","./migrate.sh -i my-release -n milvus -s 2.1.4 -t 2.4.17 -r by-dev\n","./migrate.sh -i my-release -n milvus -s 2.1.4 -t 2.4.17 -r by-dev -w milvusdb/milvus:v2.4.17\n","./migrate.sh -i my-release -n milvus -s 2.1.4 -t 2.4.17 -w milvusdb/milvus:v2.4.17 -d true\n","./migrate.sh -i my-release -n milvus -s 2.1.4 -t 2.4.17 -r by-dev -o rollback -w milvusdb/milvus:v2.1.1\n./migrate.sh -i my-release -n milvus -s 2.1.4 -t 2.4.17 -r by-dev -o migrate -w milvusdb/milvus:v2.4.17\n"],"headingContent":"Upgrade Milvus Standalone with Helm Chart","anchorList":[{"label":"MilvusスタンドアロンとHelmチャートのアップグレード","href":"Upgrade-Milvus-Standalone-with-Helm-Chart","type":1,"isActive":false},{"label":"前提条件","href":"Prerequisites","type":2,"isActive":false},{"label":"Milvusバージョンの確認","href":"Check-the-Milvus-version","type":2,"isActive":false},{"label":"ローリングアップグレードの実施","href":"Conduct-a-rolling-upgrade","type":2,"isActive":false},{"label":"Helmを使用したMilvusのアップグレード","href":"Upgrade-Milvus-using-Helm","type":2,"isActive":false},{"label":"メタデータの移行","href":"Migrate-the-metadata","type":2,"isActive":false}]}
                                                                                                                                                                                                                                      \ No newline at end of file
                                                                                                                                                                                                                                      diff --git a/localization/v2.4.x/site/ja/adminGuide/upgrade_milvus_standalone-helm.md b/localization/v2.4.x/site/ja/adminGuide/upgrade_milvus_standalone-helm.md
                                                                                                                                                                                                                                      index 20c5c35b5..ae4927cfb 100644
                                                                                                                                                                                                                                      --- a/localization/v2.4.x/site/ja/adminGuide/upgrade_milvus_standalone-helm.md
                                                                                                                                                                                                                                      +++ b/localization/v2.4.x/site/ja/adminGuide/upgrade_milvus_standalone-helm.md
                                                                                                                                                                                                                                      @@ -23,7 +23,29 @@ title: MilvusスタンドアロンとHelmチャートのアップグレード
                                                                                                                                                                                                                                                 d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
                                                                                                                                                                                                                                               >
                                                                                                                                                                                                                                             
                                                                                                                                                                                                                                      -    

                                                                                                                                                                                                                                      このガイドでは、Milvus HelmチャートでMilvusスタンドアロンをアップグレードする方法を説明します。

                                                                                                                                                                                                                                      +

                                                                                                                                                                                                                                      このガイドでは、Milvus Helmチャートを使用してMilvusスタンドアロンをアップグレードする方法について説明します。

                                                                                                                                                                                                                                      +

                                                                                                                                                                                                                                      前提条件

                                                                                                                                                                                                                                        +
                                                                                                                                                                                                                                      • Helmバージョン >= 3.14.0
                                                                                                                                                                                                                                      • +
                                                                                                                                                                                                                                      • Kubernetes バージョン >= 1.20.0
                                                                                                                                                                                                                                      • +
                                                                                                                                                                                                                                      +
                                                                                                                                                                                                                                      +

                                                                                                                                                                                                                                      Milvus-Helmチャートバージョン4.2.21以降、依存関係としてpulsar-v3.xチャートを導入しました。後方互換性のため、helmをv3.14またはそれ以降のバージョンにアップグレードし、helm upgrade を使用する際は必ず--reset-then-reuse-values オプションを追加してください。

                                                                                                                                                                                                                                      +

                                                                                                                                                                                                                                      Milvusバージョンの確認

                                                                                                                                                                                                                                      以下のコマンドを実行し、Milvusの新しいバージョンを確認します。

                                                                                                                                                                                                                                      +

                                                                                                                                                                                                                                      以下のコマンドを実行して、Milvusの新しいバージョンを確認してください。

                                                                                                                                                                                                                                      $ helm repo update
                                                                                                                                                                                                                                       $ helm search repo zilliztech/milvus --versions
                                                                                                                                                                                                                                       
                                                                                                                                                                                                                                      -

                                                                                                                                                                                                                                      https://milvus-io.github.io/milvus-helm/ にある Milvus Helm Charts のレポはアーカイブされており、https://zilliztech.github.io/milvus-helm/ から以下の手順で更なるアップデートを取得することができます:

                                                                                                                                                                                                                                      +

                                                                                                                                                                                                                                      https://zilliztech.github.io/milvus-helm/ Milvus Helm Charts リポジトリhttps://milvus-io.github.io/milvus-helm/ はアーカイブされました:

                                                                                                                                                                                                                                      helm repo add zilliztech https://zilliztech.github.io/milvus-helm
                                                                                                                                                                                                                                      -helm repo update
                                                                                                                                                                                                                                      +helm repo update zilliztech
                                                                                                                                                                                                                                       # upgrade existing helm release
                                                                                                                                                                                                                                      -helm upgrade my-release zilliztech/milvus
                                                                                                                                                                                                                                      +helm upgrade my-release zilliztech/milvus --reset-then-reuse-values
                                                                                                                                                                                                                                       

                                                                                                                                                                                                                                      アーカイブされたレポは4.0.31までのチャートで利用可能です。それ以降のリリースについては、代わりに新しいレポを使用してください。

                                                                                                                                                                                                                                      @@ -86,10 +108,10 @@ zilliztech/milvus 4.1.1 2.3.0 Milvus is an ope zilliztech/milvus 4.1.0 2.3.0 Milvus is an open-source vector database built ...

                                                                                                                                                                                                                                      Milvusのアップグレードパスは以下のように選択できます:

                                                                                                                                                                                                                                      -
                                                                                                                                                                                                                                      - Milvus v2.2.3以降からv2.4.15への[ローリングアップグレード](#conduct-a-rolling-upgrade)。
                                                                                                                                                                                                                                      +
                                                                                                                                                                                                                                      - Milvus v2.2.3以降からv2.4.17への[ローリングアップグレード](#conduct-a-rolling-upgrade)。

                                                                                                                                                                                                                                      ローリングアップグレードの実施

                                                                                                                                                                                                                                      @@ -152,7 +174,7 @@ zilliztech/milvus 4.1.0 2.3.0 Milvus is an ope

                                                                                                                                                                                                                                      Milvusをv2.2.3以前のマイナーリリースから最新のものにアップグレードするには、以下のコマンドを実行します:

                                                                                                                                                                                                                                      helm repo update
                                                                                                                                                                                                                                      -helm upgrade my-release milvus/milvus --reuse-values --version=4.1.24 # use the helm chart version here
                                                                                                                                                                                                                                      +helm upgrade my-release milvus/milvus --reset-then-reuse-values --version=4.1.24 # use the helm chart version here
                                                                                                                                                                                                                                       

                                                                                                                                                                                                                                      直前のコマンドでHelm chartのバージョンを使用してください。Helmチャートバージョンの取得方法については、「Milvusバージョンの確認」をご参照ください。

                                                                                                                                                                                                                                      メタデータの移行

                                                                                                                                                                                                                                    -

                                                                                                                                                                                                                                    2.Milvusをv2.1.xから2.4.15にアップグレードする。

                                                                                                                                                                                                                                    以下のコマンドは、Milvusをv2.1.4から2.4.15にアップグレードすることを前提としています。必要なバージョンに変更してください。

                                                                                                                                                                                                                                    +

                                                                                                                                                                                                                                    2.Milvusをv2.1.xから2.4.17にアップグレードする。

                                                                                                                                                                                                                                    以下のコマンドは、Milvusをv2.1.4から2.4.17にアップグレードすることを前提としています。必要なバージョンに変更してください。

                                                                                                                                                                                                                                    1. Milvusインスタンス名、ソースMilvusバージョン、ターゲットMilvusバージョンを指定します。

                                                                                                                                                                                                                                      -
                                                                                                                                                                                                                                      ./migrate.sh -i my-release -s 2.1.4 -t 2.4.15
                                                                                                                                                                                                                                      +
                                                                                                                                                                                                                                      ./migrate.sh -i my-release -s 2.1.4 -t 2.4.17
                                                                                                                                                                                                                                       
                                                                                                                                                                                                                                    2. MilvusがデフォルトのK8s名前空間にインストールされていない場合は、-n で名前空間を指定します。

                                                                                                                                                                                                                                      -
                                                                                                                                                                                                                                      ./migrate.sh -i my-release -n milvus -s 2.1.4 -t 2.4.15
                                                                                                                                                                                                                                      +
                                                                                                                                                                                                                                      ./migrate.sh -i my-release -n milvus -s 2.1.4 -t 2.4.17
                                                                                                                                                                                                                                       
                                                                                                                                                                                                                                    3. Milvusがカスタムrootpath でインストールされている場合は、-r でルートパスを指定してください。

                                                                                                                                                                                                                                      -
                                                                                                                                                                                                                                      ./migrate.sh -i my-release -n milvus -s 2.1.4 -t 2.4.15 -r by-dev
                                                                                                                                                                                                                                      +
                                                                                                                                                                                                                                      ./migrate.sh -i my-release -n milvus -s 2.1.4 -t 2.4.17 -r by-dev
                                                                                                                                                                                                                                       
                                                                                                                                                                                                                                    4. Milvusがカスタムimage でインストールされている場合は、-w でイメージタグを指定してください。

                                                                                                                                                                                                                                      -
                                                                                                                                                                                                                                      ./migrate.sh -i my-release -n milvus -s 2.1.4 -t 2.4.15 -r by-dev -w milvusdb/milvus:v2.4.15
                                                                                                                                                                                                                                      +
                                                                                                                                                                                                                                      ./migrate.sh -i my-release -n milvus -s 2.1.4 -t 2.4.17 -r by-dev -w milvusdb/milvus:v2.4.17
                                                                                                                                                                                                                                       
                                                                                                                                                                                                                                    5. マイグレーション完了後にマイグレーションポッドを自動的に削除する場合は、-d true を設定します。

                                                                                                                                                                                                                                      -
                                                                                                                                                                                                                                      ./migrate.sh -i my-release -n milvus -s 2.1.4 -t 2.4.15 -w milvusdb/milvus:v2.4.15 -d true
                                                                                                                                                                                                                                      +
                                                                                                                                                                                                                                      ./migrate.sh -i my-release -n milvus -s 2.1.4 -t 2.4.17 -w milvusdb/milvus:v2.4.17 -d true
                                                                                                                                                                                                                                       
                                                                                                                                                                                                                                    6. マイグレーションに失敗した場合は、ロールバックしてマイグレーションをやり直します。

                                                                                                                                                                                                                                      -
                                                                                                                                                                                                                                      ./migrate.sh -i my-release -n milvus -s 2.1.4 -t 2.4.15 -r by-dev -o rollback -w milvusdb/milvus:v2.1.1
                                                                                                                                                                                                                                      -./migrate.sh -i my-release -n milvus -s 2.1.4 -t 2.4.15 -r by-dev -o migrate -w milvusdb/milvus:v2.4.15
                                                                                                                                                                                                                                      +
                                                                                                                                                                                                                                      ./migrate.sh -i my-release -n milvus -s 2.1.4 -t 2.4.17 -r by-dev -o rollback -w milvusdb/milvus:v2.1.1
                                                                                                                                                                                                                                      +./migrate.sh -i my-release -n milvus -s 2.1.4 -t 2.4.17 -r by-dev -o migrate -w milvusdb/milvus:v2.4.17
                                                                                                                                                                                                                                       
                                                                                                                                                                                                                                    diff --git a/localization/v2.4.x/site/ja/adminGuide/upgrade_milvus_standalone-operator.json b/localization/v2.4.x/site/ja/adminGuide/upgrade_milvus_standalone-operator.json index a2f1a1598..bf79c0c12 100644 --- a/localization/v2.4.x/site/ja/adminGuide/upgrade_milvus_standalone-operator.json +++ b/localization/v2.4.x/site/ja/adminGuide/upgrade_milvus_standalone-operator.json @@ -1 +1 @@ -{"codeList":["helm repo add zilliztech-milvus-operator https://zilliztech.github.io/milvus-operator/\nhelm repo update zilliztech-milvus-operator\nhelm -n milvus-operator upgrade milvus-operator zilliztech-milvus-operator/milvus-operator\n","apiVersion: milvus.io/v1beta1\nkind: Milvus\nmetadata:\n name: my-release\nspec:\n components:\n enableRollingUpdate: true\n imageUpdateMode: rollingUpgrade # Default value, can be omitted\n image: milvusdb/milvus:v2.4.15\n","apiVersion: milvus.io/v1beta1\nkind: Milvus\nmetadata:\n name: my-release\nspec:\n components:\n enableRollingUpdate: true\n imageUpdateMode: all\n image: milvusdb/milvus:v2.4.15\n","apiVersion: milvus.io/v1beta1\nkind: Milvus\nmetadata:\n name: my-release\nspec:\n components:\n enableRollingUpdate: true\n imageUpdateMode: rollingDowngrade\n image: milvusdb/milvus:\n","kubectl apply -f milvusupgrade.yml\n","apiVersion: milvus.io/v1beta1\nkind: Milvus\nmetadata:\n name: my-release\nlabels:\n app: milvus\nspec:\n # Omit other fields ...\n components:\n image: milvusdb/milvus:v2.4.15\n","kubectl apply -f milvusupgrade.yaml\n","apiVersion: milvus.io/v1beta1\nkind: MilvusUpgrade\nmetadata:\n name: my-release-upgrade\nspec:\n milvus:\n namespace: default\n name: my-release\n sourceVersion: \"v2.1.4\"\n targetVersion: \"v2.4.15\"\n # below are some omit default values:\n # targetImage: \"milvusdb/milvus:v2.4.15\"\n # toolImage: \"milvusdb/meta-migration:v2.2.0\"\n # operation: upgrade\n # rollbackIfFailed: true\n # backupPVC: \"\"\n # maxRetry: 3\n","$ kubectl apply -f https://raw.githubusercontent.com/zilliztech/milvus-operator/main/config/samples/milvusupgrade.yaml\n","kubectl describe milvus release-name\n"],"headingContent":"Upgrade Milvus Standalone with Milvus Operator","anchorList":[{"label":"Milvus OperatorによるMilvusスタンドアロンのアップグレード","href":"Upgrade-Milvus-Standalone-with-Milvus-Operator","type":1,"isActive":false},{"label":"Milvusオペレータのアップグレード","href":"Upgrade-your-Milvus-operator","type":2,"isActive":false},{"label":"ローリングアップグレードの実施","href":"Conduct-a-rolling-upgrade","type":2,"isActive":false},{"label":"イメージを変更してMilvusをアップグレードする","href":"Upgrade-Milvus-by-changing-its-image","type":2,"isActive":false},{"label":"メタデータの移行","href":"Migrate-the-metadata","type":2,"isActive":false}]} \ No newline at end of file +{"codeList":["helm repo add zilliztech-milvus-operator https://zilliztech.github.io/milvus-operator/\nhelm repo update zilliztech-milvus-operator\nhelm -n milvus-operator upgrade milvus-operator zilliztech-milvus-operator/milvus-operator\n","apiVersion: milvus.io/v1beta1\nkind: Milvus\nmetadata:\n name: my-release\nspec:\n components:\n enableRollingUpdate: true\n imageUpdateMode: rollingUpgrade # Default value, can be omitted\n image: milvusdb/milvus:v2.4.17\n","apiVersion: milvus.io/v1beta1\nkind: Milvus\nmetadata:\n name: my-release\nspec:\n components:\n enableRollingUpdate: true\n imageUpdateMode: all\n image: milvusdb/milvus:v2.4.17\n","apiVersion: milvus.io/v1beta1\nkind: Milvus\nmetadata:\n name: my-release\nspec:\n components:\n enableRollingUpdate: true\n imageUpdateMode: rollingDowngrade\n image: milvusdb/milvus:\n","kubectl patch -f milvusupgrade.yml\n","apiVersion: milvus.io/v1beta1\nkind: Milvus\nmetadata:\n name: my-release\nlabels:\n app: milvus\nspec:\n # Omit other fields ...\n components:\n image: milvusdb/milvus:v2.4.17\n","kubectl patch -f milvusupgrade.yaml\n","apiVersion: milvus.io/v1beta1\nkind: MilvusUpgrade\nmetadata:\n name: my-release-upgrade\nspec:\n milvus:\n namespace: default\n name: my-release\n sourceVersion: \"v2.1.4\"\n targetVersion: \"v2.4.17\"\n # below are some omit default values:\n # targetImage: \"milvusdb/milvus:v2.4.17\"\n # toolImage: \"milvusdb/meta-migration:v2.2.0\"\n # operation: upgrade\n # rollbackIfFailed: true\n # backupPVC: \"\"\n # maxRetry: 3\n","$ kubectl create -f https://raw.githubusercontent.com/zilliztech/milvus-operator/main/config/samples/milvusupgrade.yaml\n","kubectl describe milvus release-name\n"],"headingContent":"Upgrade Milvus Standalone with Milvus Operator","anchorList":[{"label":"Milvus OperatorによるMilvusスタンドアロンのアップグレード","href":"Upgrade-Milvus-Standalone-with-Milvus-Operator","type":1,"isActive":false},{"label":"Milvusオペレータのアップグレード","href":"Upgrade-your-Milvus-operator","type":2,"isActive":false},{"label":"ローリングアップグレードの実施","href":"Conduct-a-rolling-upgrade","type":2,"isActive":false},{"label":"イメージを変更してMilvusをアップグレードする","href":"Upgrade-Milvus-by-changing-its-image","type":2,"isActive":false},{"label":"メタデータの移行","href":"Migrate-the-metadata","type":2,"isActive":false}]} \ No newline at end of file diff --git a/localization/v2.4.x/site/ja/adminGuide/upgrade_milvus_standalone-operator.md b/localization/v2.4.x/site/ja/adminGuide/upgrade_milvus_standalone-operator.md index dc8edb90b..b4b1d698b 100644 --- a/localization/v2.4.x/site/ja/adminGuide/upgrade_milvus_standalone-operator.md +++ b/localization/v2.4.x/site/ja/adminGuide/upgrade_milvus_standalone-operator.md @@ -46,9 +46,9 @@ helm -n milvus-operator upgrade milvus-

                                                                                                                                                                                                                                    Milvusオペレータを最新バージョンにアップグレードすると、以下の選択肢があります:

                                                                                                                                                                                                                                    ローリングアップグレードの実施

                                                                                                                                                                                                                                    -

                                                                                                                                                                                                                                    上記の設定ファイルでは、spec.components.enableRollingUpdatetrue に設定し、spec.components.image を希望の Milvus バージョンに設定します。

                                                                                                                                                                                                                                    +

                                                                                                                                                                                                                                    上記の設定ファイルでは、spec.components.enableRollingUpdatetrue に設定し、spec.components.image を任意の Milvus バージョンに設定します。

                                                                                                                                                                                                                                    デフォルトでは、Milvusはコーディネーターのローリングアップグレードを順番に実行し、コーディネーターのポッドイメージを次々に置き換えていきます。アップグレード時間を短縮するには、spec.components.imageUpdateModeall に設定し、Milvus がすべてのポッドイメージを同時に置き換えるようにします。

                                                                                                                                                                                                                                    apiVersion: milvus.io/v1beta1
                                                                                                                                                                                                                                     kind: Milvus
                                                                                                                                                                                                                                    @@ -88,7 +88,7 @@ spec:
                                                                                                                                                                                                                                       components:
                                                                                                                                                                                                                                         enableRollingUpdate: true
                                                                                                                                                                                                                                         imageUpdateMode: all
                                                                                                                                                                                                                                    -    image: milvusdb/milvus:v2.4.15
                                                                                                                                                                                                                                    +    image: milvusdb/milvus:v2.4.17
                                                                                                                                                                                                                                     

                                                                                                                                                                                                                                    Milvusがコーディネータポッドイメージを低いバージョンに置き換えるようにするには、spec.components.imageUpdateModerollingDowngrade に設定します。

                                                                                                                                                                                                                                    apiVersion: milvus.io/v1beta1
                                                                                                                                                                                                                                    @@ -101,8 +101,8 @@ spec:
                                                                                                                                                                                                                                         imageUpdateMode: rollingDowngrade
                                                                                                                                                                                                                                         image: milvusdb/milvus:<some-older-version>
                                                                                                                                                                                                                                     
                                                                                                                                                                                                                                    -

                                                                                                                                                                                                                                    次に、設定をYAMLファイル(例えば、milvusupgrade.yml)として保存し、この設定ファイルを以下のようにMilvusインスタンスに適用します:

                                                                                                                                                                                                                                    -
                                                                                                                                                                                                                                    kubectl apply -f milvusupgrade.yml
                                                                                                                                                                                                                                    +

                                                                                                                                                                                                                                    次に、設定をYAMLファイル(例えば、milvusupgrade.yml)として保存し、この設定ファイルを以下のようにMilvusインスタンスにパッチします:

                                                                                                                                                                                                                                    +
                                                                                                                                                                                                                                    kubectl patch -f milvusupgrade.yml
                                                                                                                                                                                                                                     

                                                                                                                                                                                                                                    イメージを変更してMilvusをアップグレードする

                                                                                                                                                                                                                                    その後、以下を実行してアップグレードを実行します:

                                                                                                                                                                                                                                    -
                                                                                                                                                                                                                                    kubectl apply -f milvusupgrade.yaml
                                                                                                                                                                                                                                    +
                                                                                                                                                                                                                                    kubectl patch -f milvusupgrade.yaml
                                                                                                                                                                                                                                     

                                                                                                                                                                                                                                    メタデータの移行

                                                                                                                                                                                                                                    Milvus 2.2.0以降、メタデータは以前のリリースと互換性がありません。以下の例は、Milvus 2.1.4からMilvus v2.4.15へのアップグレードを想定しています。

                                                                                                                                                                                                                                    -

                                                                                                                                                                                                                                    1.メタデータ移行用ファイル.yaml の作成

                                                                                                                                                                                                                                    メタデータ移行用ファイルを作成します。以下はその例です。設定ファイルにはname,sourceVersion,targetVersion を指定する必要があります。以下の例では、namemy-release-upgrade に、sourceVersionv2.1.4 に、targetVersionv2.4.15 に設定しています。 これは、Milvusインスタンスがv2.1.4からv2.4.15にアップグレードされることを意味します。

                                                                                                                                                                                                                                    +

                                                                                                                                                                                                                                    Milvus 2.2.0以降、メタデータは以前のリリースと互換性がありません。以下の例は、Milvus 2.1.4からMilvus v2.4.17へのアップグレードを想定しています。

                                                                                                                                                                                                                                    +

                                                                                                                                                                                                                                    1.メタデータ移行用ファイル.yaml の作成

                                                                                                                                                                                                                                    メタデータ移行用ファイルを作成します。以下はその例です。設定ファイルにはname,sourceVersion,targetVersion を指定する必要があります。以下の例では、namemy-release-upgrade に、sourceVersionv2.1.4 に、targetVersionv2.4.17 に設定しています。 これは、Milvusインスタンスがv2.1.4からv2.4.17にアップグレードされることを意味します。

                                                                                                                                                                                                                                    apiVersion: milvus.io/v1beta1
                                                                                                                                                                                                                                     kind: MilvusUpgrade
                                                                                                                                                                                                                                     metadata:
                                                                                                                                                                                                                                    @@ -161,9 +161,9 @@ spec:
                                                                                                                                                                                                                                         namespace: default
                                                                                                                                                                                                                                         name: my-release
                                                                                                                                                                                                                                       sourceVersion: "v2.1.4"
                                                                                                                                                                                                                                    -  targetVersion: "v2.4.15"
                                                                                                                                                                                                                                    +  targetVersion: "v2.4.17"
                                                                                                                                                                                                                                       # below are some omit default values:
                                                                                                                                                                                                                                    -  # targetImage: "milvusdb/milvus:v2.4.15"
                                                                                                                                                                                                                                    +  # targetImage: "milvusdb/milvus:v2.4.17"
                                                                                                                                                                                                                                       # toolImage: "milvusdb/meta-migration:v2.2.0"
                                                                                                                                                                                                                                       # operation: upgrade
                                                                                                                                                                                                                                       # rollbackIfFailed: true
                                                                                                                                                                                                                                    @@ -171,7 +171,7 @@ spec:
                                                                                                                                                                                                                                       # maxRetry: 3
                                                                                                                                                                                                                                     

                                                                                                                                                                                                                                    2.新しい設定の適用

                                                                                                                                                                                                                                    以下のコマンドを実行し、新しい設定を適用します。

                                                                                                                                                                                                                                    -
                                                                                                                                                                                                                                    $ kubectl apply -f https://raw.githubusercontent.com/zilliztech/milvus-operator/main/config/samples/milvusupgrade.yaml
                                                                                                                                                                                                                                    +
                                                                                                                                                                                                                                    $ kubectl create -f https://raw.githubusercontent.com/zilliztech/milvus-operator/main/config/samples/milvusupgrade.yaml
                                                                                                                                                                                                                                     

                                                                                                                                                                                                                                    3.メタデータの移行状況の確認

                                                                                                                                                                                                                                    以下のコマンドを実行して、メタデータ移行のステータスを確認します。

                                                                                                                                                                                                                                    kubectl describe milvus release-name
                                                                                                                                                                                                                                    diff --git a/localization/v2.4.x/site/ja/getstarted/run-milvus-docker/install_standalone-docker-compose.json b/localization/v2.4.x/site/ja/getstarted/run-milvus-docker/install_standalone-docker-compose.json
                                                                                                                                                                                                                                    index da1566ab2..c6ecff98c 100644
                                                                                                                                                                                                                                    --- a/localization/v2.4.x/site/ja/getstarted/run-milvus-docker/install_standalone-docker-compose.json
                                                                                                                                                                                                                                    +++ b/localization/v2.4.x/site/ja/getstarted/run-milvus-docker/install_standalone-docker-compose.json
                                                                                                                                                                                                                                    @@ -1 +1 @@
                                                                                                                                                                                                                                    -{"codeList":["# Download the configuration file\n$ wget https://github.com/milvus-io/milvus/releases/download/v2.4.15/milvus-standalone-docker-compose.yml -O docker-compose.yml\n\n# Start Milvus\n$ sudo docker-compose up -d\n\nCreating milvus-etcd  ... done\nCreating milvus-minio ... done\nCreating milvus-standalone ... done\n","$ sudo docker-compose ps\n\n      Name                     Command                  State                            Ports\n--------------------------------------------------------------------------------------------------------------------\nmilvus-etcd         etcd -advertise-client-url ...   Up             2379/tcp, 2380/tcp\nmilvus-minio        /usr/bin/docker-entrypoint ...   Up (healthy)   9000/tcp\nmilvus-standalone   /tini -- milvus run standalone   Up             0.0.0.0:19530->19530/tcp, 0.0.0.0:9091->9091/tcp\n","# Stop Milvus\n$ sudo docker-compose down\n\n# Delete service data\n$ sudo rm -rf volumes\n"],"headingContent":"Run Milvus with Docker Compose","anchorList":[{"label":"Docker ComposeでMilvusを起動する","href":"Run-Milvus-with-Docker-Compose","type":1,"isActive":false},{"label":"前提条件","href":"Prerequisites","type":2,"isActive":false},{"label":"Milvusのインストール","href":"Install-Milvus","type":2,"isActive":false},{"label":"次のステップ","href":"Whats-next","type":2,"isActive":false}]}
                                                                                                                                                                                                                                    \ No newline at end of file
                                                                                                                                                                                                                                    +{"codeList":["# Download the configuration file\n$ wget https://github.com/milvus-io/milvus/releases/download/v2.4.17/milvus-standalone-docker-compose.yml -O docker-compose.yml\n\n# Start Milvus\n$ sudo docker-compose up -d\n\nCreating milvus-etcd  ... done\nCreating milvus-minio ... done\nCreating milvus-standalone ... done\n","$ sudo docker-compose ps\n\n      Name                     Command                  State                            Ports\n--------------------------------------------------------------------------------------------------------------------\nmilvus-etcd         etcd -advertise-client-url ...   Up             2379/tcp, 2380/tcp\nmilvus-minio        /usr/bin/docker-entrypoint ...   Up (healthy)   9000/tcp\nmilvus-standalone   /tini -- milvus run standalone   Up             0.0.0.0:19530->19530/tcp, 0.0.0.0:9091->9091/tcp\n","# Stop Milvus\n$ sudo docker-compose down\n\n# Delete service data\n$ sudo rm -rf volumes\n"],"headingContent":"Run Milvus with Docker Compose","anchorList":[{"label":"Docker ComposeでMilvusを起動する","href":"Run-Milvus-with-Docker-Compose","type":1,"isActive":false},{"label":"前提条件","href":"Prerequisites","type":2,"isActive":false},{"label":"Milvusのインストール","href":"Install-Milvus","type":2,"isActive":false},{"label":"次のステップ","href":"Whats-next","type":2,"isActive":false}]}
                                                                                                                                                                                                                                    \ No newline at end of file
                                                                                                                                                                                                                                    diff --git a/localization/v2.4.x/site/ja/getstarted/run-milvus-docker/install_standalone-docker-compose.md b/localization/v2.4.x/site/ja/getstarted/run-milvus-docker/install_standalone-docker-compose.md
                                                                                                                                                                                                                                    index 5cb4c5d93..c3c2830fc 100644
                                                                                                                                                                                                                                    --- a/localization/v2.4.x/site/ja/getstarted/run-milvus-docker/install_standalone-docker-compose.md
                                                                                                                                                                                                                                    +++ b/localization/v2.4.x/site/ja/getstarted/run-milvus-docker/install_standalone-docker-compose.md
                                                                                                                                                                                                                                    @@ -57,7 +57,7 @@ title: Docker ComposeでMilvusを起動する
                                                                                                                                                                                                                                           
                                                                                                                                                                                                                                         

                                                                                                                                                                                                                                    MilvusはDocker Composeの設定ファイルをMilvusリポジトリに用意しています。Docker Composeを使用してMilvusをインストールするには、以下のコマンドを実行してください。

                                                                                                                                                                                                                                    # Download the configuration file
                                                                                                                                                                                                                                    -$ wget https://github.com/milvus-io/milvus/releases/download/v2.4.15/milvus-standalone-docker-compose.yml -O docker-compose.yml
                                                                                                                                                                                                                                    +$ wget https://github.com/milvus-io/milvus/releases/download/v2.4.17/milvus-standalone-docker-compose.yml -O docker-compose.yml
                                                                                                                                                                                                                                     
                                                                                                                                                                                                                                     # Start Milvus
                                                                                                                                                                                                                                     $ sudo docker-compose up -d
                                                                                                                                                                                                                                    @@ -76,7 +76,7 @@ Creating milvus-standalone ... done
                                                                                                                                                                                                                                     
                                                                                                                                                                                                                                    • milvus-standalonemilvus-miniomilvus-etcdという名前のコンテナが立ち上がっています。
                                                                                                                                                                                                                                      • milvus-etcdコンテナはホストにポートを公開せず、カレントフォルダ内のvolumes/etcdにデータをマッピングする。
                                                                                                                                                                                                                                      • -
                                                                                                                                                                                                                                      • milvus-minioコンテナは、デフォルトの認証情報を使用してポート9090および9091をローカルに提供し、そのデータをカレントフォルダ内のvolumes/minioにマップする。
                                                                                                                                                                                                                                      • +
                                                                                                                                                                                                                                      • milvus-minioコンテナは、デフォルトの認証情報を使用してポート9090および9091をローカルに提供し、そのデータを現在のフォルダ内のvolumes/minioにマップする。
                                                                                                                                                                                                                                      • milvus-standaloneコンテナは、デフォルト設定でローカルにポート19530を提供し、そのデータを現在のフォルダ内のvolumes/milvusにマップする。
                                                                                                                                                                                                                                    diff --git a/localization/v2.4.x/site/ja/getstarted/run-milvus-gpu/install_standalone-docker-compose-gpu.json b/localization/v2.4.x/site/ja/getstarted/run-milvus-gpu/install_standalone-docker-compose-gpu.json index 9007196cb..053db8fab 100644 --- a/localization/v2.4.x/site/ja/getstarted/run-milvus-gpu/install_standalone-docker-compose-gpu.json +++ b/localization/v2.4.x/site/ja/getstarted/run-milvus-gpu/install_standalone-docker-compose-gpu.json @@ -1 +1 @@ -{"codeList":["$ wget https://github.com/milvus-io/milvus/releases/download/v2.4.15/milvus-standalone-docker-compose-gpu.yml -O docker-compose.yml\n","...\nstandalone:\n ...\n deploy:\n resources:\n reservations:\n devices:\n - driver: nvidia\n capabilities: [\"gpu\"]\n device_ids: [\"0\"]\n...\n","...\nstandalone:\n ...\n deploy:\n resources:\n reservations:\n devices:\n - driver: nvidia\n capabilities: [\"gpu\"]\n device_ids: ['0', '1']\n...\n","$ sudo docker compose up -d\n\nCreating milvus-etcd ... done\nCreating milvus-minio ... done\nCreating milvus-standalone ... done\n","$ sudo docker compose ps\n\n Name Command State Ports\n--------------------------------------------------------------------------------------------------------------------\nmilvus-etcd etcd -advertise-client-url ... Up 2379/tcp, 2380/tcp\nmilvus-minio /usr/bin/docker-entrypoint ... Up (healthy) 9000/tcp\nmilvus-standalone /tini -- milvus run standalone Up 0.0.0.0:19530->19530/tcp, 0.0.0.0:9091->9091/tcp\n","$ CUDA_VISIBLE_DEVICES=0 ./milvus run standalone\n","$ CUDA_VISIBLE_DEVICES=0,1 ./milvus run standalone\n","# Stop Milvus\n$ sudo docker compose down\n\n# Delete service data\n$ sudo rm -rf volumes\n","docker cp :/milvus/configs/milvus.yaml milvus.yaml\n","vim milvus.yaml\n","...\ngpu:\n initMemSize: 0\n maxMemSize: 0\n...\n","docker cp milvus.yaml :/milvus/configs/milvus.yaml\n","docker stop \ndocker start \n"],"headingContent":"Run Milvus with GPU Support Using Docker Compose","anchorList":[{"label":"Docker Composeを使用したGPUサポート付きMilvusの実行","href":"Run-Milvus-with-GPU-Support-Using-Docker-Compose","type":1,"isActive":false},{"label":"前提条件","href":"Prerequisites","type":2,"isActive":false},{"label":"Milvusのインストール","href":"Install-Milvus","type":2,"isActive":false},{"label":"メモリプールの設定","href":"Configure-memory-pool","type":2,"isActive":false},{"label":"次の作業","href":"Whats-next","type":2,"isActive":false}]} \ No newline at end of file +{"codeList":["$ wget https://github.com/milvus-io/milvus/releases/download/v2.4.17/milvus-standalone-docker-compose-gpu.yml -O docker-compose.yml\n","...\nstandalone:\n ...\n deploy:\n resources:\n reservations:\n devices:\n - driver: nvidia\n capabilities: [\"gpu\"]\n device_ids: [\"0\"]\n...\n","...\nstandalone:\n ...\n deploy:\n resources:\n reservations:\n devices:\n - driver: nvidia\n capabilities: [\"gpu\"]\n device_ids: ['0', '1']\n...\n","$ sudo docker compose up -d\n\nCreating milvus-etcd ... done\nCreating milvus-minio ... done\nCreating milvus-standalone ... done\n","$ sudo docker compose ps\n\n Name Command State Ports\n--------------------------------------------------------------------------------------------------------------------\nmilvus-etcd etcd -advertise-client-url ... Up 2379/tcp, 2380/tcp\nmilvus-minio /usr/bin/docker-entrypoint ... Up (healthy) 9000/tcp\nmilvus-standalone /tini -- milvus run standalone Up 0.0.0.0:19530->19530/tcp, 0.0.0.0:9091->9091/tcp\n","$ CUDA_VISIBLE_DEVICES=0 ./milvus run standalone\n","$ CUDA_VISIBLE_DEVICES=0,1 ./milvus run standalone\n","# Stop Milvus\n$ sudo docker compose down\n\n# Delete service data\n$ sudo rm -rf volumes\n","docker cp :/milvus/configs/milvus.yaml milvus.yaml\n","vim milvus.yaml\n","...\ngpu:\n initMemSize: 0\n maxMemSize: 0\n...\n","docker cp milvus.yaml :/milvus/configs/milvus.yaml\n","docker stop \ndocker start \n"],"headingContent":"Run Milvus with GPU Support Using Docker Compose","anchorList":[{"label":"Docker Composeを使用したGPUサポート付きMilvusの実行","href":"Run-Milvus-with-GPU-Support-Using-Docker-Compose","type":1,"isActive":false},{"label":"前提条件","href":"Prerequisites","type":2,"isActive":false},{"label":"Milvusのインストール","href":"Install-Milvus","type":2,"isActive":false},{"label":"メモリプールの設定","href":"Configure-memory-pool","type":2,"isActive":false},{"label":"次の作業","href":"Whats-next","type":2,"isActive":false}]} \ No newline at end of file diff --git a/localization/v2.4.x/site/ja/getstarted/run-milvus-gpu/install_standalone-docker-compose-gpu.md b/localization/v2.4.x/site/ja/getstarted/run-milvus-gpu/install_standalone-docker-compose-gpu.md index 6a7caae85..c09578ef0 100644 --- a/localization/v2.4.x/site/ja/getstarted/run-milvus-gpu/install_standalone-docker-compose-gpu.md +++ b/localization/v2.4.x/site/ja/getstarted/run-milvus-gpu/install_standalone-docker-compose-gpu.md @@ -59,8 +59,8 @@ title: Docker Composeを使用したGPUサポート付きMilvusの実行 >

                                                                                                                                                                                                                                    Docker Composeを使用してGPUをサポートしたMilvusをインストールするには、以下の手順に従ってください。

                                                                                                                                                                                                                                    -

                                                                                                                                                                                                                                    1.YAMLファイルのダウンロードと設定

                                                                                                                                                                                                                                    ダウンロード milvus-standalone-docker-compose-gpu.ymlをダウンロードし、docker-compose.ymlとして手動または以下のコマンドで保存します。

                                                                                                                                                                                                                                    -
                                                                                                                                                                                                                                    $ wget https://github.com/milvus-io/milvus/releases/download/v2.4.15/milvus-standalone-docker-compose-gpu.yml -O docker-compose.yml
                                                                                                                                                                                                                                    +

                                                                                                                                                                                                                                    1.YAMLファイルのダウンロードと設定

                                                                                                                                                                                                                                    ダウンロード milvus-standalone-docker-compose-gpu.ymlをダウンロードし、docker-compose.ymlとして手動または以下のコマンドで保存します。

                                                                                                                                                                                                                                    +
                                                                                                                                                                                                                                    $ wget https://github.com/milvus-io/milvus/releases/download/v2.4.17/milvus-standalone-docker-compose-gpu.yml -O docker-compose.yml
                                                                                                                                                                                                                                     

                                                                                                                                                                                                                                    YAMLファイル内のスタンドアロンサービスの環境変数に、以下のように変更を加える必要があります:

                                                                                                                                                                                                                                    -
                                                                                                                                                                                                                                  • MilvusのデータバックアップのためのオープンソースツールであるMilvus Backupをご紹介します。

                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                  • MilvusのデータバックアップのためのオープンソースツールであるMilvus Backupを紹介します。

                                                                                                                                                                                                                                  • Milvusのデバッグとダイナミックコンフィギュレーションアップデートのためのオープンソースツール、Birdwatcherのご紹介。

                                                                                                                                                                                                                                  • Milvusを直感的に管理するオープンソースのGUIツールAttuをご覧ください。

                                                                                                                                                                                                                                  • PrometheusでMilvusを監視する

                                                                                                                                                                                                                                  • diff --git a/localization/v2.4.x/site/ja/menuStructure/ja.json b/localization/v2.4.x/site/ja/menuStructure/ja.json index bb2cd41ed..45edb258c 100644 --- a/localization/v2.4.x/site/ja/menuStructure/ja.json +++ b/localization/v2.4.x/site/ja/menuStructure/ja.json @@ -305,7 +305,7 @@ "children": [] }, { - "label": "インメモリ・レプリカ", + "label": "インメモリーレプリカ", "id": "replica.md", "order": 11, "children": [] @@ -1721,7 +1721,7 @@ ] }, { - "label": "よくあるご質問", + "label": "よくある質問", "id": "faq", "isMenu": true, "order": 9, diff --git a/localization/v2.4.x/site/ja/reference/index.md b/localization/v2.4.x/site/ja/reference/index.md index 0b77f915a..c2afede12 100644 --- a/localization/v2.4.x/site/ja/reference/index.md +++ b/localization/v2.4.x/site/ja/reference/index.md @@ -56,15 +56,15 @@ title: インメモリインデックス d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z" > -

                                                                                                                                                                                                                                    Milvusは様々なタイプのインデックスをサポートしており、それらは扱うエンベッディングのタイプによって、浮動小数点型バイナリ型スパース型に分類されます。

                                                                                                                                                                                                                                    +

                                                                                                                                                                                                                                    Milvusは様々なインデックスタイプをサポートしており、それらは扱うベクトル埋め込みタイプによって分類されます:浮動小数点埋め込み(浮動小数点ベクトルまたは密ベクトルとも呼ばれる)、バイナリ埋め込み(バイナリベクトルとも呼ばれる)、スパース埋め込み(スパースベクトルとも呼ばれる)。

                                                                                                                                                                                                                                    -

                                                                                                                                                                                                                                    浮動小数点埋め込み用のインデックス

                                                                                                                                                                                                                                    128次元の浮動小数点埋め込みは、128 * float = 512バイトのストレージを占有します。また、浮動小数点埋め込みに用いられる距離指標は、ユークリッド距離(L2)と内積(IP)です。

                                                                                                                                                                                                                                    +

                                                                                                                                                                                                                                    浮動小数点埋込みのインデックス

                                                                                                                                                                                                                                    128次元の浮動小数点埋め込み(ベクトル)の場合、浮動小数点埋め込みが占有するストレージは128 * floatのサイズ = 512バイトです。また、浮動小数点埋め込みに使われる距離指標は、ユークリッド距離 (L2) と内積 (IP) です。

                                                                                                                                                                                                                                    これらのタイプのインデックスには、CPUベースのANN検索用にFLAT,IVF_FLAT,IVF_PQ,IVF_SQ8,HNSW,SCANN がある。

                                                                                                                                                                                                                                    -

                                                                                                                                                                                                                                    バイナリ埋め込み用インデックス

                                                                                                                                                                                                                                    128次元のバイナリ埋め込みでは、128 / 8 = 16バイトのストレージを占有する。そして、バイナリ埋め込みに使われる距離メトリックはJACCARDHAMMING です。

                                                                                                                                                                                                                                    +

                                                                                                                                                                                                                                    バイナリ埋め込み用インデックス

                                                                                                                                                                                                                                    128次元のバイナリ埋め込みでは、128 / 8 = 16バイトのストレージを占有する。そして、バイナリ埋め込みに使われる距離メトリックスはJACCARDHAMMING です。

                                                                                                                                                                                                                                    このタイプのインデックスには、BIN_FLATBIN_IVF_FLAT がある。

                                                                                                                                                                                                                                    @@ -209,7 +209,7 @@ title: インメモリインデックス
                                                                                                                                                                                                                                    -

                                                                                                                                                                                                                                    フラット

                                                                                                                                                                                                                                    完璧な精度が要求され、比較的小さな(百万規模の)データセットに依存する ベクトル類似検索アプリケーションには、FLATインデックスが良い選択である。FLATはベクトルを圧縮せず、正確な検索結果を保証できる唯一のインデックスである。FLATの結果は、再現率が100%に満たない他のインデックスが生成した結果の比較対象としても使用できる。

                                                                                                                                                                                                                                    +

                                                                                                                                                                                                                                    フラット

                                                                                                                                                                                                                                    完璧な精度が要求され、比較的小さな(百万規模の)データセットに依存するベクトル類似検索アプリケーションには、FLATインデックスが良い選択である。FLATはベクトルを圧縮せず、正確な検索結果を保証できる唯一のインデックスである。FLATの結果は、再現率が100%に満たない他のインデックスが生成した結果の比較対象としても使用できる。

                                                                                                                                                                                                                                    FLATが正確なのは、検索に網羅的なアプローチをとるからである。つまり、クエリごとに、ターゲット入力がデータセット内のすべてのベクトル集合と比較される。このため、FLATは我々のリストの中で最も遅いインデックスであり、膨大なベクトルデータのクエリには適していない。MilvusではFLATインデックスに必要なパラメータはなく、これを使用することでデータ学習も不要である。

                                                                                                                                                                                                                                    • 検索パラメータ

                                                                                                                                                                                                                                      @@ -225,7 +225,7 @@ title: インメモリインデックス

                                                                                                                                                                                                                                    IVF_FLAT

                                                                                                                                                                                                                                    IVF_FLAT はベクトルデータをnlist クラスタ単位に分割し、ターゲット入力ベクトルと各クラスタの中心との距離を比較します。システムがクエリに設定したクラスタ数 (nprobe) に応じて、ターゲット入力と最も類似したクラスタ内のベクトルとの比較のみに基づいて類似性検索結果が返され、クエリ時間が大幅に短縮されます。

                                                                                                                                                                                                                                    nprobe を調整することで、シナリオに応じた精度と速度の理想的なバランスを見つけることができる。IVF_FLATの性能テストの結果は、ターゲット入力ベクトルの数(nq)と検索するクラスタの数(nprobe)の両方が増加すると、クエリ時間が急激に増加することを示しています。

                                                                                                                                                                                                                                    -

                                                                                                                                                                                                                                    IVF_FLATは最も基本的なIVFインデックスであり、各ユニットに格納される符号化データは元データと一致している。

                                                                                                                                                                                                                                    +

                                                                                                                                                                                                                                    IVF_FLATは最も基本的なIVFインデックスであり、各ユニットに格納される符号化データは元データと一致する。

                                                                                                                                                                                                                                    • インデックス構築パラメータ

                                                                                                                                                                                                                                      @@ -262,7 +262,7 @@ title: インメモリインデックス

                                                                                                                                                                                                                                      IVF_SQ8

                                                                                                                                                                                                                                      IVF_FLATは圧縮を行わないため、生成されるインデックスファイルのサイズは、インデックス付けされていない元の生のベクトルデータとほぼ同じです。例えば、元の 1B SIFT データセットが 476 GB の場合、IVF_FLAT のインデックスファイルは若干小さくなります(~470 GB)。すべてのインデックスファイルをメモリにロードすると、470GBのストレージを消費します。

                                                                                                                                                                                                                                      -

                                                                                                                                                                                                                                      ディスク、CPU、GPU のメモリリソースが限られている場合は、IVF_FLAT よりも IVF_SQ8 の方が適しています。このインデックスタイプは、スカラー量子化(SQ)を実行することで、各 FLOAT(4バイト)を UINT8(1バイト)に変換することができます。これにより、ディスク、CPU、GPUのメモリ消費量が70~75%削減される。1B SIFTデータセットの場合、IVF_SQ8インデックスファイルは140GBのストレージで済みます。

                                                                                                                                                                                                                                      +

                                                                                                                                                                                                                                      ディスク、CPU、GPU のメモリリソースが限られている場合は、IVF_FLAT よりも IVF_SQ8 の方が適しています。このインデックスタイプは、スカラー量子化(SQ)を実行することで、各 FLOAT(4バイト)を UINT8(1バイト)に変換することができます。これにより、ディスク、CPU、GPUのメモリ消費量が70~75%削減される。1B SIFTデータセットの場合、IVF_SQ8インデックスファイルに必要なストレージはわずか140GBです。

                                                                                                                                                                                                                                      • インデックス作成パラメータ

                                                                                                                                                                                                                                      @@ -301,7 +301,7 @@ title: インメモリインデックス

                                                                                                                                                                                                                                      IVF_PQ

                                                                                                                                                                                                                                      PQ (Product Quantization) は、元の高次元ベクトル空間を、 低次元ベクトル空間のデカルト積に一様に分解し、分解された低次元ベクトル空間を量子化する。積量子化により、対象ベクトルと全ユニットの中心との距離を計算する代わりに、対象ベクトルと各低次元空間のクラスタリング中心との距離を計算することが可能となり、アルゴリズムの時間的複雑性と空間的複雑性を大幅に削減することができる。m

                                                                                                                                                                                                                                      IVF_PQ は,ベクトルの積を量子化する前にIVFインデックスクラスタリングを行います.そのインデックスファイルはIVF_SQ8よりもさらに小さいが、ベクトル探索時の精度が低下する。

                                                                                                                                                                                                                                      -

                                                                                                                                                                                                                                      インデックス構築パラメータと検索パラメータはMilvus分布によって異なります。まずはMilvusディストリビューションを選択してください。

                                                                                                                                                                                                                                      +

                                                                                                                                                                                                                                      インデックス作成パラメータと検索パラメータはMilvus分布によって異なります。まずはMilvusディストリビューションを選択してください。

                                                                                                                                                                                                                                      • インデックス作成パラメータ

                                                                                                                                                                                                                                        @@ -364,8 +364,8 @@ title: インメモリインデックス
                                                                                                                                                                                                                                      - - + +
                                                                                                                                                                                                                                      パラメータ説明範囲デフォルト値
                                                                                                                                                                                                                                      nprobeクエリーするユニット数[1, nlist]
                                                                                                                                                                                                                                      reorder_kクエリーするユニット候補の数[top_k, ∞ ](英語top_k
                                                                                                                                                                                                                                      nprobe検索するユニットの数[1, nlist]
                                                                                                                                                                                                                                      reorder_kクエリーするユニット候補の数[top_k, ∞ ]を指定する。top_k
                                                                                                                                                                                                                                    • @@ -424,7 +424,7 @@ title: インメモリインデックス

                                                                                                                                                                                                                                    BIN_IVF_FLAT

                                                                                                                                                                                                                                    このインデックスは IVF_FLAT と全く同じですが、バイナリ埋め込みにのみ使用できます。

                                                                                                                                                                                                                                    -

                                                                                                                                                                                                                                    BIN_IVF_FLAT はベクトルデータをnlist クラスタ単位に分割し、ターゲット入力ベクトルと各クラスタの中心との距離を比較します。システムがクエリに設定したクラスタ数(nprobe )に応じて、ターゲット入力と最も類似したクラスタ(複数可)内のベクトルとの比較に基づく類似性検索結果が返され、クエリ時間が大幅に短縮されます。

                                                                                                                                                                                                                                    +

                                                                                                                                                                                                                                    BIN_IVF_FLAT はベクトルデータをnlist クラスタ単位に分割し、ターゲット入力ベクトルと各クラスタの中心との距離を比較します。システムがクエリに設定するクラスタ数(nprobe )に応じて、ターゲット入力と最も類似したクラスタ(複数可)内のベクトル間の比較に基づく類似性検索結果が返され、クエリ時間が大幅に短縮されます。

                                                                                                                                                                                                                                    nprobe を調整することで、精度と速度の理想的なバランスを見つけることができます。クエリ時間は、ターゲット入力ベクトルの数 (nq) と検索するクラスタの数 (nprobe) の両方が増加するにつれて急激に増加します。

                                                                                                                                                                                                                                    BIN_IVF_FLATは最も基本的なBIN_IVFインデックスであり、各ユニットに格納されるエンコードされたデータは元のデータと一致する。

                                                                                                                                                                                                                                      @@ -456,7 +456,7 @@ title: インメモリインデックス パラメータパラメータ範囲デフォルト値 -max_empty_result_buckets
                                                                                                                                                                                                                                      これは範囲検索のパラメータであり、連続した空のバケツの数が指定された値に達する間、検索プロセスを終了する。
                                                                                                                                                                                                                                      この値を大きくすると、検索時間が長くなる代償として、リコール率を向上させることができる。[1, 65535]2 +max_empty_result_buckets
                                                                                                                                                                                                                                      これは範囲検索パラメータであり、連続した空のバケツの数が指定された値に達する間、検索プロセスを終了する。
                                                                                                                                                                                                                                      この値を大きくすると、検索時間が長くなる代償として、リコール率を向上させることができる。[1, 65535]2 @@ -482,12 +482,12 @@ title: インメモリインデックス パラメータ説明範囲 -drop_ratio_search検索処理中に除外する小さなベクトル値の割合。このオプションは、クエリベクトル内の最小値を無視する比率を指定することで、検索処理を微調整することができます。検索精度とパフォーマンスのバランスをとるのに役立ちます。drop_ratio_search に設定する値が小さければ小さいほど、これらの小さな値が最終的なスコアに与える影響は小さくなります。いくつかの小さな値を無視することで、精度への影響を最小限に抑えながら検索パフォーマンスを向上させることができる。[0, 1] +drop_ratio_search検索処理中に除外する小さなベクトル値の割合。このオプションは、クエリベクトル内の最小値を無視する割合を指定することで、検索処理を微調整することができます。検索精度とパフォーマンスのバランスをとるのに役立ちます。drop_ratio_search に設定する値が小さければ小さいほど、これらの小さな値が最終的なスコアに与える影響は小さくなります。いくつかの小さな値を無視することで、精度への影響を最小限に抑えながら検索パフォーマンスを向上させることができる。[0, 1]
                                                                                                                                                                                                                                    -

                                                                                                                                                                                                                                    SPARSE_WAND

                                                                                                                                                                                                                                    このインデックスは、SPARSE_INVERTED_INDEX と類似しているが、Weak-ANDアルゴリズムを利用することで、検索プロセス中のフル IP 距離評価の回数をさらに減らしている。

                                                                                                                                                                                                                                    +

                                                                                                                                                                                                                                    SPARSE_WAND

                                                                                                                                                                                                                                    このインデックスは、SPARSE_INVERTED_INDEX と類似しているが、Weak-ANDアルゴリズムを利用することで、検索プロセスにおけるフル IP 距離評価の回数をさらに減らしている。

                                                                                                                                                                                                                                    我々のテストに基づくと、SPARSE_WAND は一般的にスピードの点で他の方法を上回る。しかし、その性能はベクトルの密度が高くなるにつれて急激に悪化する可能性がある。この問題に対処するため、ゼロでないdrop_ratio_search を導入することで、精度の低下を最小限に抑えつつ、性能を大幅に向上させることができます。詳細はスパースベクトルを参照。

                                                                                                                                                                                                                                    • インデックス構築パラメータ

                                                                                                                                                                                                                                      @@ -496,7 +496,7 @@ title: インメモリインデックス パラメータ説明範囲 -drop_ratio_buildインデックス作成時に除外する小さなベクトル値の割合。このオプションを使用すると、インデックスを作成する際に小さな値を無視することで、効率と精度のトレードオフを行い、インデックス作成プロセスを微調整することができます。[0, 1] +drop_ratio_buildインデックス作成時に除外する小さなベクトル値の割合。このオプションを使用すると、インデックスを作成する際に小さな値を除外することで、効率と精度のトレードオフを行い、インデックス作成処理を微調整することができます。[0, 1]
                                                                                                                                                                                                                                    • @@ -506,7 +506,7 @@ title: インメモリインデックス パラメータ説明範囲 -drop_ratio_search検索処理中に除外する小さなベクトル値の割合。このオプションは、クエリベクトル内の最小値を無視する割合を指定することで、検索処理を微調整することができます。検索精度とパフォーマンスのバランスをとるのに役立ちます。drop_ratio_search に設定する値が小さければ小さいほど、これらの小さな値が最終的なスコアに与える影響は小さくなります。いくつかの小さな値を無視することで、精度への影響を最小限に抑えながら検索パフォーマンスを向上させることができる。[0, 1] +drop_ratio_search検索処理中に除外する小さなベクトル値の割合。このオプションは、クエリベクトル内の最小値を無視する割合を指定することで、検索処理を微調整することができます。検索精度とパフォーマンスのバランスをとるのに役立ちます。drop_ratio_search に設定する値が小さければ小さいほど、これらの小さな値が最終的なスコアに与える影響は小さくなります。いくつかの小さな値を無視することで、精度への影響を最小限に抑えながら検索性能を向上させることができる。[0, 1] @@ -531,7 +531,7 @@ title: インメモリインデックス FLATインデックスとIVF_FLATインデックスの違いは何ですか?

                                                                                                                                                                                                                                      IVF_FLAT インデックスはベクトル空間をnlist クラスタに分割します。nlist のデフォルト値を16384のままにしておくと、Milvusはターゲットベクトルと16384クラスタすべての中心との距離を比較し、nprobe 最も近いクラスタを取得します。次に、Milvusはターゲットベクトルと選択されたクラスタのベクトル間の距離を比較し、最も近いベクトルを得ます。IVF_FLATと異なり、FLATはターゲットベクトルと各ベクトル間の距離を直接比較します。

                                                                                                                                                                                                                                      -そのため、ベクトルの総数がnlist 程度であれば、IVF_FLAT と FLAT は必要な計算方法や探索性能にほとんど差がありません。しかし、ベクトル数がnlist の2倍、3倍、n倍と増えるにつれて、IVF_FLATインデックスがますます大きな利点を示し始めます。

                                                                                                                                                                                                                                      +そのため、ベクトルの総数がnlist 程度であれば、IVF_FLAT と FLAT は、必要な計算方法や探索性能にほとんど差がありません。しかし、ベクトル数がnlist の2倍、3倍、n倍になるにつれて、IVF_FLATインデックスがますます大きな利点を示し始めます。

                                                                                                                                                                                                                                      詳しくはMilvusにおけるインデックスの選び方を参照してください。

                                                                                                                                                                                                                                      diff --git a/localization/v2.4.x/site/ja/reference/metric.json b/localization/v2.4.x/site/ja/reference/metric.json index 623430e67..15f53b58e 100644 --- a/localization/v2.4.x/site/ja/reference/metric.json +++ b/localization/v2.4.x/site/ja/reference/metric.json @@ -1 +1 @@ -{"codeList":[],"headingContent":"","anchorList":[{"label":"類似性メトリクス","href":"Similarity-Metrics","type":1,"isActive":false},{"label":"よくある質問","href":"FAQ","type":2,"isActive":false},{"label":"次のページ","href":"Whats-next","type":2,"isActive":false}]} \ No newline at end of file +{"codeList":[],"headingContent":"Similarity Metrics","anchorList":[{"label":"類似性メトリクス","href":"Similarity-Metrics","type":1,"isActive":false},{"label":"よくある質問","href":"FAQ","type":2,"isActive":false},{"label":"次のページ","href":"Whats-next","type":2,"isActive":false}]} \ No newline at end of file diff --git a/localization/v2.4.x/site/ja/reference/metric.md b/localization/v2.4.x/site/ja/reference/metric.md index 1bda51195..bed9e8ab4 100644 --- a/localization/v2.4.x/site/ja/reference/metric.md +++ b/localization/v2.4.x/site/ja/reference/metric.md @@ -1,7 +1,7 @@ --- id: metric.md -summary: Milvusは、ユークリッド距離、内積、ジャカードなど、様々な類似性メトリクスをサポートしています。 -title: 類似性指標 +summary: Milvusは、ユークリッド距離、内積、ジャカードなど、様々な類似性メトリクスをサポートしている。 +title: 類似性メトリクス ---

                                                                                                                                                                                                                                      類似性メトリクス

                                                                                                                                                                                                                                      Milvusでは、ベクトル間の類似性を測定するために類似性メトリックが使用されます。適切な距離メトリックを選択することで、分類とクラスタリングの性能を大幅に向上させることができます。

                                                                                                                                                                                                                                      -

                                                                                                                                                                                                                                      以下の表は広く使われている類似度メトリクスが様々な入力データ形式とMilvusインデックスにどのように適合するかを示しています。

                                                                                                                                                                                                                                      +

                                                                                                                                                                                                                                      以下の表は広く使われている類似度メトリクスが様々な入力データ形式とMilvusインデックスにどのように適合するかを示しています。現在、Milvusは浮動小数点埋め込み(しばしば浮動小数点ベクトルや密なベクトルとして知られる)、バイナリ埋め込み(バイナリベクトルとしても知られる)、スパース埋め込み(スパースベクトルとしても知られる)を含む様々なタイプのデータをサポートしています。

                                                                                                                                                                                                                                      + 浮動小数点 埋め込み バイナリ埋め込み スパース埋め込み
                                                                                                                                                                                                                                    - + @@ -79,15 +79,15 @@ title: 類似性指標

                                                                                                                                                                                                                                    ここでa= (a0,a1,...,an-1)とb= (b0,b0,...,bn-1)はn次元ユークリッド空間の2点である。

                                                                                                                                                                                                                                    これは最もよく使われる距離尺度で、データが連続的な場合に非常に便利である。

                                                                                                                                                                                                                                    -Milvusはユークリッド距離が距離メトリックとして選択された場合、平方根を適用する前に値のみを計算します。
                                                                                                                                                                                                                                    -

                                                                                                                                                                                                                                    内積 (IP)

                                                                                                                                                                                                                                    2つの埋め込み間のIP距離は次のように定義されます:

                                                                                                                                                                                                                                    +Milvusはユークリッド距離が距離メトリックとして選択された時のみ平方根を適用する前に値を計算します。 +

                                                                                                                                                                                                                                    内積 (IP)

                                                                                                                                                                                                                                    2つのベクトル埋め込み間のIP距離は次のように定義されます:

                                                                                                                                                                                                                                    ip IP

                                                                                                                                                                                                                                    IPは、正規化されていないデータを比較する場合や、大きさや角度を気にする場合に便利です。

                                                                                                                                                                                                                                    -

                                                                                                                                                                                                                                    正規化された埋め込みデータに対してIP距離を適用すると、埋め込みデータ間の余弦類似度を計算するのと同じ結果になります。

                                                                                                                                                                                                                                    +

                                                                                                                                                                                                                                    正規化された埋込みデータにIP距離を適用すると,埋込みデータ間の余弦類似度を計算するのと同じ結果になります.

                                                                                                                                                                                                                                    X'が埋め込みXから正規化されたとします:

                                                                                                                                                                                                                                    @@ -99,7 +99,7 @@ Milvusはユークリッド距離が距離メトリックとして選択され normalization 正規化

                                                                                                                                                                                                                                    -

                                                                                                                                                                                                                                    コサイン類似度

                                                                                                                                                                                                                                    コサイン類似度は、2組のベクトル間の角度のコサインを用いて、それらの類似度を測定します。2つのベクトル集合は、同じ原点([0,0,...])から始まり、異なる方向を向いている2つの線分と考えることができます。

                                                                                                                                                                                                                                    +

                                                                                                                                                                                                                                    コサイン類似度

                                                                                                                                                                                                                                    コサイン類似度は、2組のベクトル間の角度の余弦を用いて、それらの類似度を測定します。2組のベクトルは、同じ原点([0,0,...])から出発し、異なる方向を向いている2つの線分と考えることができます。

                                                                                                                                                                                                                                    2組のベクトルA = (a0,a1,...,an-1)B = (b0,b1,...,bn-1)の余弦類似度を計算するには、次の式を使います:

                                                                                                                                                                                                                                    @@ -112,12 +112,12 @@ Milvusはユークリッド距離が距離メトリックとして選択され Jaccard similarity coefficient ジャカード類似度係数

                                                                                                                                                                                                                                    -

                                                                                                                                                                                                                                    ジャカード距離はデータ集合間の非類似度を測定し,1からジャカード類似度係数を引くことで得られる.

                                                                                                                                                                                                                                    +

                                                                                                                                                                                                                                    Jaccard距離はデータ集合間の非類似度を測定し,Jaccard類似度係数を1から引くことで得られる.

                                                                                                                                                                                                                                    Jaccard distance ジャカード距離

                                                                                                                                                                                                                                    -

                                                                                                                                                                                                                                    ハミング距離

                                                                                                                                                                                                                                    ハミング距離はバイナリ・データの文字列を測定する。同じ長さの2つの文字列間の距離は、ビットが異なるビット位置の数である。

                                                                                                                                                                                                                                    +

                                                                                                                                                                                                                                    ハミング距離

                                                                                                                                                                                                                                    ハミング距離は2値データの文字列を測定する。同じ長さの2つの文字列間の距離は、ビットが異なるビット位置の数である。

                                                                                                                                                                                                                                    例えば、1101 1001 と 1001 1101 という2つの文字列があるとする。

                                                                                                                                                                                                                                    11011001 ⊕ 10011101 = 01000100.これには2つの1が含まれるため、ハミング距離d (11011001, 10011101) = 2となる。

                                                                                                                                                                                                                                    構造の類似性

                                                                                                                                                                                                                                    ある化学構造がより大きな化学構造の一部として存在する場合、前者を部分構造、後者を上部構造と呼ぶ。例えば、エタノールは酢酸の部分構造であり、酢酸はエタノールの上部構造である。

                                                                                                                                                                                                                                    @@ -130,7 +130,7 @@ Milvusはユークリッド距離が距離メトリックとして選択され

                                                                                                                                                                                                                                    ここで

                                                                                                                                                                                                                                    • Aは、検索する化学式のバイナリ表現である。
                                                                                                                                                                                                                                    • -
                                                                                                                                                                                                                                    • Bはデータベース内の化学式のバイナリ表現である。
                                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                                    • B はデータベース内の化学式のバイナリ表現である。

                                                                                                                                                                                                                                    この式が0 を返すと、Aは Bの上部構造ではない。

                                                                                                                                                                                                                                    AがBの部分構造であるかどうかを判定するには、以下の式を使用する:

                                                                                                                                                                                                                                    diff --git a/localization/v2.4.x/site/ja/release_notes.json b/localization/v2.4.x/site/ja/release_notes.json index 3218074c3..e63f897bc 100644 --- a/localization/v2.4.x/site/ja/release_notes.json +++ b/localization/v2.4.x/site/ja/release_notes.json @@ -1 +1 @@ -{"codeList":[],"headingContent":"Release Notes","anchorList":[{"label":"リリースノート","href":"Release-Notes","type":1,"isActive":false},{"label":"v2.4.15","href":"v2415","type":2,"isActive":false},{"label":"v2.4.14","href":"v2414","type":2,"isActive":false},{"label":"v2.4.13-ホットフィックス","href":"v2413-hotfix","type":2,"isActive":false},{"label":"[非推奨] v2.4.13","href":"Deprecated-v2413","type":2,"isActive":false},{"label":"v2.4.12","href":"v2412","type":2,"isActive":false},{"label":"v2.4.11","href":"v2411","type":2,"isActive":false},{"label":"v2.4.10","href":"v2410","type":2,"isActive":false},{"label":"v2.4.9","href":"v249","type":2,"isActive":false},{"label":"v2.4.8","href":"v248","type":2,"isActive":false},{"label":"v2.4.6","href":"v246","type":2,"isActive":false},{"label":"v2.4.5","href":"v245","type":2,"isActive":false},{"label":"v2.4.4","href":"v244","type":2,"isActive":false},{"label":"v2.4.3","href":"v243","type":2,"isActive":false},{"label":"v2.4.1","href":"v241","type":2,"isActive":false},{"label":"v2.4.0","href":"v240","type":2,"isActive":false},{"label":"v2.4.0-rc.1","href":"v240-rc1","type":2,"isActive":false}]} \ No newline at end of file +{"codeList":[],"headingContent":"Release Notes","anchorList":[{"label":"Release Notes","href":"Release-Notes","type":1,"isActive":false},{"label":"v2.4.17","href":"v2417","type":2,"isActive":false},{"label":"v2.4.15","href":"v2415","type":2,"isActive":false},{"label":"v2.4.14","href":"v2414","type":2,"isActive":false},{"label":"v2.4.13-hotfix","href":"v2413-hotfix","type":2,"isActive":false},{"label":"[Deprecated] v2.4.13","href":"Deprecated-v2413","type":2,"isActive":false},{"label":"v2.4.12","href":"v2412","type":2,"isActive":false},{"label":"v2.4.11","href":"v2411","type":2,"isActive":false},{"label":"v2.4.10","href":"v2410","type":2,"isActive":false},{"label":"v2.4.9","href":"v249","type":2,"isActive":false},{"label":"v2.4.8","href":"v248","type":2,"isActive":false},{"label":"v2.4.6","href":"v246","type":2,"isActive":false},{"label":"v2.4.5","href":"v245","type":2,"isActive":false},{"label":"v2.4.4","href":"v244","type":2,"isActive":false},{"label":"v2.4.3","href":"v243","type":2,"isActive":false},{"label":"v2.4.1","href":"v241","type":2,"isActive":false},{"label":"v2.4.0","href":"v240","type":2,"isActive":false},{"label":"v2.4.0-rc.1","href":"v240-rc1","type":2,"isActive":false}]} \ No newline at end of file diff --git a/localization/v2.4.x/site/ja/release_notes.md b/localization/v2.4.x/site/ja/release_notes.md index fa4f2091e..d6d51d069 100644 --- a/localization/v2.4.x/site/ja/release_notes.md +++ b/localization/v2.4.x/site/ja/release_notes.md @@ -1,9 +1,9 @@ --- id: release_notes.md summary: Milvusリリースノート -title: リリースノート +title: Release Notes --- -

                                                                                                                                                                                                                                    リリースノート

                                                                                                                                                                                                                                    Milvusの新機能をご確認ください!このページでは、各リリースの新機能、改善点、既知の問題、バグ修正についてまとめています。v2.4.0以降の各バージョンのリリースノートはこのセクションにあります。定期的にこのページをご覧いただき、アップデート情報をご確認ください。

                                                                                                                                                                                                                                    +

                                                                                                                                                                                                                                    Find out what’s new in Milvus! This page summarizes new features, improvements, known issues, and bug fixes in each release. You can find the release notes for each released version after v2.4.0 in this section. We suggest that you regularly visit this page to learn about updates.

                                                                                                                                                                                                                                    +

                                                                                                                                                                                                                                    v2.4.17

                                                                                                                                                                                                                                    Release Date: November 22, 2024

                                                                                                                                                                                                                                    +
                                                                                                                                                                                                                                    メトリックタイプメトリック型 インデックスの種類
                                                                                                                                                                                                                                    + + + + + + +
                                                                                                                                                                                                                                    Milvus versionPython SDK versionJava SDK versionNode.js SDK version
                                                                                                                                                                                                                                    2.4.172.4.92.4.82.4.9
                                                                                                                                                                                                                                    +

                                                                                                                                                                                                                                    Milvus 2.4.17 was a minor release aimed at critical stability enhancements. This version addressed various bugs and implemented performance optimizations to bolster system reliability.

                                                                                                                                                                                                                                    +

                                                                                                                                                                                                                                    Improvements

                                                                                                                                                                                                                                      +
                                                                                                                                                                                                                                    • Enhanced: [2.4] Prevented the generation of “null” search parameters (#37811).
                                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                                    • Enhanced: [2.4] Removed unnecessary segment clone updates in distribution (#37797) (#37833).
                                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                                    • Enhanced: [2.4] Provided secondary index criteria for filtering leaderview (#37777) (#37802).
                                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                                    • Used batch processing to speed up listing collections from meta kv (#37752).
                                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                                    • Removed collection queryable checks from health checks (#37731).
                                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                                    • [2.4] Removed segment-level tags from monitoring metrics (#37737).
                                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                                    • [2.4] Removed unnecessary cloning in setstate (#37736).
                                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                                    • Added search parameters to search requests in RESTful API (#37673).
                                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                                    • Made Milvus images with AddressSanitizer (ASAN) available (#37682).
                                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                                    • [cp24] Tidied compaction logs (#37647).
                                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                                    • [2.4] Invalidated the collection cache when releasing collections (#37628).
                                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                                    • [2.4] Added CGO call metrics for load/write APIs (#37627).
                                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                                    • Enabled node assignment policies in resource groups (#37588).
                                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                                    • Optimized describe collection and index operations (#37605).
                                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                                    • [2.4] Handled legacy proxy load fields requests (#37569).
                                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                                    • [2.4] Added context tracing for query coordination queryable checks (#37534).
                                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                                    • [2.4] Improved root coordination task scheduling policies (#37523).
                                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                                    • Refactored createindex in the RESTful API (#37237).
                                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                                    • [2.4] Used cancel labels for context-canceled storage operations (#37491).
                                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                                    • [2.4] Updated the template expression proto to improve transmission efficiency (#37485).
                                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                                    +

                                                                                                                                                                                                                                    Bug fixes

                                                                                                                                                                                                                                      +
                                                                                                                                                                                                                                    • Supported upsert with autoid=true in the RESTful API and fixed associated bugs (#37766).
                                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                                    • Ensured L0 segments were loaded to workers during channel balancing (#37758).
                                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                                    • Fixed delegator stuck in unserviceable status (#37702).
                                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                                    • [2.4] Stored default values when errkeynotfound was returned (#37705).
                                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                                    • [cp24] Changed memory check from write lock to read lock (#37526).
                                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                                    • Ensured getshardleaders retried only on retriable errors (#37687).
                                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                                    • [cp24] Corrected varchar primary key size calculations (#37619).
                                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                                    • Fixed channel balancing that could get stuck when increasing replica numbers (#37642).
                                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                                    • Addressed issues where searches returned fewer results after query node recovery (#37610).
                                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                                    • [2.4] Fixed bugs retrieving data from the wrong field for L0 segments (#37599).
                                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                                    • Recovered loading collection’s updateTS after query coordination restarts (#37580).
                                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                                    • [2.4] Added IP address validation to paramtable (#37500).
                                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                                    • Fixed search/query failures caused by segments not being loaded (#37544).
                                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                                    • Resolved watch channel issues due to timer reset misuse (#37542).
                                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                                    • Fixed subscription leaks (#37541).
                                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                                    • Resolved issues with excessively growing segments (#37540).
                                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                                    • [cp24] Corrected dropped segment metrics (#37471).
                                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                                    • Fixed repeated error codes in Milvus and Segcore (#37449).
                                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                                    • [cp24] Separated L0 and mixed trigger intervals (#37319).
                                                                                                                                                                                                                                    • +

                                                                                                                                                                                                                                    v2.4.15

                                                                                                                                                                                                                                    リリース日2024年11月5日

                                                                                                                                                                                                                                    +

                                                                                                                                                                                                                                    Release Date: November 5, 2024

                                                                                                                                                                                                                                    - +
                                                                                                                                                                                                                                    MilvusバージョンPython SDKバージョンJava SDKバージョンNode.js SDKバージョン
                                                                                                                                                                                                                                    Milvus versionPython SDK versionJava SDK versionNode.js SDK version
                                                                                                                                                                                                                                    2.4.152.4.92.4.82.4.9
                                                                                                                                                                                                                                    -

                                                                                                                                                                                                                                    Milvus 2.4.15は、システムの安定性、パフォーマンス、互換性の強化に焦点を当てた、重要なバグ修正リリースです。このバージョンでは、QueryNodeのクラッシュ時に発生する可能性のある重大なデッドロックの問題に対処し、データベース機能付きバックアップツールの互換性アップデートを導入した。さらに、Milvus 2.4.15では、L0処理の大幅な最適化により、削除のパフォーマンスと安定性が向上しました。これらの重要な機能強化の恩恵を受けるために、v2.4.15へのアップグレードを強く推奨します。

                                                                                                                                                                                                                                    -

                                                                                                                                                                                                                                    重要なバグ修正

                                                                                                                                                                                                                                      -
                                                                                                                                                                                                                                    • シャードクライアントの初期化中にQueryNodeがクラッシュした場合のデッドロック問題を解決した(#37354)。
                                                                                                                                                                                                                                    • -
                                                                                                                                                                                                                                    • データベースの一括挿入をサポートする機能拡張を元に戻した(#37421)。
                                                                                                                                                                                                                                    • +

                                                                                                                                                                                                                                      Milvus 2.4.15 was a critical bug-fix release focused on enhancing system stability, performance, and compatibility. This version addressed a major deadlock issue that could occur during QueryNode crashes and introduced compatibility updates for the backup tool with the database feature. Additionally, Milvus 2.4.15 improved delete performance and stability through significant optimizations in L0 handling. Upgrading to v2.4.15 was strongly recommended to benefit from these critical enhancements.

                                                                                                                                                                                                                                      +

                                                                                                                                                                                                                                      Critical bug fixes

                                                                                                                                                                                                                                        +
                                                                                                                                                                                                                                      • Resolved a deadlock issue if the QueryNode crashed during shard client initialization (#37354).
                                                                                                                                                                                                                                      • +
                                                                                                                                                                                                                                      • Reverted the enhancement to support databases for bulk insert (#37421).
                                                                                                                                                                                                                                      -

                                                                                                                                                                                                                                      バグ修正

                                                                                                                                                                                                                                        -
                                                                                                                                                                                                                                      • 特定の式で値が正しく解析されない不具合を修正しました(#37342)。
                                                                                                                                                                                                                                      • -
                                                                                                                                                                                                                                      • アンロードされたコレクションでシャードリーダーの取得を再試行するようにプロキシを改良した(#37326)。
                                                                                                                                                                                                                                      • -
                                                                                                                                                                                                                                      • L0行数のメトリクス値が常に空だった問題を修正しました(#37307)。
                                                                                                                                                                                                                                      • -
                                                                                                                                                                                                                                      • 混合およびL0コンパクションシナリオで、コンパクションタイムアウトのマークをスキップするようにしました(#37194)。
                                                                                                                                                                                                                                      • -
                                                                                                                                                                                                                                      • OffsetOrderedArrayの格納ロジックを修正しました(#37309)。
                                                                                                                                                                                                                                      • -
                                                                                                                                                                                                                                      • デルタログの読み込み時にリソースのチェックを追加した(#37263)。
                                                                                                                                                                                                                                      • +

                                                                                                                                                                                                                                        Bug fixes

                                                                                                                                                                                                                                          +
                                                                                                                                                                                                                                        • Fixed a bug where certain expressions did not correctly parse values (#37342).
                                                                                                                                                                                                                                        • +
                                                                                                                                                                                                                                        • Enhanced the Proxy to retry getting the shard leader on unloaded collections (#37326).
                                                                                                                                                                                                                                        • +
                                                                                                                                                                                                                                        • Corrected an issue where the L0 row count metrics value was always empty (#37307).
                                                                                                                                                                                                                                        • +
                                                                                                                                                                                                                                        • Skipped marking compaction timeout for mixed and L0 compaction scenarios (#37194).
                                                                                                                                                                                                                                        • +
                                                                                                                                                                                                                                        • Rectified the containment logic of OffsetOrderedArray (#37309).
                                                                                                                                                                                                                                        • +
                                                                                                                                                                                                                                        • Added a check for resources when loading delta logs (#37263).
                                                                                                                                                                                                                                        -

                                                                                                                                                                                                                                        改善点

                                                                                                                                                                                                                                          -
                                                                                                                                                                                                                                        • パフォーマンス向上のため、L0ロジックをデルタロックの外側に移動した(#37340)。
                                                                                                                                                                                                                                        • -
                                                                                                                                                                                                                                        • ドロップされたリストにコンパクト化された成長セグメントが存在する場合、それを解放するようにした(#37266)。
                                                                                                                                                                                                                                        • -
                                                                                                                                                                                                                                        • RESTful V2の入出力RPCの統計情報を監視するミドルウェアを導入した(#37224,#37440)。
                                                                                                                                                                                                                                        • +

                                                                                                                                                                                                                                          Improvements

                                                                                                                                                                                                                                            +
                                                                                                                                                                                                                                          • Moved L0 logic outside of the delta lock for better performance (#37340).
                                                                                                                                                                                                                                          • +
                                                                                                                                                                                                                                          • Released compacted growing segments if present in the dropped list (#37266).
                                                                                                                                                                                                                                          • +
                                                                                                                                                                                                                                          • Introduced middleware to monitor RESTful V2 input/output RPC stats (#37224, #37440).

                                                                                                                                                                                                                                          v2.4.14

                                                                                                                                                                                                                                          リリース日2024年10月31日

                                                                                                                                                                                                                                          +

                                                                                                                                                                                                                                          Release Date: October 31, 2024

                                                                                                                                                                                                                                          - +
                                                                                                                                                                                                                                          MilvusバージョンPython SDKバージョンJava SDKバージョンNode.js SDKバージョン
                                                                                                                                                                                                                                          Milvus versionPython SDK versionJava SDK versionNode.js SDK version
                                                                                                                                                                                                                                          2.4.142.4.92.4.72.4.9
                                                                                                                                                                                                                                          -

                                                                                                                                                                                                                                          Milvus 2.4.14では、snapshotKV ガベージコレクション後にコレクション情報が失われる、バージョン2.4.13からの重大な問題が修正されました。また、いくつかのリソースリークも修正されました。さらにこのリリースでは、大規模な削除操作の安定性とコンパクション性能の向上に焦点を当てた多数の機能強化が含まれています。

                                                                                                                                                                                                                                          -

                                                                                                                                                                                                                                          機能

                                                                                                                                                                                                                                            -
                                                                                                                                                                                                                                          • メモリモードのチャンクキャッシュをサポートしました(#35836)。
                                                                                                                                                                                                                                          • -
                                                                                                                                                                                                                                          • bulkinsert 用 db をサポートしました (#37017)。
                                                                                                                                                                                                                                          • +

                                                                                                                                                                                                                                            Milvus 2.4.14 addresses a critical issue from version 2.4.13 that could cause collection information to be lost after snapshotKV garbage collection. It also fixed a couple of resource leaks. Additionally, this release includes numerous enhancements focused on improving stability in large-scale delete operations and compaction performance.

                                                                                                                                                                                                                                            +

                                                                                                                                                                                                                                            Features

                                                                                                                                                                                                                                              +
                                                                                                                                                                                                                                            • Supported memory mode chunk cache (#35836)
                                                                                                                                                                                                                                            • +
                                                                                                                                                                                                                                            • Supported db for bulkinsert (#37017)
                                                                                                                                                                                                                                            -

                                                                                                                                                                                                                                            改良点

                                                                                                                                                                                                                                              -
                                                                                                                                                                                                                                            • 削除/コンパクションの最適化
                                                                                                                                                                                                                                                -
                                                                                                                                                                                                                                              • l0 コンパクションの並列実行を可能にした(#36985)。
                                                                                                                                                                                                                                              • -
                                                                                                                                                                                                                                              • ダイレクトフォワード使用時のバッチフォワードデリート(#37107)
                                                                                                                                                                                                                                              • -
                                                                                                                                                                                                                                              • remoteload使用時にデリゲータでのデルタデータのロードをスキップ(#37112)
                                                                                                                                                                                                                                              • -
                                                                                                                                                                                                                                              • l0セグメントを除くデルタを直接フォワード(#36914)
                                                                                                                                                                                                                                              • -
                                                                                                                                                                                                                                              • DataCoordにおけるコンパクションタスクの優先順位付けを追加(#36979)
                                                                                                                                                                                                                                              • -
                                                                                                                                                                                                                                              • 複雑な削除率を追跡(#36958)
                                                                                                                                                                                                                                              • +

                                                                                                                                                                                                                                                Improvements

                                                                                                                                                                                                                                                  +
                                                                                                                                                                                                                                                • Delete/Compaction Optimization +
                                                                                                                                                                                                                                                    +
                                                                                                                                                                                                                                                  • Enabled parallel execution of l0 compactions (#36985)
                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                  • Batched forward delete when using direct forward (#37107)
                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                  • Skipped loading delta data in delegater when using remoteload (#37112)
                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                  • Directly forwarded delta excluding l0 segments (#36914)
                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                  • Added prioritization of compaction tasks in DataCoord (#36979)
                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                  • Tracked complex delete rates (#36958)
                                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                                • RESTFul API の CreateCollection をリファクタリングした(#36885)。
                                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                                • 複数の'and'および'or'操作を単一の操作に統合した(#36973)
                                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                                • すべてのブランチでスキップロードが動作するようにした(#37161)
                                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                                • Minioの依存関係をアップグレードし、EKS Pod Identitiesをサポートした(#37089)
                                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                                • インポートオプションを整理した(#37078)
                                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                                • インポートジョブの最大数を制限しました(#36892)
                                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                                • メモリの再割り当てを回避するためにデータスライスを事前割り当て(#37044)
                                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                                • DataNodeがbfをロードしないようにした(#37027)
                                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                                • ddl操作を繰り返し制限しないようにした(#37011)
                                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                                • 設定項目datanode.import.maxconcurrenttasknum を動的に調整可能にした(#37103)
                                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                                • queryNode.mmap.growingMmapEnabled 、中間インデックスの動作を制御するようにした(#36391)
                                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                                • 成長中のセグメントのsegmentLoadInfoにおいて、Level およびStartPosition フィールドに値を格納(#36911)。
                                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                                • ドロップコレクションメッセージを受信した場合、バッファメッセージを強制的に停止するようにした(#36917)
                                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                                • querynodeの削除バッファ情報のメトリックを追加した(#37097)。
                                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                                • いくつかのメトリクスにコレクション名ラベルを追加した(#37159)
                                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                                • RESTful v2 in/out rpc statsを観測するためにミドルウェアを使用するようにした(#37224)
                                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                                • GPUのデフォルトメモリプールサイズを変更した(#36969)
                                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                                • Knowhereのバージョンを2.3.12に更新した(#37132)
                                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                                • ディスククォータを使い切った場合にデータを削除できるようにした(#37139)
                                                                                                                                                                                                                                                • +
                                                                                                                                                                                                                                                • Refactored CreateCollection in RESTFul API (#36885)
                                                                                                                                                                                                                                                • +
                                                                                                                                                                                                                                                • Fused multiple ‘and’ and ‘or’ operations into a single op (#36973)
                                                                                                                                                                                                                                                • +
                                                                                                                                                                                                                                                • Made skip load work for all branches (#37161)
                                                                                                                                                                                                                                                • +
                                                                                                                                                                                                                                                • Upgraded Minio dependency to support EKS Pod Identities (#37089)
                                                                                                                                                                                                                                                • +
                                                                                                                                                                                                                                                • Tidied import options (#37078)
                                                                                                                                                                                                                                                • +
                                                                                                                                                                                                                                                • Limited maximum number of import jobs (#36892)
                                                                                                                                                                                                                                                • +
                                                                                                                                                                                                                                                • Preallocated data slice to avoid re-allocating memory (#37044)
                                                                                                                                                                                                                                                • +
                                                                                                                                                                                                                                                • Prevented DataNode from loading the bf (#37027)
                                                                                                                                                                                                                                                • +
                                                                                                                                                                                                                                                • Avoided limiting ddl operations repeatedly (#37011)
                                                                                                                                                                                                                                                • +
                                                                                                                                                                                                                                                • Made the configuration item datanode.import.maxconcurrenttasknum dynamically adjustable (#37103)
                                                                                                                                                                                                                                                • +
                                                                                                                                                                                                                                                • Used queryNode.mmap.growingMmapEnabled to control the behavior of interim index (#36391)
                                                                                                                                                                                                                                                • +
                                                                                                                                                                                                                                                • Populated the Level and StartPosition fields in segmentLoadInfo of growing segment (#36911)
                                                                                                                                                                                                                                                • +
                                                                                                                                                                                                                                                • Forced to stop buffer messages when receiving the drop collection message (#36917)
                                                                                                                                                                                                                                                • +
                                                                                                                                                                                                                                                • Added metrics for querynode delete buffer info (#37097)
                                                                                                                                                                                                                                                • +
                                                                                                                                                                                                                                                • Added collection name label for some metric (#37159)
                                                                                                                                                                                                                                                • +
                                                                                                                                                                                                                                                • Used middleware to observe RESTful v2 in/out rpc stats (#37224)
                                                                                                                                                                                                                                                • +
                                                                                                                                                                                                                                                • Changed GPU default memory pool size (#36969)
                                                                                                                                                                                                                                                • +
                                                                                                                                                                                                                                                • Updated Knowhere version to 2.3.12 (#37132)
                                                                                                                                                                                                                                                • +
                                                                                                                                                                                                                                                • Allowed deleting data when disk quota exhausted (#37139)
                                                                                                                                                                                                                                                -

                                                                                                                                                                                                                                                バグ修正

                                                                                                                                                                                                                                                  -
                                                                                                                                                                                                                                                • すべてのスナップショットがガベージコレクションされた場合、再起動後にmetakvからコレクション情報を復元できない問題を修正した(#36950)
                                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                                • クライアントでの無効な再試行を回避するため、rpcエラーコードを修正した(#37025)
                                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                                • クォータセンターでdbが見つからないエラーを無視するようにした(#36850)
                                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                                • QueryNodeにおいて、シングルトン削除プールを使用した場合のゴルーチンのリークを修正しました(#37225)。
                                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                                • QueryNodeにおけるコレクションのリークを修正しました(#37079)。
                                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                                • クラスタリング圧縮タスクのリークを修正しました(#36803)。
                                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                                • エイリアスを持つコレクションのリネームを禁止した(#37208)
                                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                                • エイリアスがキャッシュされるようにした(#36808)。
                                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                                • デリゲータキャッシュの更新中に検索/クエリが失敗することがあった問題を修正した(#37174)
                                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                                • クラスタリング実行時にl0コンパクションを除外するようにした(#37142)
                                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                                • l0 セグメントメタのみをロードする場合にコレクションメタを参照する問題を修正しました(#37179)。
                                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                                • クエリコードの再起動後にデリゲータがサービス不能になることがありました(#37100)。
                                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                                • 動的解放パーティションが検索/問い合わせに失敗することがあった問題を修正しました(#37099)
                                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                                • 削除バッファの行数クォータ値を修正しました(#37068)。
                                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                                • パーシャルロードが有効な場合にフルフィールドリストを渡すようにした(#37063)
                                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                                • ワーカーへのRPC送信中にクエリノードがパニックになる問題を修正しました(#36988)。
                                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                                • Datacoordが進行停止時にスタックする問題を修正しました(#36961)。
                                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                                • 生データが中間インデックスで置換された場合に、成長セグメントで境界外アクセスが発生する問題を修正(#36938)
                                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                                • Rootcoordがgraceful stop progressで立ち往生する問題を修正(#36881)
                                                                                                                                                                                                                                                • +

                                                                                                                                                                                                                                                  Bug fixes

                                                                                                                                                                                                                                                    +
                                                                                                                                                                                                                                                  • Fixed collection info that could not be recovered from metakv after restart if all snapshots were garbage collected (#36950)
                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                  • Corrected the rpc error code to avoid invalid retry in client (#37025)
                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                  • Ignored db not found error in quota center (#36850)
                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                  • Fixed goroutine leakage in QueryNode by using singleton delete pool (#37225)
                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                  • Fixed collection leak in querynode (#37079)
                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                  • Fixed leakage of clustering compaction task (#36803)
                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                  • Prohibited renaming a collection that had an alias (#37208)
                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                  • Made sure alias was cached (#36808)
                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                  • Search/query could have failed during updating delegator cache (#37174)
                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                  • Excluded l0 compaction when clustering was executing (#37142)
                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                  • Referenced collection meta when loading l0 segment meta only (#37179)
                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                  • Delegator might have become unserviceable after querycoord restart (#37100)
                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                  • Dynamic release partition might have failed search/query (#37099)
                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                  • Rectified delete buffer row count quota value (#37068)
                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                  • Passed full field list when partial load enabled (#37063)
                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                  • Query node panic occurred during sending rpc to worker (#36988)
                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                  • Datacoord got stuck at stopping progress (#36961)
                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                  • Fixed the out-of-bounds access in the growing segment when raw data was replaced by interim index (#36938)
                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                  • Rootcoord got stuck at graceful stop progress (#36881)
                                                                                                                                                                                                                                                  -

                                                                                                                                                                                                                                                  v2.4.13-ホットフィックス

                                                                                                                                                                                                                                                  リリース日2024年10月17日

                                                                                                                                                                                                                                                  +

                                                                                                                                                                                                                                                  Release Date: October 17, 2024

                                                                                                                                                                                                                                                  - +
                                                                                                                                                                                                                                                  milvusバージョンPython SDKバージョンJava SDKバージョンNode.js SDKバージョン
                                                                                                                                                                                                                                                  Milvus versionPython SDK versionJava SDK versionNode.js SDK version
                                                                                                                                                                                                                                                  2.4.13-hotfix2.4.82.4.52.4.9
                                                                                                                                                                                                                                                  -

                                                                                                                                                                                                                                                  Milvus v2.4.13-hotfixでは、v2.4.13特有の致命的な問題である、すべてのMetaKVスナップショットがガベージコレクションされている場合にMilvusが再起動後にコレクション情報を取得できない場合がある問題が修正されました(#36933)。現在v2.4.13を実行しているユーザは、できるだけ早い機会にv2.4.13-hotfixにアップグレードすることを推奨します

                                                                                                                                                                                                                                                  -

                                                                                                                                                                                                                                                  重要な修正

                                                                                                                                                                                                                                                    -
                                                                                                                                                                                                                                                  • タイムスタンプがMaxTimestampの場合にオリジナルキーをロードするようにした (#36935)。
                                                                                                                                                                                                                                                  • +

                                                                                                                                                                                                                                                    Milvus v2.4.13-hotfix addresses a critical issue specific to v2.4.13, where Milvus may fail to retrieve collection information after a restart if all MetaKV snapshots were garbage-collected (#36933). Users currently running v2.4.13 are advised to upgrade to v2.4.13-hotfix at the earliest opportunity to avoid potential disruptions.

                                                                                                                                                                                                                                                    +

                                                                                                                                                                                                                                                    Critical fixes

                                                                                                                                                                                                                                                      +
                                                                                                                                                                                                                                                    • Load original key if timestamp is MaxTimestamp (#36935)
                                                                                                                                                                                                                                                    -

                                                                                                                                                                                                                                                    [非推奨] v2.4.13

                                                                                                                                                                                                                                                    リリース日2024年10月12日

                                                                                                                                                                                                                                                    +

                                                                                                                                                                                                                                                    Release Date: October 12, 2024

                                                                                                                                                                                                                                                    - +
                                                                                                                                                                                                                                                    milvusバージョンPython SDKバージョンJava SDKバージョンNode.js SDKバージョン
                                                                                                                                                                                                                                                    Milvus versionPython SDK versionJava SDK versionNode.js SDK version
                                                                                                                                                                                                                                                    2.4.132.4.82.4.52.4.9
                                                                                                                                                                                                                                                    -

                                                                                                                                                                                                                                                    Milvus 2.4.13では、ダイナミックレプリカロードが導入され、ユーザーはコレクションをリリースして再ロードすることなく、コレクションレプリカの数を調整できるようになりました。また、このバージョンでは、バルクインポート、式の解析、ロードバランシング、および障害回復に関連するいくつかの重大なバグに対処しています。さらに、MMAPリソースの使用とインポートのパフォーマンスが大幅に改善され、システム全体の効率が向上しました。パフォーマンスと安定性を向上させるために、このリリースへのアップグレードを強くお勧めします。

                                                                                                                                                                                                                                                    -

                                                                                                                                                                                                                                                    機能

                                                                                                                                                                                                                                                      -
                                                                                                                                                                                                                                                    • ロードされたコレクションの動的レプリカ調整(#36417)
                                                                                                                                                                                                                                                    • -
                                                                                                                                                                                                                                                    • 成長するセグメントタイプにおけるスパースベクトルMMAP(#36565)
                                                                                                                                                                                                                                                    • +

                                                                                                                                                                                                                                                      Milvus 2.4.13 introduces dynamic replica load, allowing users to adjust the number of collection replicas without needing to release and reload the collection. This version also addresses several critical bugs related to bulk importing, expression parsing, load balancing, and failure recovery. Additionally, significant improvements have been made to MMAP resource usage and import performance, enhancing overall system efficiency. We highly recommend upgrading to this release for better performance and stability.

                                                                                                                                                                                                                                                      +

                                                                                                                                                                                                                                                      Features

                                                                                                                                                                                                                                                        +
                                                                                                                                                                                                                                                      • Dynamic replica adjustment for loaded collections (#36417)
                                                                                                                                                                                                                                                      • +
                                                                                                                                                                                                                                                      • Sparse vector MMAP in growing segment types (#36565)
                                                                                                                                                                                                                                                      -

                                                                                                                                                                                                                                                      バグ修正

                                                                                                                                                                                                                                                        -
                                                                                                                                                                                                                                                      • フラッシュ性能に関する問題を修正した(#36741)。
                                                                                                                                                                                                                                                      • -
                                                                                                                                                                                                                                                      • "[]"内のJSON式のバグを修正(#36722)
                                                                                                                                                                                                                                                      • -
                                                                                                                                                                                                                                                      • コンパクトなターゲットがインデックスされていない場合、ネイバーを削除(#36694)
                                                                                                                                                                                                                                                      • -
                                                                                                                                                                                                                                                      • Rocksmqのチャネルが一杯の場合のパフォーマンスを改善した(#36618)
                                                                                                                                                                                                                                                      • -
                                                                                                                                                                                                                                                      • アンピン時のエラーが遅延されない問題を修正した(#36665)。
                                                                                                                                                                                                                                                      • -
                                                                                                                                                                                                                                                      • セグメントマネージャで、インポートされたセグメントのメモリリークを修正した(#36631)
                                                                                                                                                                                                                                                      • -
                                                                                                                                                                                                                                                      • プロキシ内のクエリノードの不要なヘルスチェックをスキップするようにした(#36553)
                                                                                                                                                                                                                                                      • -
                                                                                                                                                                                                                                                      • 条件式のオーバーフローの問題を修正した(#36534)
                                                                                                                                                                                                                                                      • -
                                                                                                                                                                                                                                                      • タスクの誤割り当てを防ぐため、タスクを割り当てる前にノードIDを記録するようにした(#36493)
                                                                                                                                                                                                                                                      • -
                                                                                                                                                                                                                                                      • クラスタリングコンパクションにおけるデータ競合の問題を解決(#36499)
                                                                                                                                                                                                                                                      • -
                                                                                                                                                                                                                                                      • 型照合後の文字列配列の最大長のチェックを追加した(#36497)
                                                                                                                                                                                                                                                      • -
                                                                                                                                                                                                                                                      • 混合モードまたはスタンドアロンモードでの競合状態に対処(#36459)
                                                                                                                                                                                                                                                      • -
                                                                                                                                                                                                                                                      • ロードとリリースの繰り返し操作後のセグメントの不均衡を修正した(#36543)
                                                                                                                                                                                                                                                      • -
                                                                                                                                                                                                                                                      • 停止しているノードからセグメントを移動できない問題を修正(#36475)
                                                                                                                                                                                                                                                      • -
                                                                                                                                                                                                                                                      • 一部のセグメントが欠落していた場合でも、セグメント情報を適切に更新するようにした(#36729)
                                                                                                                                                                                                                                                      • -
                                                                                                                                                                                                                                                      • スナップショットKVにおいて、etcdトランザクションが最大制限を超えないようにした(#36773)
                                                                                                                                                                                                                                                      • +

                                                                                                                                                                                                                                                        Bug fixes

                                                                                                                                                                                                                                                          +
                                                                                                                                                                                                                                                        • Fixed a flush performance issue (#36741)
                                                                                                                                                                                                                                                        • +
                                                                                                                                                                                                                                                        • Fixed a bug with JSON expressions in "[]" (#36722)
                                                                                                                                                                                                                                                        • +
                                                                                                                                                                                                                                                        • Removed neighbors if compact target is unindexed (#36694)
                                                                                                                                                                                                                                                        • +
                                                                                                                                                                                                                                                        • Improved performance for Rocksmq when channel is full (#36618)
                                                                                                                                                                                                                                                        • +
                                                                                                                                                                                                                                                        • Fixed an issue where errors during unpinning were not deferred (#36665)
                                                                                                                                                                                                                                                        • +
                                                                                                                                                                                                                                                        • Resolved a memory leak for imported segments in the segment manager (#36631)
                                                                                                                                                                                                                                                        • +
                                                                                                                                                                                                                                                        • Skipped unnecessary health checks for query nodes in the proxy (#36553)
                                                                                                                                                                                                                                                        • +
                                                                                                                                                                                                                                                        • Fixed an overflow issue with term expressions (#36534)
                                                                                                                                                                                                                                                        • +
                                                                                                                                                                                                                                                        • Recorded node ID before assigning tasks to prevent task misallocation (#36493)
                                                                                                                                                                                                                                                        • +
                                                                                                                                                                                                                                                        • Resolved data race issues in clustering compaction (#36499)
                                                                                                                                                                                                                                                        • +
                                                                                                                                                                                                                                                        • Added a check for string array max length after type matching (#36497)
                                                                                                                                                                                                                                                        • +
                                                                                                                                                                                                                                                        • Addressed race conditions in mix or standalone mode (#36459)
                                                                                                                                                                                                                                                        • +
                                                                                                                                                                                                                                                        • Fixed segment imbalance after repeated load and release operations (#36543)
                                                                                                                                                                                                                                                        • +
                                                                                                                                                                                                                                                        • Corrected a corner case where segments couldn’t be moved from a stopping node (#36475)
                                                                                                                                                                                                                                                        • +
                                                                                                                                                                                                                                                        • Updated segment info properly even if some segments were missing (#36729)
                                                                                                                                                                                                                                                        • +
                                                                                                                                                                                                                                                        • Prevented etcd transactions from exceeding the max limit in snapshot KV (#36773)
                                                                                                                                                                                                                                                        -

                                                                                                                                                                                                                                                        改良点

                                                                                                                                                                                                                                                          -
                                                                                                                                                                                                                                                        • MMAP リソースの見積もりを強化:
                                                                                                                                                                                                                                                            -
                                                                                                                                                                                                                                                          • column.hのMMAP関連コードを改善しました(#36521)。
                                                                                                                                                                                                                                                          • -
                                                                                                                                                                                                                                                          • コレクションロード時のリソース見積もりを改善した(#36728)
                                                                                                                                                                                                                                                          • +

                                                                                                                                                                                                                                                            Improvements

                                                                                                                                                                                                                                                              +
                                                                                                                                                                                                                                                            • Enhanced MMAP resource estimation: +
                                                                                                                                                                                                                                                                +
                                                                                                                                                                                                                                                              • Improved MMAP-related code in column.h (#36521)
                                                                                                                                                                                                                                                              • +
                                                                                                                                                                                                                                                              • Refined resource estimation when loading collections (#36728)
                                                                                                                                                                                                                                                            • -
                                                                                                                                                                                                                                                            • パフォーマンスの向上:
                                                                                                                                                                                                                                                                -
                                                                                                                                                                                                                                                              • UnicodeをASCIIに変換することで式の解析効率を改善しました(#36676)。
                                                                                                                                                                                                                                                              • -
                                                                                                                                                                                                                                                              • 複数のトピックに対するメッセージの並列生成を可能にした(#36462)
                                                                                                                                                                                                                                                              • -
                                                                                                                                                                                                                                                              • インデックスファイルのサイズを計算する際のCPUオーバーヘッドを削減した(#36580)
                                                                                                                                                                                                                                                              • -
                                                                                                                                                                                                                                                              • ヘッダからメッセージタイプを取得し、アンマーシャルを最小化(#36454)
                                                                                                                                                                                                                                                              • -
                                                                                                                                                                                                                                                              • ワークロードベースのレプリカ選択ポリシーを最適化(#36384)
                                                                                                                                                                                                                                                              • +
                                                                                                                                                                                                                                                              • Performance Enhancements: +
                                                                                                                                                                                                                                                                  +
                                                                                                                                                                                                                                                                • Improved expression parsing efficiency by converting Unicode to ASCII (#36676)
                                                                                                                                                                                                                                                                • +
                                                                                                                                                                                                                                                                • Enabled parallel production of messages for multiple topics (#36462)
                                                                                                                                                                                                                                                                • +
                                                                                                                                                                                                                                                                • Reduced CPU overhead when calculating index file size (#36580)
                                                                                                                                                                                                                                                                • +
                                                                                                                                                                                                                                                                • Retrieved message type from header to minimize unmarshalling (#36454)
                                                                                                                                                                                                                                                                • +
                                                                                                                                                                                                                                                                • Optimized workload-based replica selection policy (#36384)
                                                                                                                                                                                                                                                              • -
                                                                                                                                                                                                                                                              • 削除タスクメッセージを最大メッセージサイズ制限内に収まるように分割した(#36574)
                                                                                                                                                                                                                                                              • -
                                                                                                                                                                                                                                                              • インポートジョブを記述するための新しいRESTful URLを追加しました(#36754)。
                                                                                                                                                                                                                                                              • -
                                                                                                                                                                                                                                                              • インポートスケジューリングを最適化し、時間コスト指標を追加しました(#36684)。
                                                                                                                                                                                                                                                              • -
                                                                                                                                                                                                                                                              • クエリコーディネータバランサのバランスレポートログを追加しました(#36749)
                                                                                                                                                                                                                                                              • -
                                                                                                                                                                                                                                                              • 共通のGC設定を使用するように変更した(#36670)
                                                                                                                                                                                                                                                              • -
                                                                                                                                                                                                                                                              • デリゲータにストリーミングフォワードポリシーのスイッチを追加しました(#36712)。
                                                                                                                                                                                                                                                              • -
                                                                                                                                                                                                                                                              • インデックスを持たないコレクションの手動コンパクションを可能にした(#36581)
                                                                                                                                                                                                                                                              • -
                                                                                                                                                                                                                                                              • メモリ容量が異なるクエリノードの負荷分散を可能にした(#36625)
                                                                                                                                                                                                                                                              • -
                                                                                                                                                                                                                                                              • 受信ラベルのケースをmetrics.labelで統一した(#36616)
                                                                                                                                                                                                                                                              • -
                                                                                                                                                                                                                                                              • 転送チャネル/セグメント操作をべき等とした(#36552)
                                                                                                                                                                                                                                                              • -
                                                                                                                                                                                                                                                              • インポートのスループットとインポートされた行数を監視するメトリクスを追加(#36588)
                                                                                                                                                                                                                                                              • -
                                                                                                                                                                                                                                                              • ターゲットに複数のタイマーオブジェクトが作成されないようにした(#36573)
                                                                                                                                                                                                                                                              • -
                                                                                                                                                                                                                                                              • 式のバージョンとHTTPレスポンスの書式を更新した(#36467)
                                                                                                                                                                                                                                                              • -
                                                                                                                                                                                                                                                              • スナップショットKVのガベージコレクションを強化した(#36793)
                                                                                                                                                                                                                                                              • -
                                                                                                                                                                                                                                                              • コンテキストパラメータを持つメソッドの実行をサポート(#36798)
                                                                                                                                                                                                                                                              • +
                                                                                                                                                                                                                                                              • Split delete task messages to fit within max message size limits (#36574)
                                                                                                                                                                                                                                                              • +
                                                                                                                                                                                                                                                              • Added new RESTful URL to describe import jobs (#36754)
                                                                                                                                                                                                                                                              • +
                                                                                                                                                                                                                                                              • Optimized import scheduling and added a time cost metric (#36684)
                                                                                                                                                                                                                                                              • +
                                                                                                                                                                                                                                                              • Added balance report log for query coordinator balancer (#36749)
                                                                                                                                                                                                                                                              • +
                                                                                                                                                                                                                                                              • Switched to using common GC configuration (#36670)
                                                                                                                                                                                                                                                              • +
                                                                                                                                                                                                                                                              • Added streaming forward policy switch for delegator (#36712)
                                                                                                                                                                                                                                                              • +
                                                                                                                                                                                                                                                              • Enabled manual compaction for collections without indexes (#36581)
                                                                                                                                                                                                                                                              • +
                                                                                                                                                                                                                                                              • Enabled load balancing on query nodes with varying memory capacities (#36625)
                                                                                                                                                                                                                                                              • +
                                                                                                                                                                                                                                                              • Unified case for inbound labels using metrics.label (#36616)
                                                                                                                                                                                                                                                              • +
                                                                                                                                                                                                                                                              • Made transfer channel/segment operations idempotent (#36552)
                                                                                                                                                                                                                                                              • +
                                                                                                                                                                                                                                                              • Added metrics to monitor import throughput and imported row count (#36588)
                                                                                                                                                                                                                                                              • +
                                                                                                                                                                                                                                                              • Prevented creation of multiple timer objects in targets (#36573)
                                                                                                                                                                                                                                                              • +
                                                                                                                                                                                                                                                              • Updated expression version and formatted HTTP response for expressions (#36467)
                                                                                                                                                                                                                                                              • +
                                                                                                                                                                                                                                                              • Enhanced garbage collection in snapshot KV (#36793)
                                                                                                                                                                                                                                                              • +
                                                                                                                                                                                                                                                              • Added support to execute methods with context parameters (#36798)

                                                                                                                                                                                                                                                              v2.4.12

                                                                                                                                                                                                                                                              リリース日2024年9月26日

                                                                                                                                                                                                                                                              +

                                                                                                                                                                                                                                                              Release Date: September 26, 2024

                                                                                                                                                                                                                                                              - +
                                                                                                                                                                                                                                                              MilvusバージョンPython SDKバージョンJava SDKバージョンNode.js SDKバージョン
                                                                                                                                                                                                                                                              Milvus versionPython SDK versionJava SDK versionNode.js SDK version
                                                                                                                                                                                                                                                              2.4.122.4.72.4.42.4.9
                                                                                                                                                                                                                                                              -

                                                                                                                                                                                                                                                              Milvus 2.4.12では、大幅な機能強化と重要なバグ修正が行われました。このリリースでは、データ重複の問題が解決され、特に大量の削除を処理する際の障害回復速度が向上しています。しかしながら、大量のデータを削除した場合に障害復旧に時間がかかるという既知の問題が残っています。私たちはこの問題の解決に積極的に取り組んでいます。

                                                                                                                                                                                                                                                              -

                                                                                                                                                                                                                                                              改良点

                                                                                                                                                                                                                                                                -
                                                                                                                                                                                                                                                              • flowgraphマネージャのグレースフル・ストップを実装しました(#36358)。
                                                                                                                                                                                                                                                              • -
                                                                                                                                                                                                                                                              • ロードされていないベクトルフィールドのインデックスチェックを無効にした(#36280)
                                                                                                                                                                                                                                                              • -
                                                                                                                                                                                                                                                              • デルタロード時にヒットしない削除レコードを除外するようにした(#36272)
                                                                                                                                                                                                                                                              • -
                                                                                                                                                                                                                                                              • std::stoi例外のエラー処理を改善(#36296)
                                                                                                                                                                                                                                                              • -
                                                                                                                                                                                                                                                              • フィールド名または動的フィールド名としてキーワードを使用できないようにした(#36108)
                                                                                                                                                                                                                                                              • -
                                                                                                                                                                                                                                                              • L0 セグメントの削除エントリのメトリクスを追加(#36227)
                                                                                                                                                                                                                                                              • -
                                                                                                                                                                                                                                                              • リモートロードをサポートするためにL0フォワードポリシーを実装(#36208)
                                                                                                                                                                                                                                                              • -
                                                                                                                                                                                                                                                              • プロキシにおけるANNフィールドのロードチェックを追加(#36194)
                                                                                                                                                                                                                                                              • -
                                                                                                                                                                                                                                                              • 空のスパース行のサポートを有効にした(#36061)。
                                                                                                                                                                                                                                                              • -
                                                                                                                                                                                                                                                              • セキュリティ脆弱性の修正(#36156)
                                                                                                                                                                                                                                                              • -
                                                                                                                                                                                                                                                              • リクエスト/レスポンスのサイズメトリクスの統計情報ハンドラを実装(#36118)
                                                                                                                                                                                                                                                              • -
                                                                                                                                                                                                                                                              • エンコードされた配列データのサイズ推定を修正した(#36379)
                                                                                                                                                                                                                                                              • +

                                                                                                                                                                                                                                                                Milvus 2.4.12 introduces significant enhancements and critical bug fixes. This release addresses data duplication issues and improves failure recovery speed, particularly when handling large numbers of deletions. However, a known issue persists where failure recovery can be slow when deleting massive amounts of data. We are actively working on resolving this issue.

                                                                                                                                                                                                                                                                +

                                                                                                                                                                                                                                                                Improvements

                                                                                                                                                                                                                                                                  +
                                                                                                                                                                                                                                                                • Implemented graceful stop for flowgraph manager (#36358)
                                                                                                                                                                                                                                                                • +
                                                                                                                                                                                                                                                                • Disabled index checks for non-loaded vector fields (#36280)
                                                                                                                                                                                                                                                                • +
                                                                                                                                                                                                                                                                • Filtered out non-hit delete records during delta loading (#36272)
                                                                                                                                                                                                                                                                • +
                                                                                                                                                                                                                                                                • Improved error handling for std::stoi exceptions (#36296)
                                                                                                                                                                                                                                                                • +
                                                                                                                                                                                                                                                                • Disallowed keywords as field names or dynamic field names (#36108)
                                                                                                                                                                                                                                                                • +
                                                                                                                                                                                                                                                                • Added metrics for delete entries in L0 segments (#36227)
                                                                                                                                                                                                                                                                • +
                                                                                                                                                                                                                                                                • Implemented L0 forward policy to support remote loading (#36208)
                                                                                                                                                                                                                                                                • +
                                                                                                                                                                                                                                                                • Added ANN field loading check in proxy (#36194)
                                                                                                                                                                                                                                                                • +
                                                                                                                                                                                                                                                                • Enabled empty sparse row support (#36061)
                                                                                                                                                                                                                                                                • +
                                                                                                                                                                                                                                                                • Fixed a security vulnerability (#36156)
                                                                                                                                                                                                                                                                • +
                                                                                                                                                                                                                                                                • Implemented stats handler for request/response size metrics (#36118)
                                                                                                                                                                                                                                                                • +
                                                                                                                                                                                                                                                                • Corrected size estimation for encoded array data (#36379)
                                                                                                                                                                                                                                                                -

                                                                                                                                                                                                                                                                バグ修正

                                                                                                                                                                                                                                                                  -
                                                                                                                                                                                                                                                                • 2つのベクトルフィールドを持つコレクションのメトリクス型エラーを修正した(#36473)
                                                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                                                • メッセージキューの受信失敗の原因となる長いバッファリングの問題を修正した(#36425)。
                                                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                                                • 分割後のコンパクトからセグメントへの適切な復帰を実装した(#36429)
                                                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                                                • ノードIDチェックゴルーチンのデータ競合問題を解決(#36377)
                                                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                                                • 要素タイプチェックを削除した(#36324)
                                                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                                                • 成長しているセグメントと封印されたセグメントの同時アクセスの問題を修正(#36288)
                                                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                                                • 将来のステートフルロックを実装(#36333)。
                                                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                                                • HybridSearchにおけるオフセットの使用方法を修正した(#36287,#36253)。
                                                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                                                • QueryNodeにおけるダーティセグメント/チャネルのリークを修正した(#36259)。
                                                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                                                • 主キーの重複処理を修正した(#36274)
                                                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                                                • 検索リクエストにおけるメトリックタイプの設定を強制した(#36279)
                                                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                                                • stored_index_files_sizeのメトリクスクリア問題を修正した(#36161)
                                                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                                                • グローバルAPIアクセスにおける読み書き権限グループの動作を修正した(#36145)
                                                                                                                                                                                                                                                                • +

                                                                                                                                                                                                                                                                  Bug fixes

                                                                                                                                                                                                                                                                    +
                                                                                                                                                                                                                                                                  • Resolved metric type errors for collections with two vector fields (#36473)
                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                  • Fixed long buffering issues causing message queue reception failures (#36425)
                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                  • Implemented proper compact-to-segments return after split support (#36429)
                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                  • Resolved data race issues with node ID check goroutine (#36377)
                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                  • Removed element type check (#36324)
                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                  • Fixed concurrent access issues for growing and sealed segments (#36288)
                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                  • Implemented future stateful lock (#36333)
                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                  • Corrected offset usage in HybridSearch (#36287, #36253)
                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                  • Resolved dirty segment/channel leaks on QueryNode (#36259)
                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                  • Fixed primary key duplication handling (#36274)
                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                  • Enforced metric type setting in search requests (#36279)
                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                  • Fixed stored_index_files_size metric clearing issue (#36161)
                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                  • Corrected readwrite privilege group behavior for global API access (#36145)

                                                                                                                                                                                                                                                                  v2.4.11

                                                                                                                                                                                                                                                                  リリース日2024年9月11日

                                                                                                                                                                                                                                                                  +

                                                                                                                                                                                                                                                                  Release Date: September 11, 2024

                                                                                                                                                                                                                                                                  - +
                                                                                                                                                                                                                                                                  MilvusバージョンPython SDKバージョンJava SDKバージョンNode.js SDKバージョン
                                                                                                                                                                                                                                                                  Milvus versionPython SDK versionJava SDK versionNode.js SDK version
                                                                                                                                                                                                                                                                  2.4.112.4.62.4.32.4.8
                                                                                                                                                                                                                                                                  -

                                                                                                                                                                                                                                                                  Milvus 2.4.11はMilisaのトライ・インデックス、コンパクション、ロード操作に関連する複数の重大な問題を修正したリリースである。本リリースは式の表示と削除の安定性向上のための新機能を導入している。2.4.xシリーズの全ユーザーに本バージョンへのアップグレードを推奨する。

                                                                                                                                                                                                                                                                  -

                                                                                                                                                                                                                                                                  機能

                                                                                                                                                                                                                                                                    -
                                                                                                                                                                                                                                                                  • 2.4における式の静的表示を追加(#35954)
                                                                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                                                                  • 削除バッファ関連のクォータロジックを実装(#35997)
                                                                                                                                                                                                                                                                  • +

                                                                                                                                                                                                                                                                    Milvus 2.4.11 is a bug-fix release that addresses multiple critical issues related to the MARISA trie index, compaction, and loading operations. This release introduces new features to view expressions and improve delete stability. We recommend all users of the 2.4.x series to upgrade to this version to benefit from these improvements and fixes.

                                                                                                                                                                                                                                                                    +

                                                                                                                                                                                                                                                                    Features

                                                                                                                                                                                                                                                                      +
                                                                                                                                                                                                                                                                    • Added static view for expressions in 2.4 (#35954)
                                                                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                                                                    • Implemented delete buffer related quota logic (#35997)
                                                                                                                                                                                                                                                                    -

                                                                                                                                                                                                                                                                    バグ修正

                                                                                                                                                                                                                                                                      -
                                                                                                                                                                                                                                                                    • GreaterThanおよびGreaterThanEqual比較におけるTrieインデックス範囲操作の問題を解決(#36126)
                                                                                                                                                                                                                                                                    • -
                                                                                                                                                                                                                                                                    • Trieインデックス構築におけるmarisa_label_order の使用方法を修正しました(#36060)。
                                                                                                                                                                                                                                                                    • -
                                                                                                                                                                                                                                                                    • trie.predictive_search の値チェックを強化(#35999)
                                                                                                                                                                                                                                                                    • -
                                                                                                                                                                                                                                                                    • 転置インデックスにおける二進算術式のサポートを有効にした(#36097)。
                                                                                                                                                                                                                                                                    • -
                                                                                                                                                                                                                                                                    • Skipindexによるセグメントフォールトを修正しました(#35908)。
                                                                                                                                                                                                                                                                    • -
                                                                                                                                                                                                                                                                    • プロキシメタキャッシュにおけるメモリリークを修正(#36076)
                                                                                                                                                                                                                                                                    • -
                                                                                                                                                                                                                                                                    • ディレクトリの衝突を防ぐためにmmapファイルのパス名を変更(#35975)
                                                                                                                                                                                                                                                                    • -
                                                                                                                                                                                                                                                                    • ミックスコンパクションにおける失敗/タイムアウトタスクのログ記録とクリーンアップを改善(#35967)
                                                                                                                                                                                                                                                                    • -
                                                                                                                                                                                                                                                                    • デリゲータによるメモリ使用量が多い場合のロジックのデッドロックに対処(#36066)
                                                                                                                                                                                                                                                                    • -
                                                                                                                                                                                                                                                                    • コンパクションですべての挿入が削除された場合に、空のセグメントを作成するようにした(#36045)
                                                                                                                                                                                                                                                                    • -
                                                                                                                                                                                                                                                                    • 2.4の旧バージョンのロード情報からロードフィールドリストを修正(#36018)
                                                                                                                                                                                                                                                                    • -
                                                                                                                                                                                                                                                                    • 2.4における設定更新ロジックのトレースを修正(#35998)
                                                                                                                                                                                                                                                                    • -
                                                                                                                                                                                                                                                                    • 動的パーティション解放時の検索/クエリ要求の失敗を解決(#36019)
                                                                                                                                                                                                                                                                    • -
                                                                                                                                                                                                                                                                    • フォールバックパラメータの上書き防止(#36006)
                                                                                                                                                                                                                                                                    • -
                                                                                                                                                                                                                                                                    • 検証のために特権グループを適切に登録するようにした(#35938)
                                                                                                                                                                                                                                                                    • -
                                                                                                                                                                                                                                                                    • dbリミッターノードの誤ったクリーンアップを防止した(#35992)
                                                                                                                                                                                                                                                                    • -
                                                                                                                                                                                                                                                                    • 障害復旧後にレプリカがクエリに参加しない問題を修正した(#35925)
                                                                                                                                                                                                                                                                    • -
                                                                                                                                                                                                                                                                    • クラスタリングコンパクションライタのデータ競合を解決した(#35958)
                                                                                                                                                                                                                                                                    • -
                                                                                                                                                                                                                                                                    • 移動操作後の変数参照を修正した(#35904)
                                                                                                                                                                                                                                                                    • -
                                                                                                                                                                                                                                                                    • クラスタリングキースキップのロード動作チェックを実装した(#35899)
                                                                                                                                                                                                                                                                    • -
                                                                                                                                                                                                                                                                    • 2.4でquerycoordオブザーバを単一起動するようにした(#35817)
                                                                                                                                                                                                                                                                    • +

                                                                                                                                                                                                                                                                      Bug fixes

                                                                                                                                                                                                                                                                        +
                                                                                                                                                                                                                                                                      • Resolved Trie index range operation issue for GreaterThan and GreaterThanEqual comparisons (#36126)
                                                                                                                                                                                                                                                                      • +
                                                                                                                                                                                                                                                                      • Corrected marisa_label_order usage in Trie index construction (#36060)
                                                                                                                                                                                                                                                                      • +
                                                                                                                                                                                                                                                                      • Enhanced value checking for trie.predictive_search (#35999)
                                                                                                                                                                                                                                                                      • +
                                                                                                                                                                                                                                                                      • Enabled Binary arithmetic expression support on inverted index (#36097)
                                                                                                                                                                                                                                                                      • +
                                                                                                                                                                                                                                                                      • Fixed segment fault caused by Skipindex (#35908)
                                                                                                                                                                                                                                                                      • +
                                                                                                                                                                                                                                                                      • Resolved memory leak in proxy meta cache (#36076)
                                                                                                                                                                                                                                                                      • +
                                                                                                                                                                                                                                                                      • Renamed mmap file path to prevent directory conflicts (#35975)
                                                                                                                                                                                                                                                                      • +
                                                                                                                                                                                                                                                                      • Improved logging and cleanup for failed/timeout tasks in mix compaction (#35967)
                                                                                                                                                                                                                                                                      • +
                                                                                                                                                                                                                                                                      • Addressed logic deadlock during high memory usage by delegator (#36066)
                                                                                                                                                                                                                                                                      • +
                                                                                                                                                                                                                                                                      • Implemented empty segment creation when compaction deletes all inserts (#36045)
                                                                                                                                                                                                                                                                      • +
                                                                                                                                                                                                                                                                      • Corrected load field list population from old version load info in 2.4 (#36018)
                                                                                                                                                                                                                                                                      • +
                                                                                                                                                                                                                                                                      • Fixed tracing config update logic in 2.4 (#35998)
                                                                                                                                                                                                                                                                      • +
                                                                                                                                                                                                                                                                      • Resolved search/query request failures during dynamic partition release (#36019)
                                                                                                                                                                                                                                                                      • +
                                                                                                                                                                                                                                                                      • Prevented override of fallback parameters (#36006)
                                                                                                                                                                                                                                                                      • +
                                                                                                                                                                                                                                                                      • Ensured proper registration of privilege groups for validation (#35938)
                                                                                                                                                                                                                                                                      • +
                                                                                                                                                                                                                                                                      • Prevented mistaken cleanup of db limiter nodes (#35992)
                                                                                                                                                                                                                                                                      • +
                                                                                                                                                                                                                                                                      • Addressed issue with replicas not participating in queries after failure recovery (#35925)
                                                                                                                                                                                                                                                                      • +
                                                                                                                                                                                                                                                                      • Resolved data race in clustering compaction writer (#35958)
                                                                                                                                                                                                                                                                      • +
                                                                                                                                                                                                                                                                      • Fixed variable reference after move operation (#35904)
                                                                                                                                                                                                                                                                      • +
                                                                                                                                                                                                                                                                      • Implemented clustering key skip load behavior check (#35899)
                                                                                                                                                                                                                                                                      • +
                                                                                                                                                                                                                                                                      • Ensured single startup of querycoord observers in 2.4 (#35817)
                                                                                                                                                                                                                                                                      -

                                                                                                                                                                                                                                                                      改良点

                                                                                                                                                                                                                                                                        -
                                                                                                                                                                                                                                                                      • Milvusおよびprotoのバージョンを2.4.11に更新した(#36069)。
                                                                                                                                                                                                                                                                      • -
                                                                                                                                                                                                                                                                      • ユニットテストのメモリリークに対処し、unittestビルドでuse_asanオプションを有効にした(#35857)。
                                                                                                                                                                                                                                                                      • -
                                                                                                                                                                                                                                                                      • l0segmentsrowcountの制限値をより適切な値に調整した(#36015)。
                                                                                                                                                                                                                                                                      • -
                                                                                                                                                                                                                                                                      • deltalogのメモリ推定係数を1に修正した(#36035)。
                                                                                                                                                                                                                                                                      • -
                                                                                                                                                                                                                                                                      • ロードフィールドリストの比較にslicesetequalを実装(#36062)
                                                                                                                                                                                                                                                                      • -
                                                                                                                                                                                                                                                                      • 削除操作のログ頻度を削減した(#35981)
                                                                                                                                                                                                                                                                      • -
                                                                                                                                                                                                                                                                      • etcdのバージョンを3.5.14に更新した(#35977)
                                                                                                                                                                                                                                                                      • -
                                                                                                                                                                                                                                                                      • ウォームアップ後のmmap-rssの削減を最適化(#35965)
                                                                                                                                                                                                                                                                      • -
                                                                                                                                                                                                                                                                      • 読み込み要求に対するレートリミッターの冷却期間を削除した(#35936)
                                                                                                                                                                                                                                                                      • -
                                                                                                                                                                                                                                                                      • 過去にロードされたコレクションのロードフィールドチェックを強化した(#35910)
                                                                                                                                                                                                                                                                      • -
                                                                                                                                                                                                                                                                      • 2.4の権限リストに関連するロールの削除をサポート(#35863)
                                                                                                                                                                                                                                                                      • -
                                                                                                                                                                                                                                                                      • 非推奨のプロトライブラリの使用を禁止するdepguardルールを実装(#35818)
                                                                                                                                                                                                                                                                      • +

                                                                                                                                                                                                                                                                        Improvements

                                                                                                                                                                                                                                                                          +
                                                                                                                                                                                                                                                                        • Upgraded Milvus & proto version to 2.4.11 (#36069)
                                                                                                                                                                                                                                                                        • +
                                                                                                                                                                                                                                                                        • Addressed memory leak in unit tests and enable use_asan option for unittest builds (#35857)
                                                                                                                                                                                                                                                                        • +
                                                                                                                                                                                                                                                                        • Adjusted l0segmentsrowcount limits to more appropriate values (#36015)
                                                                                                                                                                                                                                                                        • +
                                                                                                                                                                                                                                                                        • Modified deltalog memory estimation factor to one (#36035)
                                                                                                                                                                                                                                                                        • +
                                                                                                                                                                                                                                                                        • Implemented slicesetequal for load field list comparisons (#36062)
                                                                                                                                                                                                                                                                        • +
                                                                                                                                                                                                                                                                        • Reduced log frequency for delete operations (#35981)
                                                                                                                                                                                                                                                                        • +
                                                                                                                                                                                                                                                                        • Upgraded etcd version to 3.5.14 (#35977)
                                                                                                                                                                                                                                                                        • +
                                                                                                                                                                                                                                                                        • Optimized mmap-rss reduction after warmup (#35965)
                                                                                                                                                                                                                                                                        • +
                                                                                                                                                                                                                                                                        • Removed cooling off period in rate limiter for read requests (#35936)
                                                                                                                                                                                                                                                                        • +
                                                                                                                                                                                                                                                                        • Enhanced load field checking for previously loaded collections (#35910)
                                                                                                                                                                                                                                                                        • +
                                                                                                                                                                                                                                                                        • Added support for dropping roles related to privilege lists in 2.4 (#35863)
                                                                                                                                                                                                                                                                        • +
                                                                                                                                                                                                                                                                        • Implemented depguard rules to prohibit deprecated proto library usage (#35818)
                                                                                                                                                                                                                                                                        -

                                                                                                                                                                                                                                                                        その他

                                                                                                                                                                                                                                                                          -
                                                                                                                                                                                                                                                                        • Knowhereのバージョンを更新した(#36067)
                                                                                                                                                                                                                                                                        • +

                                                                                                                                                                                                                                                                          Others

                                                                                                                                                                                                                                                                            +
                                                                                                                                                                                                                                                                          • Updated Knowhere version (#36067)

                                                                                                                                                                                                                                                                          v2.4.10

                                                                                                                                                                                                                                                                          リリース日2024年8月30日

                                                                                                                                                                                                                                                                          +

                                                                                                                                                                                                                                                                          Release Date: August 30, 2024

                                                                                                                                                                                                                                                                          - +
                                                                                                                                                                                                                                                                          MilvusバージョンPython SDKバージョンJava SDKバージョンNode.js SDKバージョン
                                                                                                                                                                                                                                                                          Milvus versionPython SDK versionJava SDK versionNode.js SDK version
                                                                                                                                                                                                                                                                          2.4.102.4.62.4.32.4.6
                                                                                                                                                                                                                                                                          -

                                                                                                                                                                                                                                                                          Milvus 2.4.10では、機能と安定性が大幅に改善されました。主な機能として、AutoID対応コレクションに対するupsert操作のサポート、コレクションの部分ロード機能、メモリ使用量を最適化するための様々なメモリマップド(MMAP)構成などがあります。このリリースでは、パニック、コア・ダンプ、リソース・リークの原因となるいくつかのバグにも対処しています。これらの改善点をフルに活用するために、アップグレードすることをお勧めします。

                                                                                                                                                                                                                                                                          -

                                                                                                                                                                                                                                                                          機能

                                                                                                                                                                                                                                                                            -
                                                                                                                                                                                                                                                                          • 自動IDによるアップサート:自動ID生成によるアップサート操作のサポート(#34633)
                                                                                                                                                                                                                                                                          • -
                                                                                                                                                                                                                                                                          • フィールドパーシャルロードコレクション[Beta Preview]:コレクションの特定のフィールドをロードできるようになりました (#35696)
                                                                                                                                                                                                                                                                          • -
                                                                                                                                                                                                                                                                          • RBACの強化
                                                                                                                                                                                                                                                                              -
                                                                                                                                                                                                                                                                            • 変更データ取得(CDC)のRBACメッセージサポートを追加しました(#35562)。
                                                                                                                                                                                                                                                                            • -
                                                                                                                                                                                                                                                                            • readonly/readwrite/admin権限グループを導入し、RBAC付与処理を簡素化した(#35543)
                                                                                                                                                                                                                                                                            • -
                                                                                                                                                                                                                                                                            • RBAC設定のバックアップとリストアのための新しいAPIを追加した(#35513)
                                                                                                                                                                                                                                                                            • -
                                                                                                                                                                                                                                                                            • RBACメタデータのリストア後にプロキシキャッシュをリフレッシュ(#35636)
                                                                                                                                                                                                                                                                            • +

                                                                                                                                                                                                                                                                              Milvus 2.4.10 introduces significant improvements in functionality and stability. Key features include support for upsert operations on AutoID-enabled collections, partial collection loading capabilities, and various memory-mapped (MMAP) configurations to optimize memory usage. This release also addresses several bugs causing panics, core dumps, and resource leaks. We recommend upgrading to take full advantage of these improvements.

                                                                                                                                                                                                                                                                              +

                                                                                                                                                                                                                                                                              Features

                                                                                                                                                                                                                                                                                +
                                                                                                                                                                                                                                                                              • Upsert with Auto ID: Support for upsert operations with automatic ID generation (#34633)
                                                                                                                                                                                                                                                                              • +
                                                                                                                                                                                                                                                                              • Field Partial Load Collection [Beta Preview]: Allows loading specific fields of a collection (#35696)
                                                                                                                                                                                                                                                                              • +
                                                                                                                                                                                                                                                                              • RBAC Enhancements: +
                                                                                                                                                                                                                                                                                  +
                                                                                                                                                                                                                                                                                • Added RBAC message support for Change Data Capture (CDC) (#35562)
                                                                                                                                                                                                                                                                                • +
                                                                                                                                                                                                                                                                                • Introduced readonly/readwrite/admin privilege groups to simplify RBAC grant process (#35543)
                                                                                                                                                                                                                                                                                • +
                                                                                                                                                                                                                                                                                • New API for backing up and restoring RBAC configurations (#35513)
                                                                                                                                                                                                                                                                                • +
                                                                                                                                                                                                                                                                                • Refresh proxy cache after restoring RBAC metadata (#35636)
                                                                                                                                                                                                                                                                              • -
                                                                                                                                                                                                                                                                              • MMAP設定の改善:MMAPの動作を制御するための一般的な設定オプションの追加(#35609)
                                                                                                                                                                                                                                                                              • -
                                                                                                                                                                                                                                                                              • データベースアクセスの制限:データベースへの読み取りアクセスを制限するプロパティを追加しました(#35754)。
                                                                                                                                                                                                                                                                              • +
                                                                                                                                                                                                                                                                              • Improved MMAP Configuration: More general configuration options to control MMAP behavior (#35609)
                                                                                                                                                                                                                                                                              • +
                                                                                                                                                                                                                                                                              • Database Access Restrictions: New properties to restrict read access to databases (#35754)
                                                                                                                                                                                                                                                                              -

                                                                                                                                                                                                                                                                              バグ修正

                                                                                                                                                                                                                                                                                -
                                                                                                                                                                                                                                                                              • Arrow Goクライアントがエラーを返さない問題を修正(#35820)
                                                                                                                                                                                                                                                                              • -
                                                                                                                                                                                                                                                                              • 不正確なレート制限を修正(#35700)
                                                                                                                                                                                                                                                                              • -
                                                                                                                                                                                                                                                                              • インポート関連のAPI失敗時のプロキシパニックを修正(#35559)
                                                                                                                                                                                                                                                                              • -
                                                                                                                                                                                                                                                                              • GCチャネルのチェックポイントで誤って削除される可能性を修正(#35708)
                                                                                                                                                                                                                                                                              • -
                                                                                                                                                                                                                                                                              • 空のインポートセグメント候補によるパニックに対処(#35674)
                                                                                                                                                                                                                                                                              • -
                                                                                                                                                                                                                                                                              • mmap メモリの割り当て解除を修正(#35726)
                                                                                                                                                                                                                                                                              • -
                                                                                                                                                                                                                                                                              • 2.2から2.4へのアップグレードにおいて適切なチャネル監視を保証(#35695)
                                                                                                                                                                                                                                                                              • -
                                                                                                                                                                                                                                                                              • DataNode のチャネル解放関数の監視を解除するように修正(#35657)
                                                                                                                                                                                                                                                                              • -
                                                                                                                                                                                                                                                                              • RootCoordメタデータのパーティションカウントを修正(#35601)
                                                                                                                                                                                                                                                                              • -
                                                                                                                                                                                                                                                                              • 特定のパラメータの動的な設定更新に関する問題を解決(#35637)
                                                                                                                                                                                                                                                                              • +

                                                                                                                                                                                                                                                                                Bug fixes

                                                                                                                                                                                                                                                                                  +
                                                                                                                                                                                                                                                                                • Fixed Arrow Go client don’t return error issue (#35820)
                                                                                                                                                                                                                                                                                • +
                                                                                                                                                                                                                                                                                • Corrected inaccurate rate limiting (#35700)
                                                                                                                                                                                                                                                                                • +
                                                                                                                                                                                                                                                                                • Resolved proxy panic after import-related API failures (#35559)
                                                                                                                                                                                                                                                                                • +
                                                                                                                                                                                                                                                                                • Fixed potential mistaken deletions during GC channel checkpoints (#35708)
                                                                                                                                                                                                                                                                                • +
                                                                                                                                                                                                                                                                                • Addressed panic due to empty candidate import segments (#35674)
                                                                                                                                                                                                                                                                                • +
                                                                                                                                                                                                                                                                                • Corrected mmap memory deallocation (#35726)
                                                                                                                                                                                                                                                                                • +
                                                                                                                                                                                                                                                                                • Ensured proper channel watching for upgrades from 2.2 to 2.4 (#35695)
                                                                                                                                                                                                                                                                                • +
                                                                                                                                                                                                                                                                                • Fixed DataNode unwatching channel release function (#35657)
                                                                                                                                                                                                                                                                                • +
                                                                                                                                                                                                                                                                                • Corrected partition count in RootCoord metadata (#35601)
                                                                                                                                                                                                                                                                                • +
                                                                                                                                                                                                                                                                                • Resolved issues with dynamic config updates for certain parameters (#35637)
                                                                                                                                                                                                                                                                                -

                                                                                                                                                                                                                                                                                改良点

                                                                                                                                                                                                                                                                                パフォーマンス

                                                                                                                                                                                                                                                                                  -
                                                                                                                                                                                                                                                                                • 動的フィールドの検索を最適化(#35602)
                                                                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                                                                • AVX512におけるビットセットの性能向上(#35480)
                                                                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                                                                • once の初期化後に値を再読み込みすることで効率を改善(#35643)
                                                                                                                                                                                                                                                                                • +

                                                                                                                                                                                                                                                                                  Improvements

                                                                                                                                                                                                                                                                                  Performance

                                                                                                                                                                                                                                                                                    +
                                                                                                                                                                                                                                                                                  • Optimized retrieval on dynamic fields (#35602)
                                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                                  • Improved bitset performance for AVX512 (#35480)
                                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                                  • Re-read value after once initialization for better efficiency (#35643)
                                                                                                                                                                                                                                                                                  -

                                                                                                                                                                                                                                                                                  ローリングアップグレードの改善

                                                                                                                                                                                                                                                                                    -
                                                                                                                                                                                                                                                                                  • サスペンド後のクエリノードを読み取り専用とした(#35586)
                                                                                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                                                                                  • 古いコーディネータと新しいノード/プロキシが共存しないようにした(#35760)
                                                                                                                                                                                                                                                                                  • +

                                                                                                                                                                                                                                                                                    Rolling upgrade improvements

                                                                                                                                                                                                                                                                                      +
                                                                                                                                                                                                                                                                                    • Marked query node as read-only after suspended (#35586)
                                                                                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                                                                                    • Prevented coexistence of old coordinator with new node/proxy (#35760)
                                                                                                                                                                                                                                                                                    -

                                                                                                                                                                                                                                                                                    その他

                                                                                                                                                                                                                                                                                      -
                                                                                                                                                                                                                                                                                    • Milvusコア構築プロセスを最適化した(#35660)
                                                                                                                                                                                                                                                                                    • -
                                                                                                                                                                                                                                                                                    • protobuf-go v2に更新した(#35555)
                                                                                                                                                                                                                                                                                    • -
                                                                                                                                                                                                                                                                                    • traceidとspanidの16進文字列エンコーディングによるトレース機能を強化した(#35568)
                                                                                                                                                                                                                                                                                    • -
                                                                                                                                                                                                                                                                                    • クエリフックにヒットセグメント数のメトリクスを追加した(#35619)
                                                                                                                                                                                                                                                                                    • -
                                                                                                                                                                                                                                                                                    • configure load param機能において、古いSDKとの互換性を改善しました(#35573)。
                                                                                                                                                                                                                                                                                    • -
                                                                                                                                                                                                                                                                                    • HTTP v1/v2スロットリングをサポートした(#35504)。
                                                                                                                                                                                                                                                                                    • -
                                                                                                                                                                                                                                                                                    • インデックスメモリの見積もりを修正した(#35670)。
                                                                                                                                                                                                                                                                                    • -
                                                                                                                                                                                                                                                                                    • ミックスコンパクタで複数のセグメントを書き込めるようにし、大きなセグメントの生成を回避(#35648)
                                                                                                                                                                                                                                                                                    • +

                                                                                                                                                                                                                                                                                      Others

                                                                                                                                                                                                                                                                                        +
                                                                                                                                                                                                                                                                                      • Optimized Milvus core building process (#35660)
                                                                                                                                                                                                                                                                                      • +
                                                                                                                                                                                                                                                                                      • Updated to protobuf-go v2 (#35555)
                                                                                                                                                                                                                                                                                      • +
                                                                                                                                                                                                                                                                                      • Enhanced tracing with hex string encoding for traceid and spanid (#35568)
                                                                                                                                                                                                                                                                                      • +
                                                                                                                                                                                                                                                                                      • Added hit segment number metrics for query hook (#35619)
                                                                                                                                                                                                                                                                                      • +
                                                                                                                                                                                                                                                                                      • Improved compatibility with old SDK for configure load param feature (#35573)
                                                                                                                                                                                                                                                                                      • +
                                                                                                                                                                                                                                                                                      • Added support for HTTP v1/v2 throttling (#35504)
                                                                                                                                                                                                                                                                                      • +
                                                                                                                                                                                                                                                                                      • Fixed index memory estimation (#35670)
                                                                                                                                                                                                                                                                                      • +
                                                                                                                                                                                                                                                                                      • Ability to write multiple segments in mix compactor to avoid large segment generation (#35648)

                                                                                                                                                                                                                                                                                      v2.4.9

                                                                                                                                                                                                                                                                                      リリース日2024年8月20日

                                                                                                                                                                                                                                                                                      +

                                                                                                                                                                                                                                                                                      Release Date: August 20, 2024

                                                                                                                                                                                                                                                                                      - +
                                                                                                                                                                                                                                                                                      MilvusバージョンPython SDK バージョンJava SDKバージョンNode.js SDKバージョン
                                                                                                                                                                                                                                                                                      Milvus versionPython SDK versionJava SDK versionNode.js SDK version
                                                                                                                                                                                                                                                                                      2.4.92.4.52.4.32.4.4
                                                                                                                                                                                                                                                                                      -

                                                                                                                                                                                                                                                                                      Milvus v2.4.9では、一部のコーナーケースで制限値(topk)未満の結果を返す可能性のある重大な問題に対処し、プラットフォームのパフォーマンスとユーザビリティを向上させるためのいくつかの重要な改善が含まれています。

                                                                                                                                                                                                                                                                                      -

                                                                                                                                                                                                                                                                                      重大な修正

                                                                                                                                                                                                                                                                                        -
                                                                                                                                                                                                                                                                                      • 読み取り可能なスナップショットからl0セグメントを除外しました(#35510)。
                                                                                                                                                                                                                                                                                      • +

                                                                                                                                                                                                                                                                                        Milvus v2.4.9 addresses a critical issue which could return results less than limit (topk) in some corner cases and includes several key improvements to enhance the performance and usability of the platform.

                                                                                                                                                                                                                                                                                        +

                                                                                                                                                                                                                                                                                        Critical fixes

                                                                                                                                                                                                                                                                                          +
                                                                                                                                                                                                                                                                                        • Excluded l0 segment from readable snapshot (#35510).
                                                                                                                                                                                                                                                                                        -

                                                                                                                                                                                                                                                                                        改良点

                                                                                                                                                                                                                                                                                          -
                                                                                                                                                                                                                                                                                        • プロキシにおけるスキーマヘルパーの重複作成を削除しました(#35502)。
                                                                                                                                                                                                                                                                                        • -
                                                                                                                                                                                                                                                                                        • Ubuntu 20.04におけるMilvusのコンパイルをサポートしました(#35457)。
                                                                                                                                                                                                                                                                                        • -
                                                                                                                                                                                                                                                                                        • ロックの使用を最適化し、クラスタリングバッファライタのダブルフラッシュを回避しました(#35490)。
                                                                                                                                                                                                                                                                                        • -
                                                                                                                                                                                                                                                                                        • 無効なログを削除しました(#35473)。
                                                                                                                                                                                                                                                                                        • -
                                                                                                                                                                                                                                                                                        • クラスタリング圧縮のユーザーガイドを追加しました(#35428)。
                                                                                                                                                                                                                                                                                        • -
                                                                                                                                                                                                                                                                                        • スキーマヘルパーに動的フィールドのサポートを追加しました(#35469)。
                                                                                                                                                                                                                                                                                        • -
                                                                                                                                                                                                                                                                                        • 生成されるYAMLにmsgchannelセクションを追加した(#35466)。
                                                                                                                                                                                                                                                                                        • +

                                                                                                                                                                                                                                                                                          Improvements

                                                                                                                                                                                                                                                                                            +
                                                                                                                                                                                                                                                                                          • Removed duplicated schema helper creation in the proxy (#35502).
                                                                                                                                                                                                                                                                                          • +
                                                                                                                                                                                                                                                                                          • Added support for compiling Milvus on Ubuntu 20.04 (#35457).
                                                                                                                                                                                                                                                                                          • +
                                                                                                                                                                                                                                                                                          • Optimized the use of locks and avoided double flush clustering buffer writer (#35490).
                                                                                                                                                                                                                                                                                          • +
                                                                                                                                                                                                                                                                                          • Removed the invalid log (#35473).
                                                                                                                                                                                                                                                                                          • +
                                                                                                                                                                                                                                                                                          • Added a clustering compaction user guide doc (#35428).
                                                                                                                                                                                                                                                                                          • +
                                                                                                                                                                                                                                                                                          • Added support for dynamic fields in the schema helper (#35469).
                                                                                                                                                                                                                                                                                          • +
                                                                                                                                                                                                                                                                                          • Added the msgchannel section in the generated YAML (#35466).

                                                                                                                                                                                                                                                                                          v2.4.8

                                                                                                                                                                                                                                                                                          リリース日2024年8月14日

                                                                                                                                                                                                                                                                                          +

                                                                                                                                                                                                                                                                                          Release Date: August 14, 2024

                                                                                                                                                                                                                                                                                          - +
                                                                                                                                                                                                                                                                                          milvusバージョンPython SDKバージョンJava SDKバージョンNode.js SDKバージョン
                                                                                                                                                                                                                                                                                          Milvus versionPython SDK versionJava SDK versionNode.js SDK version
                                                                                                                                                                                                                                                                                          2.4.82.4.52.4.32.4.4
                                                                                                                                                                                                                                                                                          -

                                                                                                                                                                                                                                                                                          Milvus 2.4.8では、システムのパフォーマンスと安定性にいくつかの重要な改良が加えられた。最も注目すべき機能はクラスタリングコンパクションの実装であり、これは指定されたクラスタリングキーに基づいて大規模なコレクション内のデータを再分散し、スキャンされるデータ量を削減することにより、検索およびクエリの効率を向上させるメカニズムである。また、コンパクションはシャードDataNodeから切り離され、任意のDataNodeが独立してコンパクションを実行できるようになり、耐障害性、安定性、パフォーマンス、スケーラビリティが向上した。さらに、GoコンポーネントとC++コンポーネント間のインターフェイスは、非同期CGOコールを使用するようにリファクタリングされ、セッションのタイムアウトなどの問題に対処しました。アプリケーションの依存関係も更新され、既知のセキュリティ脆弱性に対処しました。さらに、このリリースには多数のパフォーマンスの最適化と重要なバグの修正も含まれています。

                                                                                                                                                                                                                                                                                          -

                                                                                                                                                                                                                                                                                          機能

                                                                                                                                                                                                                                                                                            -
                                                                                                                                                                                                                                                                                          • クラスタリングコンパクションが実装され、指定されたクラスタリングキーに 基づいてデータを再分散できるようになり、クエリの効率が向上した (#34326)、(#34363)。
                                                                                                                                                                                                                                                                                          • +

                                                                                                                                                                                                                                                                                            Milvus 2.4.8 introduced several significant improvements to the system’s performance and stability. The most notable feature was the implementation of clustering compaction, a mechanism that enhances search and query efficiency by redistributing data in large collections based on a designated clustering key, reducing the amount of data scanned. Compaction was also decoupled from the shard DataNode, allowing any DataNode to perform compaction independently, which improved fault tolerance, stability, performance, and scalability. Additionally, the interface between the Go and C++ components was refactored to use asynchronous CGO calls, addressing issues like session timeouts, while several other performance optimizations were made based on profiling. The application dependencies were also updated to address known security vulnerabilities. Moreover, this release also includes numerous performance optimizations and critical bug fixes.

                                                                                                                                                                                                                                                                                            +

                                                                                                                                                                                                                                                                                            Features

                                                                                                                                                                                                                                                                                              +
                                                                                                                                                                                                                                                                                            • Implemented clustering compaction, allowing data to be redistributed based on a designated clustering key to enhance query efficiency (#34326), (#34363).
                                                                                                                                                                                                                                                                                            -

                                                                                                                                                                                                                                                                                            改良点

                                                                                                                                                                                                                                                                                              -
                                                                                                                                                                                                                                                                                            • CGOに非同期検索機能を実装。(#34200)
                                                                                                                                                                                                                                                                                            • -
                                                                                                                                                                                                                                                                                            • コンパクション処理をShard DataNodeから分離し、システムのモジュール性を向上。(#34157)
                                                                                                                                                                                                                                                                                            • -
                                                                                                                                                                                                                                                                                            • パフォーマンス向上のため、プロキシ/デリゲータ内のQueryNodeでクライアントプーリングをサポートしました。(#35195)
                                                                                                                                                                                                                                                                                            • -
                                                                                                                                                                                                                                                                                            • GinおよびRestfulV1ハンドラにおいて、JSONのマーシャリングおよびアンマーシャリング時のCPUオーバーヘッドを最小化するSonicを統合。(#35018)
                                                                                                                                                                                                                                                                                            • -
                                                                                                                                                                                                                                                                                            • 認証結果の取得を最適化するために、インメモリキャッシュを導入した。(#35272)
                                                                                                                                                                                                                                                                                            • -
                                                                                                                                                                                                                                                                                            • autoindexのデフォルトのメトリックタイプを変更した。[#34277,#34479]
                                                                                                                                                                                                                                                                                            • -
                                                                                                                                                                                                                                                                                            • 変数カラムの実行時のメモリフォーマットをリファクタリングし、メモリ使用量を削減しました。[#34367,#35012,#35041]
                                                                                                                                                                                                                                                                                            • -
                                                                                                                                                                                                                                                                                            • コンパクション処理をリファクタリングし、永続的なデータ保存を可能にしました。(#34268)
                                                                                                                                                                                                                                                                                            • -
                                                                                                                                                                                                                                                                                            • メモリマップドファイルが成長するセグメントをサポートし、メモリ管理を改善。(#34110)
                                                                                                                                                                                                                                                                                            • -
                                                                                                                                                                                                                                                                                            • RESTful API のサポート、ロギングの一貫性レベル、システムエラーとユーザーエラーの区別を追加し、アクセスログを改善しました。[#34295,#34352,#34396]
                                                                                                                                                                                                                                                                                            • -
                                                                                                                                                                                                                                                                                            • Knowhereの新しいパラメータrange_search_k を利用して、範囲検索を高速化した。(#34709)
                                                                                                                                                                                                                                                                                            • -
                                                                                                                                                                                                                                                                                            • ブロックブルームフィルタを適用し、フィルタの構築とクエリの速度を向上しました。[#34377,#34922]
                                                                                                                                                                                                                                                                                            • -
                                                                                                                                                                                                                                                                                            • メモリ使用量の改善:
                                                                                                                                                                                                                                                                                                -
                                                                                                                                                                                                                                                                                              • DataNodeのインサートバッファにあらかじめ領域を割り当てました。(#34205)
                                                                                                                                                                                                                                                                                              • -
                                                                                                                                                                                                                                                                                              • Reduce処理用のFieldData(#34254)
                                                                                                                                                                                                                                                                                              • -
                                                                                                                                                                                                                                                                                              • メモリリークを防ぐため、deleteコーデックのレコードを解放。(#34506)
                                                                                                                                                                                                                                                                                              • -
                                                                                                                                                                                                                                                                                              • ファイル読み込み中のディスクファイルマネージャの同時実行レベルを制御。(#35282)
                                                                                                                                                                                                                                                                                              • -
                                                                                                                                                                                                                                                                                              • Go実行時のガベージコレクションロジックを最適化し、タイムリーなメモリ解放を実現。(#34950)
                                                                                                                                                                                                                                                                                              • -
                                                                                                                                                                                                                                                                                              • 成長するセグメントに対する新しいシールポリシーを実装。(#34779)
                                                                                                                                                                                                                                                                                              • +

                                                                                                                                                                                                                                                                                                Improvements

                                                                                                                                                                                                                                                                                                  +
                                                                                                                                                                                                                                                                                                • Implemented asynchronous search and retrieval capabilities in CGO. (#34200)
                                                                                                                                                                                                                                                                                                • +
                                                                                                                                                                                                                                                                                                • Separated the compaction process from the Shard DataNode to improve system modularity. (#34157)
                                                                                                                                                                                                                                                                                                • +
                                                                                                                                                                                                                                                                                                • Added support for client pooling in QueryNode within the proxy/delegator to enhance performance. (#35195)
                                                                                                                                                                                                                                                                                                • +
                                                                                                                                                                                                                                                                                                • Integrated Sonic to minimize CPU overhead during JSON marshaling and unmarshaling in Gin and RestfulV1 handlers. (#35018)
                                                                                                                                                                                                                                                                                                • +
                                                                                                                                                                                                                                                                                                • Introduced an in-memory cache to optimize authentication result retrieval. (#35272)
                                                                                                                                                                                                                                                                                                • +
                                                                                                                                                                                                                                                                                                • Modified the default metric type for autoindex. [#34277, #34479]
                                                                                                                                                                                                                                                                                                • +
                                                                                                                                                                                                                                                                                                • Refactored the runtime memory format for variable columns, leading to reduced memory usage. [#34367, #35012, #35041]
                                                                                                                                                                                                                                                                                                • +
                                                                                                                                                                                                                                                                                                • Refactored compaction processes to enable persistent data storage. (#34268)
                                                                                                                                                                                                                                                                                                • +
                                                                                                                                                                                                                                                                                                • Enabled memory-mapped file support for growing segments, improving memory management. (#34110)
                                                                                                                                                                                                                                                                                                • +
                                                                                                                                                                                                                                                                                                • Improved access logs by adding RESTful API support, logging consistency levels, and distinguishing between system and user errors. [#34295, #34352, #34396]
                                                                                                                                                                                                                                                                                                • +
                                                                                                                                                                                                                                                                                                • Utilized the new range_search_k parameter in Knowhere to speed up range searches. (#34709)
                                                                                                                                                                                                                                                                                                • +
                                                                                                                                                                                                                                                                                                • Applied blocked Bloom filters to enhance the speed of filter construction and querying. [#34377, #34922]
                                                                                                                                                                                                                                                                                                • +
                                                                                                                                                                                                                                                                                                • Memory Usage Improvements: +
                                                                                                                                                                                                                                                                                                    +
                                                                                                                                                                                                                                                                                                  • Pre-allocated space for DataNode insert buffers. (#34205)
                                                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                                                  • Pre-allocated FieldData for Reduce operations. (#34254)
                                                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                                                  • Released records in delete codec to prevent memory leaks. (#34506)
                                                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                                                  • Controlled concurrency level of the disk file manager during file loading. (#35282)
                                                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                                                  • Optimized Go runtime garbage collection logic for timely memory release. (#34950)
                                                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                                                  • Implemented a new seal policy for growing segments. (#34779)
                                                                                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                                                                                • DataCoord の強化:
                                                                                                                                                                                                                                                                                                    -
                                                                                                                                                                                                                                                                                                  • CPU 使用率を削減。[#34231,#34309]
                                                                                                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                                                                                                  • ガベージコレクションの終了ロジックを高速化。(#35051)
                                                                                                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                                                                                                  • ワーカーノードのスケジューリングアルゴリズムを改善しました。(#34382)
                                                                                                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                                                                                                  • インポート操作に特化したセグメントサイズ制御アルゴリズムを強化。(#35149)
                                                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                                                  • DataCoord Enhancements: +
                                                                                                                                                                                                                                                                                                      +
                                                                                                                                                                                                                                                                                                    • Reduced CPU usage. [#34231, #34309]
                                                                                                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                                                                                                    • Implemented faster garbage collection exit logic. (#35051)
                                                                                                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                                                                                                    • Improved worker node scheduling algorithms. (#34382)
                                                                                                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                                                                                                    • Enhanced segment size control algorithm specifically for import operations. (#35149)
                                                                                                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                                                                                                  • ロードバランシングアルゴリズムの改良:
                                                                                                                                                                                                                                                                                                      -
                                                                                                                                                                                                                                                                                                    • デリゲータのメモリ過負荷要因を低減しました。(#35164)
                                                                                                                                                                                                                                                                                                    • -
                                                                                                                                                                                                                                                                                                    • デリゲータに固定メモリサイズを割り当て。(#34600)
                                                                                                                                                                                                                                                                                                    • -
                                                                                                                                                                                                                                                                                                    • 新しいクエリノードに対してセグメントとチャンネルを過剰に割り当てないようにした。(#34245)
                                                                                                                                                                                                                                                                                                    • -
                                                                                                                                                                                                                                                                                                    • クエリコーディネータによるスケジューリングサイクルあたりのタスク数を削減し、スケジューリング頻度を増加させた。(#34987)
                                                                                                                                                                                                                                                                                                    • -
                                                                                                                                                                                                                                                                                                    • データノードのチャネルバランシングアルゴリズムを強化しました(#35033)。
                                                                                                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                                                                                                    • Load Balancing Algorithm Improvements: +
                                                                                                                                                                                                                                                                                                        +
                                                                                                                                                                                                                                                                                                      • Reduced the memory overload factor on the delegator. (#35164)
                                                                                                                                                                                                                                                                                                      • +
                                                                                                                                                                                                                                                                                                      • Allocated fixed memory size for the delegator. (#34600)
                                                                                                                                                                                                                                                                                                      • +
                                                                                                                                                                                                                                                                                                      • Avoided excessive allocation of segments and channels for new query nodes. (#34245)
                                                                                                                                                                                                                                                                                                      • +
                                                                                                                                                                                                                                                                                                      • Reduced the number of tasks per scheduling cycle by Query Coordinator while increasing scheduling frequency. (#34987)
                                                                                                                                                                                                                                                                                                      • +
                                                                                                                                                                                                                                                                                                      • Enhanced channel balancing algorithm on the DataNode. (#35033)
                                                                                                                                                                                                                                                                                                    • -
                                                                                                                                                                                                                                                                                                    • システムメトリクスの拡張:以下のような特定の局面を監視するために、様々なコンポーネントにわたって新しいメトリクスを追加しました:
                                                                                                                                                                                                                                                                                                        -
                                                                                                                                                                                                                                                                                                      • 強制書き込み拒否状態。(#34989)
                                                                                                                                                                                                                                                                                                      • -
                                                                                                                                                                                                                                                                                                      • キューの待ち時間。(#34788)
                                                                                                                                                                                                                                                                                                      • -
                                                                                                                                                                                                                                                                                                      • ディスククォータ。(#35306)
                                                                                                                                                                                                                                                                                                      • -
                                                                                                                                                                                                                                                                                                      • タスク実行時間。(#35141)
                                                                                                                                                                                                                                                                                                      • -
                                                                                                                                                                                                                                                                                                      • ビンログサイズ。(#35235)
                                                                                                                                                                                                                                                                                                      • -
                                                                                                                                                                                                                                                                                                      • 挿入率。(#35188)
                                                                                                                                                                                                                                                                                                      • -
                                                                                                                                                                                                                                                                                                      • メモリの高水位。(#35188)
                                                                                                                                                                                                                                                                                                      • -
                                                                                                                                                                                                                                                                                                      • RESTful API のメトリクス。(#35083)
                                                                                                                                                                                                                                                                                                      • -
                                                                                                                                                                                                                                                                                                      • 検索待ち時間。(#34783)
                                                                                                                                                                                                                                                                                                      • +
                                                                                                                                                                                                                                                                                                      • Expanded System Metrics: Added new metrics across various components to monitor specific aspects including: +
                                                                                                                                                                                                                                                                                                      -

                                                                                                                                                                                                                                                                                                      変更点

                                                                                                                                                                                                                                                                                                        -
                                                                                                                                                                                                                                                                                                      • オープンソースユーザーのために、このバージョンでは AutoIndex のFloatVectorBinaryVector のメトリックタイプをそれぞれCosineHamming に変更しました。

                                                                                                                                                                                                                                                                                                      • -
                                                                                                                                                                                                                                                                                                      • サードパーティ依存バージョンの修正

                                                                                                                                                                                                                                                                                                        +

                                                                                                                                                                                                                                                                                                        Changes

                                                                                                                                                                                                                                                                                                          +
                                                                                                                                                                                                                                                                                                        • For open-source users, this version changes the metric types in AutoIndex for FloatVector and BinaryVector to Cosine and Hamming, respectively.

                                                                                                                                                                                                                                                                                                        • +
                                                                                                                                                                                                                                                                                                        • Fixed Third-Party Dependency Versions:

                                                                                                                                                                                                                                                                                                            -
                                                                                                                                                                                                                                                                                                          • 本リリースでは、Milvusのソフトウェアサプライチェーンマネジメントを大幅に強化するため、特定のサードパーティ依存ライブラリの固定バージョンを導入しました。
                                                                                                                                                                                                                                                                                                          • -
                                                                                                                                                                                                                                                                                                          • プロジェクトを上流の変更から隔離することで、日々のビルドを潜在的な混乱から保護します。
                                                                                                                                                                                                                                                                                                          • -
                                                                                                                                                                                                                                                                                                          • このアップデートは、検証済みのC++サードパーティパッケージをJFrogクラウド上で独占的にホスティングし、Conan Recipe Revisions(RREV)を利用することで安定性を確保します。
                                                                                                                                                                                                                                                                                                          • -
                                                                                                                                                                                                                                                                                                          • このアプローチにより、ConanCenterのアップデートによる変更のブレークリスクが軽減される。
                                                                                                                                                                                                                                                                                                          • -
                                                                                                                                                                                                                                                                                                          • Ubuntu 22.04を使用している開発者は、これらの変更の恩恵をすぐに受けることができます。しかし、他のオペレーティング・システムの開発者は、互換性の問題を避けるために、glibc のバージョンをアップグレードする必要があるかもしれません。
                                                                                                                                                                                                                                                                                                          • +
                                                                                                                                                                                                                                                                                                          • This release introduces fixed versions for certain third-party dependency libraries, significantly enhancing Milvus’s software supply chain management.
                                                                                                                                                                                                                                                                                                          • +
                                                                                                                                                                                                                                                                                                          • By isolating the project from upstream changes, it safeguards daily builds from potential disruptions.
                                                                                                                                                                                                                                                                                                          • +
                                                                                                                                                                                                                                                                                                          • The update ensures stability by exclusively hosting validated C++ third-party packages on JFrog Cloud and utilizing Conan Recipe Revisions (RREV).
                                                                                                                                                                                                                                                                                                          • +
                                                                                                                                                                                                                                                                                                          • This approach mitigates the risk of breaking changes from updates in ConanCenter.
                                                                                                                                                                                                                                                                                                          • +
                                                                                                                                                                                                                                                                                                          • Developers using Ubuntu 22.04 will benefit immediately from these changes. However, developers on other operating systems may need to upgrade their glibc version to avoid compatibility issues.
                                                                                                                                                                                                                                                                                                        -

                                                                                                                                                                                                                                                                                                        重要なバグ修正

                                                                                                                                                                                                                                                                                                          -
                                                                                                                                                                                                                                                                                                        • L0 コンパクション中にセグメントが省略され、削除データが失われる問題を修正しました。[#33980,#34363]
                                                                                                                                                                                                                                                                                                        • -
                                                                                                                                                                                                                                                                                                        • 誤ったデータスコープ処理のために削除メッセージが転送されない問題を修正しました。(#35313)
                                                                                                                                                                                                                                                                                                        • -
                                                                                                                                                                                                                                                                                                        • mmap の不正な使用により発生していたSIGBUS例外を修正しました。[#34455,#34530].
                                                                                                                                                                                                                                                                                                        • -
                                                                                                                                                                                                                                                                                                        • 不正な検索式によるクラッシュを修正しました。(#35307)
                                                                                                                                                                                                                                                                                                        • -
                                                                                                                                                                                                                                                                                                        • ウォッチコンテキストのタイムアウト設定が正しくないためにDataNodeウォッチが失敗する問題を修正しました。(#35017)
                                                                                                                                                                                                                                                                                                        • +

                                                                                                                                                                                                                                                                                                          Critical bug fixes

                                                                                                                                                                                                                                                                                                            +
                                                                                                                                                                                                                                                                                                          • Fixed an issue where deletion data was lost due to segments being omitted during L0 compaction. [#33980, #34363]
                                                                                                                                                                                                                                                                                                          • +
                                                                                                                                                                                                                                                                                                          • Rectified a problem where delete messages failed to be forwarded due to incorrect data scope handling. (#35313)
                                                                                                                                                                                                                                                                                                          • +
                                                                                                                                                                                                                                                                                                          • Resolved a SIGBUS exception that occurred due to incorrect usage of mmap. [#34455, #34530]
                                                                                                                                                                                                                                                                                                          • +
                                                                                                                                                                                                                                                                                                          • Fixed crashes caused by illegal search expressions. (#35307)
                                                                                                                                                                                                                                                                                                          • +
                                                                                                                                                                                                                                                                                                          • Corrected an issue where DataNode watch failed due to an incorrect timeout setting in the watch context. (#35017)
                                                                                                                                                                                                                                                                                                          -

                                                                                                                                                                                                                                                                                                          バグ修正

                                                                                                                                                                                                                                                                                                            -
                                                                                                                                                                                                                                                                                                          • 特定の依存関係をアップグレードすることで、セキュリティ脆弱性に対処した。[#33927,#34693]
                                                                                                                                                                                                                                                                                                          • -
                                                                                                                                                                                                                                                                                                          • 長すぎる式による解析エラーを修正しました。(#34957)
                                                                                                                                                                                                                                                                                                          • -
                                                                                                                                                                                                                                                                                                          • クエリプランの解析時に発生するメモリリークを解決しました。(#34932)
                                                                                                                                                                                                                                                                                                          • -
                                                                                                                                                                                                                                                                                                          • 動的なログレベルの変更が有効にならない問題を修正しました。(#34777)
                                                                                                                                                                                                                                                                                                          • -
                                                                                                                                                                                                                                                                                                          • 初期化されていないセグメントオフセットが原因で、成長しているデータに対する group by クエリが失敗する問題を解決しました。(#34750)
                                                                                                                                                                                                                                                                                                          • -
                                                                                                                                                                                                                                                                                                          • Knowhere イテレータを使用する場合の検索パラメータの設定を修正した。(#34732)
                                                                                                                                                                                                                                                                                                          • -
                                                                                                                                                                                                                                                                                                          • パーティションのロード状態をチェックするロジックを修正した。(#34305)
                                                                                                                                                                                                                                                                                                          • -
                                                                                                                                                                                                                                                                                                          • 特権キャッシュの更新が未処理のリクエストエラーにより失敗する問題を修正した。(#34697)
                                                                                                                                                                                                                                                                                                          • -
                                                                                                                                                                                                                                                                                                          • QueryCoordの再起動後にロードされたコレクションの回復に失敗する問題を解決した。(#35211)
                                                                                                                                                                                                                                                                                                          • -
                                                                                                                                                                                                                                                                                                          • 不要なインデックスパラメータの検証を削除することで、ロードアイデンポテンスの問題を修正した。(#35179)
                                                                                                                                                                                                                                                                                                          • -
                                                                                                                                                                                                                                                                                                          • DataCoord再起動後、compressBinlog が実行され、reloadFromKV がbinlogのlogID を適切に満たすようにした。(#34062)
                                                                                                                                                                                                                                                                                                          • -
                                                                                                                                                                                                                                                                                                          • DataCoordのガベージコレクション後にコレクションメタデータが削除されない問題を修正しました。(#34884)
                                                                                                                                                                                                                                                                                                          • -
                                                                                                                                                                                                                                                                                                          • DataCoord 内の SegmentManager で、インポートによって生成されたフラッシュされたセグメントを削除することによるメモリリークを解決。(#34651)
                                                                                                                                                                                                                                                                                                          • -
                                                                                                                                                                                                                                                                                                          • コンパクションが無効でコレクションがドロップされた場合のパニック問題を修正。(#34206)
                                                                                                                                                                                                                                                                                                          • -
                                                                                                                                                                                                                                                                                                          • メモリ使用量の推定アルゴリズムを強化することにより、DataNode のメモリ不足問題を修正した。(#34203)
                                                                                                                                                                                                                                                                                                          • -
                                                                                                                                                                                                                                                                                                          • チャンクキャッシュにシングルフライトを実装することで、複数のベクトル検索要求がキャッシュミスにヒットした場合のバーストメモリ使用を防止。(#34283)
                                                                                                                                                                                                                                                                                                          • -
                                                                                                                                                                                                                                                                                                          • コンフィギュレーションで CAS (Compare and Swap) 操作中のErrKeyNotFound を捕捉。(#34489)
                                                                                                                                                                                                                                                                                                          • -
                                                                                                                                                                                                                                                                                                          • CAS操作で誤ってフォーマットされた値を使用したために設定の更新に失敗する問題を修正した。(#34373)
                                                                                                                                                                                                                                                                                                          • +

                                                                                                                                                                                                                                                                                                            Bug fixes

                                                                                                                                                                                                                                                                                                              +
                                                                                                                                                                                                                                                                                                            • Addressed security vulnerabilities by upgrading certain dependencies. [#33927, #34693]
                                                                                                                                                                                                                                                                                                            • +
                                                                                                                                                                                                                                                                                                            • Fixed a parsing error triggered by excessively long expressions. (#34957)
                                                                                                                                                                                                                                                                                                            • +
                                                                                                                                                                                                                                                                                                            • Resolved a memory leak that occurred during query plan parsing. (#34932)
                                                                                                                                                                                                                                                                                                            • +
                                                                                                                                                                                                                                                                                                            • Fixed an issue where dynamic log level modifications were not taking effect. (#34777)
                                                                                                                                                                                                                                                                                                            • +
                                                                                                                                                                                                                                                                                                            • Resolved an issue where group by queries on growing data failed due to uninitialized segment offsets. (#34750)
                                                                                                                                                                                                                                                                                                            • +
                                                                                                                                                                                                                                                                                                            • Corrected the setting of search parameters when using the Knowhere iterator. (#34732)
                                                                                                                                                                                                                                                                                                            • +
                                                                                                                                                                                                                                                                                                            • Revised the logic for checking the status of the partition load. (#34305)
                                                                                                                                                                                                                                                                                                            • +
                                                                                                                                                                                                                                                                                                            • Fixed an issue where privilege cache updates failed due to unhandled request errors. (#34697)
                                                                                                                                                                                                                                                                                                            • +
                                                                                                                                                                                                                                                                                                            • Resolved a failure in loaded collection recovery after QueryCoord restarted. (#35211)
                                                                                                                                                                                                                                                                                                            • +
                                                                                                                                                                                                                                                                                                            • Fixed an issue of load idempotence by removing unnecessary index parameter validation. (#35179)
                                                                                                                                                                                                                                                                                                            • +
                                                                                                                                                                                                                                                                                                            • Ensured compressBinlog is executed to allow reloadFromKV to properly fill binlog’s logID after DataCoord restarts. (#34062)
                                                                                                                                                                                                                                                                                                            • +
                                                                                                                                                                                                                                                                                                            • Fixed an issue where collection metadata was not removed after garbage collection in DataCoord. (#34884)
                                                                                                                                                                                                                                                                                                            • +
                                                                                                                                                                                                                                                                                                            • Resolved a memory leak in SegmentManager within DataCoord by removing flushed segments generated through imports. (#34651)
                                                                                                                                                                                                                                                                                                            • +
                                                                                                                                                                                                                                                                                                            • Fixed a panic issue when compaction was disabled and a collection was dropped. (#34206)
                                                                                                                                                                                                                                                                                                            • +
                                                                                                                                                                                                                                                                                                            • Fixed an out-of-memory issue in DataNode by enhancing the memory usage estimation algorithm. (#34203)
                                                                                                                                                                                                                                                                                                            • +
                                                                                                                                                                                                                                                                                                            • Prevented burst memory usage when multiple vector retrieval requests hit a cache miss by implementing singleflight for chunk cache. (#34283)
                                                                                                                                                                                                                                                                                                            • +
                                                                                                                                                                                                                                                                                                            • Captured ErrKeyNotFound during CAS (Compare and Swap) operations in the configuration. (#34489)
                                                                                                                                                                                                                                                                                                            • +
                                                                                                                                                                                                                                                                                                            • Fixed an issue where configuration updates failed due to mistakenly using the formatted value in a CAS operation. (#34373)
                                                                                                                                                                                                                                                                                                            -

                                                                                                                                                                                                                                                                                                            その他

                                                                                                                                                                                                                                                                                                              -
                                                                                                                                                                                                                                                                                                            • OTLP HTTPエクスポータがサポートされ、観測および監視機能が強化されました。[#35073,#35299]
                                                                                                                                                                                                                                                                                                            • -
                                                                                                                                                                                                                                                                                                            • 最大コレクション数やディスククォータ数を動的に変更できるようになりました。[#34511,#34386]
                                                                                                                                                                                                                                                                                                            • -
                                                                                                                                                                                                                                                                                                            • 診断と監視を改善するために、DataNode内のL0コンパクションプロセスのトレース機能を追加しました。(#33898)
                                                                                                                                                                                                                                                                                                            • -
                                                                                                                                                                                                                                                                                                            • コレクションごとのL0セグメントエントリ数のクォータ設定を導入。(#34837)
                                                                                                                                                                                                                                                                                                            • -
                                                                                                                                                                                                                                                                                                            • インサート操作のレート制限メカニズムをアップサート操作にも適用するように拡張。(#34616)
                                                                                                                                                                                                                                                                                                            • -
                                                                                                                                                                                                                                                                                                            • プロキシ CGO 呼び出し用の動的 CGO プールを実装し、リソースの使用量とパフォーマンスを最適化。(#34842)
                                                                                                                                                                                                                                                                                                            • -
                                                                                                                                                                                                                                                                                                            • Ubuntu、Rocky、および Amazon オペレーティングシステムで DiskAnn コンパイルオプションを有効にし、これらのプラットフォームでの互換性とパフォーマンスを改善しました。(#34244)
                                                                                                                                                                                                                                                                                                            • -
                                                                                                                                                                                                                                                                                                            • コナンをバージョン 1.64.1 にアップグレードし、最新機能との互換性を確保。(#35216)
                                                                                                                                                                                                                                                                                                            • -
                                                                                                                                                                                                                                                                                                            • Knowhere をバージョン 2.3.7 に更新し、パフォーマンスの向上と新機能を追加。(#34709)
                                                                                                                                                                                                                                                                                                            • -
                                                                                                                                                                                                                                                                                                            • 特定のサードパーティパッケージのリビジョンを修正し、一貫したビルドを保証し、予期せぬ変更のリスクを低減した。(#35316)
                                                                                                                                                                                                                                                                                                            • +

                                                                                                                                                                                                                                                                                                              Miscellaneous

                                                                                                                                                                                                                                                                                                                +
                                                                                                                                                                                                                                                                                                              • Added support for the OTLP HTTP exporter, enhancing observability and monitoring capabilities. [#35073, #35299]
                                                                                                                                                                                                                                                                                                              • +
                                                                                                                                                                                                                                                                                                              • Enhanced database functionality by introducing properties such as “max collections” and “disk quota,” which can now be dynamically modified. [#34511, #34386]
                                                                                                                                                                                                                                                                                                              • +
                                                                                                                                                                                                                                                                                                              • Added tracing capabilities for L0 compaction processes within DataNode to improve diagnostics and monitoring. (#33898)
                                                                                                                                                                                                                                                                                                              • +
                                                                                                                                                                                                                                                                                                              • Introduced quota configuration for the number of L0 segment entries per collection, enabling better control over deletion rates by applying backpressure. (#34837)
                                                                                                                                                                                                                                                                                                              • +
                                                                                                                                                                                                                                                                                                              • Extended the rate-limiting mechanism for insert operations to also cover upsert operations, ensuring consistent performance under high load. (#34616)
                                                                                                                                                                                                                                                                                                              • +
                                                                                                                                                                                                                                                                                                              • Implemented a dynamic CGO pool for proxy CGO calls, optimizing resource usage and performance. (#34842)
                                                                                                                                                                                                                                                                                                              • +
                                                                                                                                                                                                                                                                                                              • Enabled the DiskAnn compile option for Ubuntu, Rocky, and Amazon operating systems, improving compatibility and performance on these platforms. (#34244)
                                                                                                                                                                                                                                                                                                              • +
                                                                                                                                                                                                                                                                                                              • Upgraded Conan to version 1.64.1, ensuring compatibility with the latest features and improvements. (#35216)
                                                                                                                                                                                                                                                                                                              • +
                                                                                                                                                                                                                                                                                                              • Updated Knowhere to version 2.3.7, bringing in performance enhancements and new features. (#34709)
                                                                                                                                                                                                                                                                                                              • +
                                                                                                                                                                                                                                                                                                              • Fixed the revision of specific third-party packages to ensure consistent builds and reduce the risk of unexpected changes. (#35316)

                                                                                                                                                                                                                                                                                                              v2.4.6

                                                                                                                                                                                                                                                                                                              リリース日: 2024年7月16日

                                                                                                                                                                                                                                                                                                              +

                                                                                                                                                                                                                                                                                                              Release date: July 16, 2024

                                                                                                                                                                                                                                                                                                              - +
                                                                                                                                                                                                                                                                                                              MilvusバージョンPython SDKバージョンJava SDKバージョンNode.js SDKバージョン
                                                                                                                                                                                                                                                                                                              Milvus versionPython SDK versionJava SDK versionNode.js SDK version
                                                                                                                                                                                                                                                                                                              2.4.62.4.42.4.22.4.4
                                                                                                                                                                                                                                                                                                              -

                                                                                                                                                                                                                                                                                                              Milvus v2.4.6は、パニック、メモリリーク、削除時のデータ損失などの重大な問題に対処したバグ修正リリースです。また、監視メトリクスの強化、Goバージョンの1.21へのアップグレード、RESTful count(*)クエリのユーザーエクスペリエンスの向上など、いくつかの最適化も行われています。

                                                                                                                                                                                                                                                                                                              -

                                                                                                                                                                                                                                                                                                              改良点

                                                                                                                                                                                                                                                                                                                -
                                                                                                                                                                                                                                                                                                              • RESTful APIクエリの使い勝手を向上しました(#34444)。
                                                                                                                                                                                                                                                                                                              • -
                                                                                                                                                                                                                                                                                                              • Goのバージョンを1.20から1.21に更新しました(#33940)。
                                                                                                                                                                                                                                                                                                              • -
                                                                                                                                                                                                                                                                                                              • ヒストグラム・メトリック・バケットを最適化し、バケッティングの粒度をより細かくしました(#34592)。
                                                                                                                                                                                                                                                                                                              • -
                                                                                                                                                                                                                                                                                                              • Pulsar依存バージョンを2.8.2から2.9.5にアップグレード。milvus 2.4.6以降、Pulsarを2.9.5にアップグレードすることを推奨します。
                                                                                                                                                                                                                                                                                                              • +

                                                                                                                                                                                                                                                                                                                Milvus v2.4.6 is a bug-fix release that addresses critical issues such as panics, memory leaks, and data loss during deletions. It also introduces several optimizations, including enhancements to monitoring metrics, upgrading the Go version to 1.21, and improving the user experience for RESTful count(*) queries.

                                                                                                                                                                                                                                                                                                                +

                                                                                                                                                                                                                                                                                                                Improvements

                                                                                                                                                                                                                                                                                                                  +
                                                                                                                                                                                                                                                                                                                • Enhanced the user-friendliness of RESTful API queries (#34444).
                                                                                                                                                                                                                                                                                                                • +
                                                                                                                                                                                                                                                                                                                • Upgraded the Go version from 1.20 to 1.21 (#33940).
                                                                                                                                                                                                                                                                                                                • +
                                                                                                                                                                                                                                                                                                                • Optimized the histogram metric bucket for finer granularity in bucketing (#34592).
                                                                                                                                                                                                                                                                                                                • +
                                                                                                                                                                                                                                                                                                                • Upgraded Pulsar dependency version from 2.8.2 to 2.9.5. It’s recommended to upgrade Pulsar to 2.9.5 since Milvus 2.4.6.
                                                                                                                                                                                                                                                                                                                -

                                                                                                                                                                                                                                                                                                                バグ修正

                                                                                                                                                                                                                                                                                                                  -
                                                                                                                                                                                                                                                                                                                • GetReplicas APIがnilステータスを返す問題を修正しました(#34019)。
                                                                                                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                                                                                                • クエリが削除されたレコードを返す問題を修正した(#34502)。
                                                                                                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                                                                                                • IndexNode が不正な寿命制御によって停止中にスタックする問題を解決した(#34559)。
                                                                                                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                                                                                                • ワーカーがオフラインの場合に、主キーオラクルオブジェクトのメモリリークを修正した(#34020)。
                                                                                                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                                                                                                • ChannelManagerImplV2が正しいNodeに通知されるように修正し、ループクロージャにおけるパラメータ取得の問題を修正しました(#34004)。
                                                                                                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                                                                                                • ImportTask segmentsInfoにおける読み書きデータの競合を、ディープコピーを実装することで修正しました(#34126)。
                                                                                                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                                                                                                • legacyVersionWithoutRPCWatch」設定オプションのバージョン情報を修正し、ローリングアップグレード時のエラーを防止しました(#34185)。
                                                                                                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                                                                                                • ロードされるパーティション数のメトリックを修正しました(#34195)。
                                                                                                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                                                                                                • segcoreのトレース設定時にotlpSecure の設定を渡すようにした(#34210)。
                                                                                                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                                                                                                • DataCoordのプロパティが誤って上書きされる問題を修正した(#34240)。
                                                                                                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                                                                                                • 新しく作成された2つのメッセージストリームが誤ってマージされることによるデータ損失の問題を解決した(#34563)。
                                                                                                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                                                                                                • msgstreamが無効なpchannelを消費しようとすることによるパニックを修正しました(#34230)。
                                                                                                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                                                                                                • インポートによって孤児ファイルが生成される場合がある問題を修正しました(#34071)。
                                                                                                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                                                                                                • セグメント内で主キーが重複していた場合に、クエリ結果が不完全になる問題を修正した(#34302)。
                                                                                                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                                                                                                • L0コンパクションで、封印されたセグメントが欠落する問題を解決した(#34566)。
                                                                                                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                                                                                                • ガベージコレクション後に生成されるchannel-cpメタにダーティデータが含まれる問題を修正しました(#34609)。
                                                                                                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                                                                                                • RootCoordの再起動後にdatabase_numが0になるメトリクスを修正しました(#34010)。
                                                                                                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                                                                                                • DataCoordのSegmentManagerにおいて、インポートによって生成されたフラッシュされたセグメントを削除することによるメモリリークを修正しました(#34652)。
                                                                                                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                                                                                                • DataCoordの再起動後にcompressBinlogがbinlogのlogIDを埋めるようにし、KVからの適切なリロードを保証するようにした(#34064)。
                                                                                                                                                                                                                                                                                                                • +

                                                                                                                                                                                                                                                                                                                  Bug fixes

                                                                                                                                                                                                                                                                                                                    +
                                                                                                                                                                                                                                                                                                                  • Fixed an issue where the GetReplicas API returned a nil status (#34019).
                                                                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                                                                  • Corrected a problem where queries could return deleted records (#34502).
                                                                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                                                                  • Resolved an issue where IndexNode would get stuck during stopping due to incorrect lifetime control (#34559).
                                                                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                                                                  • Fixed a memory leak of primary key oracle objects when a worker is offline (#34020).
                                                                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                                                                  • Corrected ChannelManagerImplV2 to notify the correct Node, addressing parameter capture issues in loop closure (#34004).
                                                                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                                                                  • Fixed a read-write data race in ImportTask segmentsInfo by implementing a deep copy (#34126).
                                                                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                                                                  • Corrected version information for the “legacyVersionWithoutRPCWatch” configuration option to prevent errors during rolling upgrades (#34185).
                                                                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                                                                  • Fixed the metric for the number of partitions loaded (#34195).
                                                                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                                                                  • Passed the otlpSecure config when setting up segcore tracing (#34210).
                                                                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                                                                  • Fixed an issue where DataCoord’s properties were overwritten by mistake (#34240).
                                                                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                                                                  • Resolved a data loss issue caused by erroneously merging two newly created message streams (#34563).
                                                                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                                                                  • Fixed a panic caused by msgstream trying to consume an invalid pchannel (#34230).
                                                                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                                                                  • Addressed an issue where imports could generate orphaned files (#34071).
                                                                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                                                                  • Fixed incomplete query results due to duplicate primary keys in a segment (#34302).
                                                                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                                                                  • Resolved an issue of missing sealed segments in L0 compaction (#34566).
                                                                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                                                                  • Fixed the problem of dirty data in the channel-cp meta generated after garbage collection (#34609).
                                                                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                                                                  • Corrected the metrics where database_num was 0 after restarting RootCoord (#34010).
                                                                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                                                                  • Fixed a memory leak in SegmentManager in DataCoord by removing flushed segments generated through import (#34652).
                                                                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                                                                  • Ensured compressBinlog to fill binlogs’ logID after DataCoord restarts, ensuring proper reload from KV (#34064).

                                                                                                                                                                                                                                                                                                                  v2.4.5

                                                                                                                                                                                                                                                                                                                  リリース日:2024年6月18日

                                                                                                                                                                                                                                                                                                                  +

                                                                                                                                                                                                                                                                                                                  Release date: June 18, 2024

                                                                                                                                                                                                                                                                                                                  - +
                                                                                                                                                                                                                                                                                                                  MilvusバージョンPython SDKバージョンJava SDKバージョンNode.js SDKバージョン
                                                                                                                                                                                                                                                                                                                  Milvus versionPython SDK versionJava SDK versionNode.js SDK version
                                                                                                                                                                                                                                                                                                                  2.4.52.4.42.4.12.4.3
                                                                                                                                                                                                                                                                                                                  -

                                                                                                                                                                                                                                                                                                                  Milvus 2.4.5のリリースでは、パフォーマンス、安定性、機能性を向上させるために、いくつかの改善とバグ修正が行われました。Milvus2.4.5では、自動インデックス作成機能によりスパース、float16、bfloat16ベクトル検索が簡素化され、Bloomフィルター最適化機能により検索、削除、コンパクションが高速化され、ロード時間の短縮とインポートL0セグメントサポートによりデータ管理に取り組んでいます。また、効率的な高次元スパースデータ検索のためのスパースHNSWインデックスを導入し、スパースフロートベクトルをサポートするRESTful APIを強化し、重要なバグを修正して安定性を向上させました。

                                                                                                                                                                                                                                                                                                                  -

                                                                                                                                                                                                                                                                                                                  新機能

                                                                                                                                                                                                                                                                                                                    -
                                                                                                                                                                                                                                                                                                                  • describe/alterデータベースAPIにrbacサポートを追加しました(#33804)。
                                                                                                                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                                                                                                                  • スパースベクトル用のHNSWインデックスの構築をサポートしました(#33653,#33662)。
                                                                                                                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                                                                                                                  • バイナリベクトルのディスクインデックスの構築をサポートしました(#33575)。
                                                                                                                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                                                                                                                  • RESTful v2でスパースベクタタイプをサポートしました(#33555)。
                                                                                                                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                                                                                                                  • コンポーネントを停止するための/management/stop RESTful APIを追加しました(#33799)。
                                                                                                                                                                                                                                                                                                                  • +

                                                                                                                                                                                                                                                                                                                    The release of Milvus 2.4.5 introduces several improvements and bug fixes to enhance performance, stability, and functionality. Milvus 2.4.5 simplifies sparse, float16, and bfloat16 vector search with auto-indexing, speeds up searches, deletions, and compactions with Bloom filter optimizations, and tackles data management through faster loading times and import L0 segment support. It also introduces the sparse HNSW index for efficient high-dimensional sparse data search, enhances the RESTful API with sparse float vector support, and fixes critical bugs for better stability.

                                                                                                                                                                                                                                                                                                                    +

                                                                                                                                                                                                                                                                                                                    New Features

                                                                                                                                                                                                                                                                                                                      +
                                                                                                                                                                                                                                                                                                                    • Added rbac support to describe/alter database api (#33804)
                                                                                                                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                                                                                                                    • Supported building the HNSW index for sparse vectors (#33653, #33662)
                                                                                                                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                                                                                                                    • Supported building the Disk index for binary vector (#33575)
                                                                                                                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                                                                                                                    • Supported sparse vector type on RESTful v2 (#33555)
                                                                                                                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                                                                                                                    • Add /management/stop RESTful api to stop a component (#33799)
                                                                                                                                                                                                                                                                                                                    -

                                                                                                                                                                                                                                                                                                                    改良点

                                                                                                                                                                                                                                                                                                                      -
                                                                                                                                                                                                                                                                                                                    • maxPartitionNumのデフォルト値を1024に設定(#33950)
                                                                                                                                                                                                                                                                                                                    • -
                                                                                                                                                                                                                                                                                                                    • 接続不可エラー時に接続を強制的にリセットできるようにした(#33910)
                                                                                                                                                                                                                                                                                                                    • -
                                                                                                                                                                                                                                                                                                                    • コレクションレベルのフラッシュレートリミッターを有効にした(#33864)
                                                                                                                                                                                                                                                                                                                    • -
                                                                                                                                                                                                                                                                                                                    • セグメント予測を高速化するために、ブルームフィルタの適用を並列に実行するようにした(#33793)
                                                                                                                                                                                                                                                                                                                    • -
                                                                                                                                                                                                                                                                                                                    • json.Unmarshalを高速化するため、削除ログのunmarshalにfastjson libを使用(#33802)
                                                                                                                                                                                                                                                                                                                    • -
                                                                                                                                                                                                                                                                                                                    • BatchPkExistを使用して、ブルームフィルタのfunc呼び出しコストを削減しました(#33752)。
                                                                                                                                                                                                                                                                                                                    • -
                                                                                                                                                                                                                                                                                                                    • 小さなコレクションの読み込みを高速化(#33746)
                                                                                                                                                                                                                                                                                                                    • -
                                                                                                                                                                                                                                                                                                                    • L0セグメントへの削除データのインポートをサポート(#33712)。
                                                                                                                                                                                                                                                                                                                    • -
                                                                                                                                                                                                                                                                                                                    • 同じタスクが何度も実行されないように、タイムアウトされるマークコンパクションのタスクをスキップ(#33833)
                                                                                                                                                                                                                                                                                                                    • -
                                                                                                                                                                                                                                                                                                                    • numpyの一括挿入において、float16およびbfloat16ベクトルをBinaryVectorと同じものとして扱うようにしました(#33788)。
                                                                                                                                                                                                                                                                                                                    • -
                                                                                                                                                                                                                                                                                                                    • seekメソッドにincludeCurrentMsgフラグを追加しました(#33743)。
                                                                                                                                                                                                                                                                                                                    • -
                                                                                                                                                                                                                                                                                                                    • mergeInterval、targetBufSize、msgdispatcherのmaxTolerantLagを設定に追加しました(#33680)。
                                                                                                                                                                                                                                                                                                                    • -
                                                                                                                                                                                                                                                                                                                    • スパースベクトルのGetVectorByIDを改善しました(#33652)。
                                                                                                                                                                                                                                                                                                                    • -
                                                                                                                                                                                                                                                                                                                    • 不要なコピーと関数呼び出しのコストを削減するためにStringPrimarykeyを削除しました(#33649)。
                                                                                                                                                                                                                                                                                                                    • -
                                                                                                                                                                                                                                                                                                                    • バイナリ/スパースデータ型の自動インデックスマッピングを追加しました(#33625)。
                                                                                                                                                                                                                                                                                                                    • -
                                                                                                                                                                                                                                                                                                                    • 一部のキャッシュを最適化し、メモリ使用量を削減した(#33560)
                                                                                                                                                                                                                                                                                                                    • -
                                                                                                                                                                                                                                                                                                                    • インポート/プレインポートタスクの実行インターフェイスを抽象化(#33607)
                                                                                                                                                                                                                                                                                                                    • -
                                                                                                                                                                                                                                                                                                                    • バッファ挿入時にタイムスタンプにマップpkを使用することで、bfの発生を抑制(#33582)
                                                                                                                                                                                                                                                                                                                    • -
                                                                                                                                                                                                                                                                                                                    • インポートの冗長なメタ操作を回避(#33519)
                                                                                                                                                                                                                                                                                                                    • -
                                                                                                                                                                                                                                                                                                                    • ディスククォータ情報のロギングを改善し、UseDefaultConsistencyフラグを追加し、不要なログを削除した(#33597,#33644,#33670)。
                                                                                                                                                                                                                                                                                                                    • +

                                                                                                                                                                                                                                                                                                                      Improvements

                                                                                                                                                                                                                                                                                                                        +
                                                                                                                                                                                                                                                                                                                      • Set maxPartitionNum default value to 1024 (#33950)
                                                                                                                                                                                                                                                                                                                      • +
                                                                                                                                                                                                                                                                                                                      • Enabled to Force reset connection for unavailable error (#33910)
                                                                                                                                                                                                                                                                                                                      • +
                                                                                                                                                                                                                                                                                                                      • Enabled flush rate limiter of collection level (#33864)
                                                                                                                                                                                                                                                                                                                      • +
                                                                                                                                                                                                                                                                                                                      • Executed bloom filter apply in parallel to speed up segment predict (#33793)
                                                                                                                                                                                                                                                                                                                      • +
                                                                                                                                                                                                                                                                                                                      • Used fastjson lib for unmarshal delete log to speed up json.Unmarshal(#33802)
                                                                                                                                                                                                                                                                                                                      • +
                                                                                                                                                                                                                                                                                                                      • Used BatchPkExist to reduce bloom filter func call cost (#33752)
                                                                                                                                                                                                                                                                                                                      • +
                                                                                                                                                                                                                                                                                                                      • Speeded up the loading of small collections (#33746)
                                                                                                                                                                                                                                                                                                                      • +
                                                                                                                                                                                                                                                                                                                      • Supported import delete data to L0 segment (#33712)
                                                                                                                                                                                                                                                                                                                      • +
                                                                                                                                                                                                                                                                                                                      • Skipped mark compaction tasks to be timeouted to aviod executing the same task over and over again (#33833)
                                                                                                                                                                                                                                                                                                                      • +
                                                                                                                                                                                                                                                                                                                      • Handled float16 and bfloat16 vectors as same as BinaryVector in numpy bulk insert (#33788)
                                                                                                                                                                                                                                                                                                                      • +
                                                                                                                                                                                                                                                                                                                      • Added the includeCurrentMsg flag for the seek method (#33743)
                                                                                                                                                                                                                                                                                                                      • +
                                                                                                                                                                                                                                                                                                                      • Added mergeInterval, targetBufSize, maxTolerantLagof msgdispatcher to configs (#33680)
                                                                                                                                                                                                                                                                                                                      • +
                                                                                                                                                                                                                                                                                                                      • Improved GetVectorByID of sparse vector (#33652)
                                                                                                                                                                                                                                                                                                                      • +
                                                                                                                                                                                                                                                                                                                      • Removed StringPrimarykey to reduce unnecessary copy and function call cost (#33649)
                                                                                                                                                                                                                                                                                                                      • +
                                                                                                                                                                                                                                                                                                                      • Added autoindex mapping for binary/sparse data type (#33625)
                                                                                                                                                                                                                                                                                                                      • +
                                                                                                                                                                                                                                                                                                                      • Optimized some cache to reduce memory usage (#33560)
                                                                                                                                                                                                                                                                                                                      • +
                                                                                                                                                                                                                                                                                                                      • Abstracted execute interface for import/preimport task (#33607)
                                                                                                                                                                                                                                                                                                                      • +
                                                                                                                                                                                                                                                                                                                      • Used map pk to timestamp in buffer insert to reduce bf causes (#33582)
                                                                                                                                                                                                                                                                                                                      • +
                                                                                                                                                                                                                                                                                                                      • Avoided redundant meta operations of import (#33519)
                                                                                                                                                                                                                                                                                                                      • +
                                                                                                                                                                                                                                                                                                                      • Improve logs by logging better disk quota info, adding UseDefaultConsistency flag, removing unnecessary logs (#33597, #33644, #33670)
                                                                                                                                                                                                                                                                                                                      -

                                                                                                                                                                                                                                                                                                                      バグ修正

                                                                                                                                                                                                                                                                                                                        -
                                                                                                                                                                                                                                                                                                                      • queryHookがベクトル型を認識できないバグを修正しました(#33911)。
                                                                                                                                                                                                                                                                                                                      • -
                                                                                                                                                                                                                                                                                                                      • 反復変数partitionIDをキャプチャして使用しないようにした(#33970)。
                                                                                                                                                                                                                                                                                                                      • -
                                                                                                                                                                                                                                                                                                                      • Milvusがバイナリベクタやスパースベクタに対してAutoIndexを作成できない場合がある不具合を修正しました(#33867)。
                                                                                                                                                                                                                                                                                                                      • -
                                                                                                                                                                                                                                                                                                                      • indexnodeが全てのベクトルの無効なインデックスパラメータに対してインデックス作成を再試行する場合があるバグを修正しました(#33878)。
                                                                                                                                                                                                                                                                                                                      • -
                                                                                                                                                                                                                                                                                                                      • ロードとリリースが同時に発生した場合にサーバがクラッシュすることがあるバグを修正しました(#33699)。
                                                                                                                                                                                                                                                                                                                      • -
                                                                                                                                                                                                                                                                                                                      • 設定値のキャッシュの一貫性を改善しました(#33797)。
                                                                                                                                                                                                                                                                                                                      • -
                                                                                                                                                                                                                                                                                                                      • 削除時にデータが失われる可能性がある問題を修正しました(#33821)。
                                                                                                                                                                                                                                                                                                                      • -
                                                                                                                                                                                                                                                                                                                      • コレクションを削除した後に、DroppedAtフィールド(削除のタイムスタンプ)が設定されるようにした(#33767)。
                                                                                                                                                                                                                                                                                                                      • -
                                                                                                                                                                                                                                                                                                                      • Milvusがバイナリベクタのデータサイズを正しく扱えない問題を修正しました(#33751)。
                                                                                                                                                                                                                                                                                                                      • -
                                                                                                                                                                                                                                                                                                                      • 機密性の高いKafka認証情報がプレーンテキストでログに記録されないようにした(#33694,#33747)。
                                                                                                                                                                                                                                                                                                                      • -
                                                                                                                                                                                                                                                                                                                      • Milvusが複数のベクトルフィールドを持つデータを正しくインポートできるようにした(#33724)。
                                                                                                                                                                                                                                                                                                                      • -
                                                                                                                                                                                                                                                                                                                      • インポートジョブが存在するかどうかを開始前にチェックすることで、インポートの信頼性を向上させた。(#33673)
                                                                                                                                                                                                                                                                                                                      • -
                                                                                                                                                                                                                                                                                                                      • スパースHNSWインデックス(内部機能)の取り扱いを改善しました(#33714)。
                                                                                                                                                                                                                                                                                                                      • -
                                                                                                                                                                                                                                                                                                                      • メモリリークを回避するためにベクタメモリをクリーンアップ(#33708)。
                                                                                                                                                                                                                                                                                                                      • -
                                                                                                                                                                                                                                                                                                                      • 状態ロックの問題を修正することにより、よりスムーズな非同期ウォームアップを保証(#33687)。
                                                                                                                                                                                                                                                                                                                      • -
                                                                                                                                                                                                                                                                                                                      • クエリイテレータで結果が欠落するバグを修正。(#33506)
                                                                                                                                                                                                                                                                                                                      • -
                                                                                                                                                                                                                                                                                                                      • インポートセグメントサイズが不均等になる場合があったバグを修正(#33634)。
                                                                                                                                                                                                                                                                                                                      • -
                                                                                                                                                                                                                                                                                                                      • bf16、fp16、バイナリベクタ型の不正なデータサイズの取り扱いを修正(#33488)
                                                                                                                                                                                                                                                                                                                      • -
                                                                                                                                                                                                                                                                                                                      • L0 コンパクタに関する潜在的な問題を修正し、安定性を向上(#33564)。
                                                                                                                                                                                                                                                                                                                      • -
                                                                                                                                                                                                                                                                                                                      • 動的な設定の更新がキャッシュに正しく反映されるようにした。(#33590)
                                                                                                                                                                                                                                                                                                                      • -
                                                                                                                                                                                                                                                                                                                      • RootCoordQuotaStates メトリックの精度を改善しました(#33601)。
                                                                                                                                                                                                                                                                                                                      • -
                                                                                                                                                                                                                                                                                                                      • ロードされたエンティティの数を正確に報告するようにしました(#33522)。
                                                                                                                                                                                                                                                                                                                      • -
                                                                                                                                                                                                                                                                                                                      • 例外ログにおいて、より完全な情報を提供するようにした。 (#33396)
                                                                                                                                                                                                                                                                                                                      • -
                                                                                                                                                                                                                                                                                                                      • 不要なグループチェッカを削除し、クエリパイプラインを最適化した(#33485)
                                                                                                                                                                                                                                                                                                                      • -
                                                                                                                                                                                                                                                                                                                      • インデックスノードのディスク容量をより正確に確認するために、ローカルストレージのパスを使用するようにしました。(#33505)
                                                                                                                                                                                                                                                                                                                      • -
                                                                                                                                                                                                                                                                                                                      • hasMoreResultのヒット数が制限値より大きい場合にfalseを返すことがあった問題を修正しました(#33642)。
                                                                                                                                                                                                                                                                                                                      • -
                                                                                                                                                                                                                                                                                                                      • デリゲータの bf のロードを遅延させ、worker のメモリ不足時に bf が何度もロードされないようにした(#33650)- queryHook がベクトル型を認識できないバグを修正した(#33911)- queryHook がベクトル型を認識できないバグを修正した(#33911)- queryHook がベクトル型を認識できないバグを修正した(#33911)
                                                                                                                                                                                                                                                                                                                      • -
                                                                                                                                                                                                                                                                                                                      • イテレーション変数 partitionID をキャプチャして使用しないようにした(#33970)
                                                                                                                                                                                                                                                                                                                      • -
                                                                                                                                                                                                                                                                                                                      • MilvusがバイナリベクタやスパースベクタのAutoIndexを作成できない場合があるバグを修正(#33867)
                                                                                                                                                                                                                                                                                                                      • -
                                                                                                                                                                                                                                                                                                                      • indexnodeが全てのベクトルの無効なインデックスパラメータに対してインデックス作成を再試行する場合があるバグを修正しました(#33878)。
                                                                                                                                                                                                                                                                                                                      • -
                                                                                                                                                                                                                                                                                                                      • ロードとリリースが同時に発生した場合にサーバがクラッシュすることがあるバグを修正しました(#33699)。
                                                                                                                                                                                                                                                                                                                      • -
                                                                                                                                                                                                                                                                                                                      • 設定値のキャッシュの一貫性を改善しました(#33797)。
                                                                                                                                                                                                                                                                                                                      • -
                                                                                                                                                                                                                                                                                                                      • 削除時にデータが失われる可能性がある問題を修正しました(#33821)。
                                                                                                                                                                                                                                                                                                                      • -
                                                                                                                                                                                                                                                                                                                      • コレクションを削除した後に、DroppedAtフィールド(削除のタイムスタンプ)が設定されるようにした(#33767)。
                                                                                                                                                                                                                                                                                                                      • -
                                                                                                                                                                                                                                                                                                                      • Milvusがバイナリベクタのデータサイズを正しく扱えない問題を修正しました(#33751)。
                                                                                                                                                                                                                                                                                                                      • -
                                                                                                                                                                                                                                                                                                                      • 機密性の高いKafka認証情報がプレーンテキストでログに記録されないようにした(#33694,#33747)。
                                                                                                                                                                                                                                                                                                                      • -
                                                                                                                                                                                                                                                                                                                      • Milvusが複数のベクトルフィールドを持つデータを正しくインポートできるようにした(#33724)。
                                                                                                                                                                                                                                                                                                                      • -
                                                                                                                                                                                                                                                                                                                      • インポートジョブが存在するかどうかを開始前にチェックすることで、インポートの信頼性を向上させた。(#33673)
                                                                                                                                                                                                                                                                                                                      • -
                                                                                                                                                                                                                                                                                                                      • スパースHNSWインデックス(内部機能)の取り扱いを改善しました(#33714)。
                                                                                                                                                                                                                                                                                                                      • -
                                                                                                                                                                                                                                                                                                                      • メモリリークを回避するためにベクタメモリをクリーンアップ(#33708)。
                                                                                                                                                                                                                                                                                                                      • -
                                                                                                                                                                                                                                                                                                                      • 状態ロックの問題を修正することにより、よりスムーズな非同期ウォームアップを保証(#33687)。
                                                                                                                                                                                                                                                                                                                      • -
                                                                                                                                                                                                                                                                                                                      • クエリイテレータで結果が欠落するバグを修正。(#33506)
                                                                                                                                                                                                                                                                                                                      • -
                                                                                                                                                                                                                                                                                                                      • インポートセグメントサイズが不均等になる場合があったバグを修正(#33634)。
                                                                                                                                                                                                                                                                                                                      • -
                                                                                                                                                                                                                                                                                                                      • bf16、fp16、バイナリベクタ型の不正なデータサイズの取り扱いを修正(#33488)
                                                                                                                                                                                                                                                                                                                      • -
                                                                                                                                                                                                                                                                                                                      • L0 コンパクタに関する潜在的な問題を修正し、安定性を向上(#33564)。
                                                                                                                                                                                                                                                                                                                      • -
                                                                                                                                                                                                                                                                                                                      • 動的な設定の更新がキャッシュに正しく反映されるようにした。(#33590)
                                                                                                                                                                                                                                                                                                                      • -
                                                                                                                                                                                                                                                                                                                      • RootCoordQuotaStates メトリックの精度を改善しました(#33601)。
                                                                                                                                                                                                                                                                                                                      • -
                                                                                                                                                                                                                                                                                                                      • ロードされたエンティティの数を正確に報告するようにしました(#33522)。
                                                                                                                                                                                                                                                                                                                      • -
                                                                                                                                                                                                                                                                                                                      • 例外ログにおいて、より完全な情報を提供するようにした。 (#33396)
                                                                                                                                                                                                                                                                                                                      • -
                                                                                                                                                                                                                                                                                                                      • 不要なグループチェッカを削除し、クエリパイプラインを最適化した(#33485)
                                                                                                                                                                                                                                                                                                                      • -
                                                                                                                                                                                                                                                                                                                      • インデックスノードのディスク容量をより正確に確認するために、ローカルストレージのパスを使用するようにしました。(#33505)
                                                                                                                                                                                                                                                                                                                      • -
                                                                                                                                                                                                                                                                                                                      • hasMoreResultのヒット数が制限値より大きい場合にfalseを返すことがあった問題を修正しました(#33642)。
                                                                                                                                                                                                                                                                                                                      • -
                                                                                                                                                                                                                                                                                                                      • デリゲータの bf のロードを遅延させ、worker のメモリ不足時に bf が何度もロードされないようにした(#33650)。
                                                                                                                                                                                                                                                                                                                      • +

                                                                                                                                                                                                                                                                                                                        Bug fixes

                                                                                                                                                                                                                                                                                                                          +
                                                                                                                                                                                                                                                                                                                        • Fixed a bug that queryHook unable to recognize vector type (#33911)
                                                                                                                                                                                                                                                                                                                        • +
                                                                                                                                                                                                                                                                                                                        • Prevented use captured iteration variable partitionID (#33970)
                                                                                                                                                                                                                                                                                                                        • +
                                                                                                                                                                                                                                                                                                                        • Fixed a bug that may cause Milvus to be unable to create AutoIndex on binary and sparse vectors (#33867)
                                                                                                                                                                                                                                                                                                                        • +
                                                                                                                                                                                                                                                                                                                        • Fixed a bug that may cause indexnode to retry creating index on invalid index params of all vectors(#33878)
                                                                                                                                                                                                                                                                                                                        • +
                                                                                                                                                                                                                                                                                                                        • Fixed the bug that when loads and releases happen concurrently may crash the Server(#33699)
                                                                                                                                                                                                                                                                                                                        • +
                                                                                                                                                                                                                                                                                                                        • Improved cache consistency for configuration values (#33797)
                                                                                                                                                                                                                                                                                                                        • +
                                                                                                                                                                                                                                                                                                                        • Prevented possible data loss during deletion (#33821)
                                                                                                                                                                                                                                                                                                                        • +
                                                                                                                                                                                                                                                                                                                        • Ensured the DroppedAt field (likely deletion timestamp) is set after dropping collections(#33767)
                                                                                                                                                                                                                                                                                                                        • +
                                                                                                                                                                                                                                                                                                                        • Fixed an issue that might have caused Milvus to handle binary vector data sizes incorrectly(#33751)
                                                                                                                                                                                                                                                                                                                        • +
                                                                                                                                                                                                                                                                                                                        • Prevented sensitive Kafka credentials from being logged in plain text.(#33694, #33747)
                                                                                                                                                                                                                                                                                                                        • +
                                                                                                                                                                                                                                                                                                                        • Ensured Milvus can correctly import data with multiple vector fields.(#33724)
                                                                                                                                                                                                                                                                                                                        • +
                                                                                                                                                                                                                                                                                                                        • Enhanced import reliability by checking if an import job exists before starting. (#33673)
                                                                                                                                                                                                                                                                                                                        • +
                                                                                                                                                                                                                                                                                                                        • Improved handling of the sparse HNSW index (internal functionality) (#33714)
                                                                                                                                                                                                                                                                                                                        • +
                                                                                                                                                                                                                                                                                                                        • Cleaned vector memory to avoid memory leak(#33708)
                                                                                                                                                                                                                                                                                                                        • +
                                                                                                                                                                                                                                                                                                                        • Ensured smoother asynchronous warmup by fixing a state lock issue.(#33687)
                                                                                                                                                                                                                                                                                                                        • +
                                                                                                                                                                                                                                                                                                                        • Addressed a bug that might have caused missing results in query iterators. (#33506)
                                                                                                                                                                                                                                                                                                                        • +
                                                                                                                                                                                                                                                                                                                        • Fixed a bug that might cause import segment size is uneven (#33634)
                                                                                                                                                                                                                                                                                                                        • +
                                                                                                                                                                                                                                                                                                                        • Fixed incorrect data size handling for bf16, fp16, and binary vector types (#33488)
                                                                                                                                                                                                                                                                                                                        • +
                                                                                                                                                                                                                                                                                                                        • Improved stability by addressing potential issues with the L0 compactor(#33564)
                                                                                                                                                                                                                                                                                                                        • +
                                                                                                                                                                                                                                                                                                                        • Ensured dynamic configuration updates are reflected correctly in the cache. (#33590)
                                                                                                                                                                                                                                                                                                                        • +
                                                                                                                                                                                                                                                                                                                        • Improved the accuracy of the RootCoordQuotaStates metric (#33601)
                                                                                                                                                                                                                                                                                                                        • +
                                                                                                                                                                                                                                                                                                                        • Ensured accurate reporting of the number of loaded entities in metric(#33522)
                                                                                                                                                                                                                                                                                                                        • +
                                                                                                                                                                                                                                                                                                                        • Provided more complete information in exception logs. (#33396)
                                                                                                                                                                                                                                                                                                                        • +
                                                                                                                                                                                                                                                                                                                        • Optimized query pipeline by removing unnecessary group checker (#33485)
                                                                                                                                                                                                                                                                                                                        • +
                                                                                                                                                                                                                                                                                                                        • Used the local storage path for a more accurate disk capacity check on the index node. (#33505)
                                                                                                                                                                                                                                                                                                                        • +
                                                                                                                                                                                                                                                                                                                        • Corrected hasMoreResult may return false when hit number larger than limit (#33642)
                                                                                                                                                                                                                                                                                                                        • +
                                                                                                                                                                                                                                                                                                                        • Delayed load bf in delegator to prevent bfs been loaded over and over again when worker has no more memory (#33650)- Fixed a bug that queryHook unable to recognize vector type (#33911)
                                                                                                                                                                                                                                                                                                                        • +
                                                                                                                                                                                                                                                                                                                        • Prevented use captured iteration variable partitionID (#33970)
                                                                                                                                                                                                                                                                                                                        • +
                                                                                                                                                                                                                                                                                                                        • Fixed a bug that may cause Milvus to be unable to create AutoIndex on binary and sparse vectors (#33867)
                                                                                                                                                                                                                                                                                                                        • +
                                                                                                                                                                                                                                                                                                                        • Fixed a bug that may cause indexnode to retry creating index on invalid index params of all vectors(#33878)
                                                                                                                                                                                                                                                                                                                        • +
                                                                                                                                                                                                                                                                                                                        • Fixed the bug that when loads and releases happen concurrently may crash the Server(#33699)
                                                                                                                                                                                                                                                                                                                        • +
                                                                                                                                                                                                                                                                                                                        • Improved cache consistency for configuration values (#33797)
                                                                                                                                                                                                                                                                                                                        • +
                                                                                                                                                                                                                                                                                                                        • Prevented possible data loss during deletion (#33821)
                                                                                                                                                                                                                                                                                                                        • +
                                                                                                                                                                                                                                                                                                                        • Ensured the DroppedAt field (likely deletion timestamp) is set after dropping collections(#33767)
                                                                                                                                                                                                                                                                                                                        • +
                                                                                                                                                                                                                                                                                                                        • Fixed an issue that might have caused Milvus to handle binary vector data sizes incorrectly(#33751)
                                                                                                                                                                                                                                                                                                                        • +
                                                                                                                                                                                                                                                                                                                        • Prevented sensitive Kafka credentials from being logged in plain text.(#33694, #33747)
                                                                                                                                                                                                                                                                                                                        • +
                                                                                                                                                                                                                                                                                                                        • Ensured Milvus can correctly import data with multiple vector fields.(#33724)
                                                                                                                                                                                                                                                                                                                        • +
                                                                                                                                                                                                                                                                                                                        • Enhanced import reliability by checking if an import job exists before starting. (#33673)
                                                                                                                                                                                                                                                                                                                        • +
                                                                                                                                                                                                                                                                                                                        • Improved handling of the sparse HNSW index (internal functionality) (#33714)
                                                                                                                                                                                                                                                                                                                        • +
                                                                                                                                                                                                                                                                                                                        • Cleaned vector memory to avoid memory leak(#33708)
                                                                                                                                                                                                                                                                                                                        • +
                                                                                                                                                                                                                                                                                                                        • Ensured smoother asynchronous warmup by fixing a state lock issue.(#33687)
                                                                                                                                                                                                                                                                                                                        • +
                                                                                                                                                                                                                                                                                                                        • Addressed a bug that might have caused missing results in query iterators. (#33506)
                                                                                                                                                                                                                                                                                                                        • +
                                                                                                                                                                                                                                                                                                                        • Fixed a bug that might cause import segment size is uneven (#33634)
                                                                                                                                                                                                                                                                                                                        • +
                                                                                                                                                                                                                                                                                                                        • Fixed incorrect data size handling for bf16, fp16, and binary vector types (#33488)
                                                                                                                                                                                                                                                                                                                        • +
                                                                                                                                                                                                                                                                                                                        • Improved stability by addressing potential issues with the L0 compactor(#33564)
                                                                                                                                                                                                                                                                                                                        • +
                                                                                                                                                                                                                                                                                                                        • Ensured dynamic configuration updates are reflected correctly in the cache. (#33590)
                                                                                                                                                                                                                                                                                                                        • +
                                                                                                                                                                                                                                                                                                                        • Improved the accuracy of the RootCoordQuotaStates metric (#33601)
                                                                                                                                                                                                                                                                                                                        • +
                                                                                                                                                                                                                                                                                                                        • Ensured accurate reporting of the number of loaded entities in metric(#33522)
                                                                                                                                                                                                                                                                                                                        • +
                                                                                                                                                                                                                                                                                                                        • Provided more complete information in exception logs. (#33396)
                                                                                                                                                                                                                                                                                                                        • +
                                                                                                                                                                                                                                                                                                                        • Optimized query pipeline by removing unnecessary group checker (#33485)
                                                                                                                                                                                                                                                                                                                        • +
                                                                                                                                                                                                                                                                                                                        • Used the local storage path for a more accurate disk capacity check on the index node. (#33505)
                                                                                                                                                                                                                                                                                                                        • +
                                                                                                                                                                                                                                                                                                                        • Corrected hasMoreResult may return false when hit number larger than limit (#33642)
                                                                                                                                                                                                                                                                                                                        • +
                                                                                                                                                                                                                                                                                                                        • Delayed load bf in delegator to prevent bfs been loaded over and over again when worker has no more memory (#33650)

                                                                                                                                                                                                                                                                                                                        v2.4.4

                                                                                                                                                                                                                                                                                                                        リリース日: 2024年5月31日

                                                                                                                                                                                                                                                                                                                        +

                                                                                                                                                                                                                                                                                                                        Release date: May 31, 2024

                                                                                                                                                                                                                                                                                                                        - +
                                                                                                                                                                                                                                                                                                                        MilvusバージョンPython SDK バージョンJava SDK バージョンNode.js SDKバージョン
                                                                                                                                                                                                                                                                                                                        Milvus versionPython SDK versionJava SDK versionNode.js SDK version
                                                                                                                                                                                                                                                                                                                        2.4.42.4.32.4.12.4.2
                                                                                                                                                                                                                                                                                                                        -

                                                                                                                                                                                                                                                                                                                        Milvus v2.4.4では、パフォーマンスと安定性の向上を目的としたいくつかの重要なバグ修正と改善が含まれています。特に、バルクインサートの統計ログが不正にガベージコレクションされ、データの整合性に影響を及ぼす可能性があるという重大な問題を解決しました。これらの修正の恩恵を受けるために、すべてのv2.4ユーザーがこのバージョンにアップグレードすることを強くお勧めします。

                                                                                                                                                                                                                                                                                                                        -

                                                                                                                                                                                                                                                                                                                        バルク・インサートを使用している場合は、データの整合性を保つために、できるだけ早い機会にv2.4.4にアップグレードしてください。

                                                                                                                                                                                                                                                                                                                        -

                                                                                                                                                                                                                                                                                                                        重大なバグ修正

                                                                                                                                                                                                                                                                                                                          -
                                                                                                                                                                                                                                                                                                                        • 統計ログのIDを埋め、その正しさを検証した(#33478)
                                                                                                                                                                                                                                                                                                                        • +

                                                                                                                                                                                                                                                                                                                          Milvus v2.4.4 includes several critical bug fixes and improvements aimed at enhancing performance and stability. Notably, we’ve resolved a critical issue where bulk insert statistics logs were incorrectly garbage collected, potentially affecting data integrity. We strongly recommend all v2.4 users upgrade to this version to benefit from these fixes.

                                                                                                                                                                                                                                                                                                                          +

                                                                                                                                                                                                                                                                                                                          If you are using bulk insert, upgrade to v2.4.4 at the earliest opportunity for data integrity.

                                                                                                                                                                                                                                                                                                                          +

                                                                                                                                                                                                                                                                                                                          Critical bug fixes

                                                                                                                                                                                                                                                                                                                            +
                                                                                                                                                                                                                                                                                                                          • Filled stats log ID and validated its correctness (#33478)
                                                                                                                                                                                                                                                                                                                          -

                                                                                                                                                                                                                                                                                                                          改良点

                                                                                                                                                                                                                                                                                                                            -
                                                                                                                                                                                                                                                                                                                          • ARM SVE用のビットセットをアップグレードした(#33440)
                                                                                                                                                                                                                                                                                                                          • -
                                                                                                                                                                                                                                                                                                                          • GCC-13でのMilvusコンパイルを有効にした(#33441)。
                                                                                                                                                                                                                                                                                                                          • +

                                                                                                                                                                                                                                                                                                                            Improvements

                                                                                                                                                                                                                                                                                                                              +
                                                                                                                                                                                                                                                                                                                            • Upgraded bitset for ARM SVE (#33440)
                                                                                                                                                                                                                                                                                                                            • +
                                                                                                                                                                                                                                                                                                                            • Enabled Milvus compilation with GCC-13 (#33441)
                                                                                                                                                                                                                                                                                                                            -

                                                                                                                                                                                                                                                                                                                            バグ修正

                                                                                                                                                                                                                                                                                                                              -
                                                                                                                                                                                                                                                                                                                            • すべての権限が付与されている場合に空のコレクションを表示するようにした(#33454)。
                                                                                                                                                                                                                                                                                                                            • -
                                                                                                                                                                                                                                                                                                                            • CMakeがx86_64だけでなく現在のプラットフォーム用にダウンロードとインストールを行うようにした(#33439)。
                                                                                                                                                                                                                                                                                                                            • +

                                                                                                                                                                                                                                                                                                                              Bug fixes

                                                                                                                                                                                                                                                                                                                                +
                                                                                                                                                                                                                                                                                                                              • Displayed empty collections when all privilege is granted (#33454)
                                                                                                                                                                                                                                                                                                                              • +
                                                                                                                                                                                                                                                                                                                              • Ensured CMake downloads and installs for the current platform, not just x86_64 (#33439)

                                                                                                                                                                                                                                                                                                                              v2.4.3

                                                                                                                                                                                                                                                                                                                              リリース日: 2024年5月29日

                                                                                                                                                                                                                                                                                                                              +

                                                                                                                                                                                                                                                                                                                              Release date: May 29, 2024

                                                                                                                                                                                                                                                                                                                              - +
                                                                                                                                                                                                                                                                                                                              milvusバージョンPython SDKバージョンJava SDKバージョンNode.js SDKバージョン
                                                                                                                                                                                                                                                                                                                              Milvus versionPython SDK versionJava SDK versionNode.js SDK version
                                                                                                                                                                                                                                                                                                                              2.4.32.4.32.4.12.4.2
                                                                                                                                                                                                                                                                                                                              -

                                                                                                                                                                                                                                                                                                                              Milvusバージョン2.4.3では、パフォーマンスと信頼性を向上させるための多くの機能、改善、バグフィックスが導入されました。特筆すべき改良点としては、スパースフロートベクトル一括挿入のサポートや、最適化されたブルームフィルタアクセラレーションなどが挙げられる。改善点は、動的な設定更新からメモリ使用量の最適化まで、さまざまな分野に及んだ。バグ修正では、パニックシナリオのような重要な問題に対処し、よりスムーズなシステム運用を確保しました。今回のリリースは、Milvusの機能強化、パフォーマンスの最適化、そして堅牢なユーザーエクスペリエンスの提供に対する継続的なコミットメントを強調するものです。

                                                                                                                                                                                                                                                                                                                              -

                                                                                                                                                                                                                                                                                                                              特徴

                                                                                                                                                                                                                                                                                                                                -
                                                                                                                                                                                                                                                                                                                              • binlog/json/parquetのスパースフロートベクトル一括挿入をサポートしました
                                                                                                                                                                                                                                                                                                                              • +

                                                                                                                                                                                                                                                                                                                                Milvus version 2.4.3 introduced a host of features, improvements, and bug fixes to elevate performance and reliability. Notable enhancements included support for sparse float vector bulk insert and optimized bloom filter acceleration. Improvements covered various areas, from dynamic configuration updates to memory usage optimization. Bug fixes addressed critical issues like panic scenarios and ensured smoother system operations. This release underscored Milvus’s ongoing commitment to enhancing functionality, optimizing performance, and delivering a robust user experience.

                                                                                                                                                                                                                                                                                                                                +

                                                                                                                                                                                                                                                                                                                                Features

                                                                                                                                                                                                                                                                                                                                  +
                                                                                                                                                                                                                                                                                                                                • Supported sparse float vector bulk insert for binlog/json/parquet (#32649)
                                                                                                                                                                                                                                                                                                                                -

                                                                                                                                                                                                                                                                                                                                改良点

                                                                                                                                                                                                                                                                                                                                  -
                                                                                                                                                                                                                                                                                                                                • RPCに基づくDatacoord/nodeウォッチチャネルを実装しました(#32036)
                                                                                                                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                                                                                                                • ブルームフィルタを最適化し、削除フィルタリングを高速化した(#32642 、#33329 、#33284)
                                                                                                                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                                                                                                                • スカラーインデックスに生データがない場合、mmap経由で生データをロードするようにした(#33317)。
                                                                                                                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                                                                                                                • milvusの設定をmilvus.yamlに同期した(#33322,#32920,#32857,#32946)。
                                                                                                                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                                                                                                                • knowhereのバージョンを更新しました(#33310 、#32931 、#33043)。
                                                                                                                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                                                                                                                • QueryCoordでバランサポリシーの動的更新を可能にしました(#33272)。
                                                                                                                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                                                                                                                • ロガーの割り当てを最小化するため、書き込みバッファに事前に作成したロガーを使用するようにした(#33304)
                                                                                                                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                                                                                                                • パラメータチェックを改善しました(#32777,#33271,#33218)。
                                                                                                                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                                                                                                                • チェックポイントの不正なメッセージIDを無視するパラメータを追加しました(#33249)。
                                                                                                                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                                                                                                                • プラグインの初期化失敗処理を制御する設定を追加(#32680)
                                                                                                                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                                                                                                                • knowhere用のスコア計算一貫性設定を追加した(#32997)
                                                                                                                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                                                                                                                • パブリックロールパーミッションの初期化を制御する設定オプションを導入した(#33174)
                                                                                                                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                                                                                                                • フィールド読み込み時のメモリ使用量を最適化した(#33196)
                                                                                                                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                                                                                                                • チャネルマネージャv2の実装を改良した(#33172,#33121,#33014)
                                                                                                                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                                                                                                                • binlogのメモリ上のデータサイズを追跡する機能を追加(#33025)
                                                                                                                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                                                                                                                • セグメントインデックスファイルのサイズに関するメトリクスを追加(#32979,#33305)
                                                                                                                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                                                                                                                • DeleteをDeletePartialMatchに置き換え、メトリクスを削除した(#33029)
                                                                                                                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                                                                                                                • セグメントタイプに応じた関連データサイズを取得(#33017)
                                                                                                                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                                                                                                                • メタストアのチャンネルノード情報を整理(#32988)
                                                                                                                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                                                                                                                • データノードブローカからルートコードを削除(#32818)
                                                                                                                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                                                                                                                • バッチアップロードを可能にした(#32788)
                                                                                                                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                                                                                                                • パーティションキー使用時のデフォルトのパーティション番号を16に変更した(#32950)
                                                                                                                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                                                                                                                • 非常に大きなtop-kクエリの削減性能を改善した(#32871)
                                                                                                                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                                                                                                                • 書き込みとコンパクションを高速化するためにTestLocations機能を利用しました(#32948)。
                                                                                                                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                                                                                                                • プランパーサプールを最適化し、不要な再利用を回避しました(#32869)。
                                                                                                                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                                                                                                                • ロード速度を改善しました(#32898)。
                                                                                                                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                                                                                                                • restv2でコレクションのデフォルト一貫性レベルを使用するようにした(#32956)
                                                                                                                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                                                                                                                • rest APIにコスト応答を追加しました(#32620)。
                                                                                                                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                                                                                                                • チャネル排他バランスポリシーを有効にした(#32911)。
                                                                                                                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                                                                                                                • プロキシで describedatabase API を公開(#32732)
                                                                                                                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                                                                                                                • コレクションでRGを取得する際にcoll2replicaマッピングを利用するようにした(#32892)
                                                                                                                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                                                                                                                • 検索とクエリのトレースを追加(#32734)
                                                                                                                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                                                                                                                • opentelemetry トレースの動的設定をサポート(#32169)
                                                                                                                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                                                                                                                • leaderviewを更新する際、チャンネル結果の繰り返しを回避(#32887)
                                                                                                                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                                                                                                                • 寄木細工のベクトルオフセットの取り扱いを最適化(#32822)
                                                                                                                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                                                                                                                • コレクションでのデータコードセグメントのフィルタリングを改善(#32831)
                                                                                                                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                                                                                                                • ログのレベルと頻度を調整(#33042 、#32838 、#33337)
                                                                                                                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                                                                                                                • バランス停止後にバランスを停止できるようにした(#32812)。
                                                                                                                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                                                                                                                • リーダーの位置が変更された場合に、シャードリーダーのキャッシュを更新した(#32470)。
                                                                                                                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                                                                                                                • 非推奨のAPIおよびフィールドを削除した(#32808,#32704)。
                                                                                                                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                                                                                                                • 文字列の比較をint型に変換するmetautil.channelを追加した(#32749)
                                                                                                                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                                                                                                                • querynodeが新しいコレクションを発見した場合に、ペイロードライターのエラーメッセージとログにタイプ情報を追加しました(#32522)。
                                                                                                                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                                                                                                                • パーティションキーでコレクションを作成する場合に、パーティション番号をチェックするようにした(#32670)。
                                                                                                                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                                                                                                                • ウォッチに失敗した場合、レガシーl0セグメントを削除した(#32725)
                                                                                                                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                                                                                                                • リクエストの出力タイプを改善した(#33319)
                                                                                                                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                                                                                                                • 型を取得する前に配列フィールドデータがnilであるかチェックするようにした(#33311)
                                                                                                                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                                                                                                                • ノードのDelete/AddNode操作が失敗した場合にエラーを返すようにした(#33258)。
                                                                                                                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                                                                                                                • データノードのサーバIDを更新できるようにしました(#31597)。
                                                                                                                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                                                                                                                • コレクションリリースでquerynodeメトリクスのクリーンアップを統一した(#32805)
                                                                                                                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                                                                                                                • スカラー自動インデックスの設定が不正なバージョンだった問題を修正しました(#32795)。
                                                                                                                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                                                                                                                • インデックスの作成/変更時のインデックスパラメータチェックを改良しました(#32712)。
                                                                                                                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                                                                                                                • 冗長なレプリカリカバリを削除した(#32985)
                                                                                                                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                                                                                                                • チャネルメタテーブルで200kセグメント以上の書き込みを可能にした(#33300)
                                                                                                                                                                                                                                                                                                                                • +

                                                                                                                                                                                                                                                                                                                                  Improvements

                                                                                                                                                                                                                                                                                                                                    +
                                                                                                                                                                                                                                                                                                                                  • Implemented Datacoord/node watch channel based on RPC (#32036)
                                                                                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                                                                                  • Optimized bloom filter to accelerate delete filtering (#32642, #33329, #33284)
                                                                                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                                                                                  • Loaded raw data via mmap if scalar index did not have raw data (#33317)
                                                                                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                                                                                  • Synced milvus config to milvus.yaml (#33322, #32920, #32857, #32946)
                                                                                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                                                                                  • Updated knowhere version (#33310, #32931, #33043)
                                                                                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                                                                                  • Enabled dynamic updating of balancer policy in QueryCoord (#33272)
                                                                                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                                                                                  • Used a pre-built logger in the write buffer to minimize logger allocation (#33304)
                                                                                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                                                                                  • Improved parameter checking (#32777, #33271, #33218)
                                                                                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                                                                                  • Added a parameter to ignore incorrect message IDs in the checkpoint (#33249)
                                                                                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                                                                                  • Added config to control initialization failure handling for plugins (#32680)
                                                                                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                                                                                  • Added score compute consistency config for knowhere (#32997)
                                                                                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                                                                                  • Introduced a configuration option to control the initialization of public role permissions (#33174)
                                                                                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                                                                                  • Optimized memory usage when reading fields (#33196)
                                                                                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                                                                                  • Refined implementation of Channel Manager v2 (#33172, #33121, #33014)
                                                                                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                                                                                  • Added feature to track the size of data in memory for binlog (#33025)
                                                                                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                                                                                  • Added metrics for segment index files size (#32979, #33305)
                                                                                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                                                                                  • Replaced Delete with DeletePartialMatch to remove metrics (#33029)
                                                                                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                                                                                  • Got related data size according to segment type (#33017)
                                                                                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                                                                                  • Cleaned channel node info in meta store (#32988)
                                                                                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                                                                                  • Removed rootcoord from datanode broker (#32818)
                                                                                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                                                                                  • Enabled batch uploading (#32788)
                                                                                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                                                                                  • Changed default partition number to 16 when using partition key (#32950)
                                                                                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                                                                                  • Improved reduce performance on very large top-k queries (#32871)
                                                                                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                                                                                  • Utilized TestLocations ability to accelerate write & compaction (#32948)
                                                                                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                                                                                  • Optimized plan parser pool to avoid unnecessary recycling (#32869)
                                                                                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                                                                                  • Improved load speed (#32898)
                                                                                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                                                                                  • Used collection default consistency level for restv2 (#32956)
                                                                                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                                                                                  • Added cost response for the rest API (#32620)
                                                                                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                                                                                  • Enabled channel exclusive balance policy (#32911)
                                                                                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                                                                                  • Exposed describedatabase API in proxy (#32732)
                                                                                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                                                                                  • Utilized coll2replica mapping when getting RG by collection (#32892)
                                                                                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                                                                                  • Added more tracing for search & query (#32734)
                                                                                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                                                                                  • Supported dynamic config for opentelemetry trace (#32169)
                                                                                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                                                                                  • Avoided iteration over channel results when updating leaderview (#32887)
                                                                                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                                                                                  • Optimized vector offsets handling for parquet (#32822)
                                                                                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                                                                                  • Improved datacoord segment filtering with collection (#32831)
                                                                                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                                                                                  • Adjusted log level and frequency (#33042, #32838, #33337)
                                                                                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                                                                                  • Enabled stopping balance after balance had been suspended (#32812)
                                                                                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                                                                                  • Updated shard leader cache when leader location changed (#32470)
                                                                                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                                                                                  • Removed deprecated API and field (#32808, #32704)
                                                                                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                                                                                  • Added metautil.channel to convert string compare to int (#32749)
                                                                                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                                                                                  • Added type info for payload writer error message and log when querynode found new collection (#32522)
                                                                                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                                                                                  • Checked partition number when creating collection with partition key (#32670)
                                                                                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                                                                                  • Removed legacy l0 segment if watch failed (#32725)
                                                                                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                                                                                  • Improved printing type of request (#33319)
                                                                                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                                                                                  • Checked array field data was nil before getting the type (#33311)
                                                                                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                                                                                  • Returned error when startup Delete/AddNode node operation failed (#33258)
                                                                                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                                                                                  • Allowed datanode’s server ID to be updated (#31597)
                                                                                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                                                                                  • Unified querynode metrics cleanup in collection release (#32805)
                                                                                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                                                                                  • Fixed scalar auto index config incorrect version (#32795)
                                                                                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                                                                                  • Refined index param check for create/alter index (#32712)
                                                                                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                                                                                  • Removed redundant replica recovery (#32985)
                                                                                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                                                                                  • Enabled channel meta table to write more than 200k segments (#33300)
                                                                                                                                                                                                                                                                                                                                  -

                                                                                                                                                                                                                                                                                                                                  バグ修正

                                                                                                                                                                                                                                                                                                                                    -
                                                                                                                                                                                                                                                                                                                                  • レートリミットインタセプタにおいて、データベースが存在しない場合にパニックを起こす問題を修正した(#33308)。
                                                                                                                                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                                                                                                                                  • quotacenter メトリクスの収集で、不正なパラメータが原因で失敗する問題を修正しました(#33399)。
                                                                                                                                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                                                                                                                                  • processactivestandbyがエラーを返した場合のパニックを修正しました(#33372)。
                                                                                                                                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                                                                                                                                  • restful v2でnq > 1の場合に検索結果が切り捨てられる問題を修正しました(#33363)。
                                                                                                                                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                                                                                                                                  • restful v2のロール操作にデータベース名フィールドを追加した(#33291)
                                                                                                                                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                                                                                                                                  • グローバルレート制限が動作しない問題を修正(#33336)
                                                                                                                                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                                                                                                                                  • インデックス構築の失敗によるパニックを修正した(#33314)
                                                                                                                                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                                                                                                                                  • segcoreにおけるスパースベクタの検証を追加し、合法性を確保した(#33312)
                                                                                                                                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                                                                                                                                  • タスク完了後にsyncmgrからタスクを削除するようにした(#33303)
                                                                                                                                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                                                                                                                                  • データインポート時のパーティションキーフィルタリングの失敗を修正した(#33277)
                                                                                                                                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                                                                                                                                  • noop exporterを使用した場合にtraceIDを生成できない問題を修正(#33208)
                                                                                                                                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                                                                                                                                  • クエリ結果の取得を改善した(#33179)
                                                                                                                                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                                                                                                                                  • チェックポイントラグメトリクスの漏えいを防ぐため、チャネルのチェックポイントを削除するようにした(#33201)
                                                                                                                                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                                                                                                                                  • 進行停止中にクエリノードがスタックする問題を修正(#33154)
                                                                                                                                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                                                                                                                                  • フラッシュレスポンスに欠落していたセグメントを修正(#33061)
                                                                                                                                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                                                                                                                                  • サブミット操作がべき等であるようにした(#33053)
                                                                                                                                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                                                                                                                                  • ストリーミングリーダでバッチごとに新しいスライスを割り当てた(#33360)
                                                                                                                                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                                                                                                                                  • QueryCoord再起動後にリソースグループからオフラインノードを削除しました(#33233)。
                                                                                                                                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                                                                                                                                  • completedCompactorのl0コンパクタを削除しました(#33216)。
                                                                                                                                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                                                                                                                                  • リミッター初期化時にクォータ値をリセットするようにした(#33152)
                                                                                                                                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                                                                                                                                  • etcdの制限を超過する問題を修正した(#33041)
                                                                                                                                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                                                                                                                                  • フィールド数が多すぎることによるetcdトランザクションの上限超過を解決した(#33040)
                                                                                                                                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                                                                                                                                  • GetNumRowsOfPartitionにおけるRLockの再入力を削除した(#33045)。
                                                                                                                                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                                                                                                                                  • LeaderCacheObserverをSyncAllの前に起動するようにした(#33035)。
                                                                                                                                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                                                                                                                                  • 解放されたスタンバイチャネルのバランシングを有効にした(#32986)
                                                                                                                                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                                                                                                                                  • サーバ初期化の前にアクセスロガーを初期化するようにした(#32976)
                                                                                                                                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                                                                                                                                  • コンパクタが空のセグメントをクリアできるようにした(#32821)
                                                                                                                                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                                                                                                                                  • l0 コンパクションでデルタログエントリ番号と時間範囲を埋めるようにした(#33004)。
                                                                                                                                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                                                                                                                                  • シャードリーダのキャッシュデータの競合によるプロキシのクラッシュを修正(#32971)
                                                                                                                                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                                                                                                                                  • ロードインデックスメトリックの時間単位を修正しました(#32935)。
                                                                                                                                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                                                                                                                                  • 停止中のクエリノードのセグメントを正常に解放できない問題を修正(#32929)
                                                                                                                                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                                                                                                                                  • インデックスリソースの見積もりを修正しました(#32842)。
                                                                                                                                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                                                                                                                                  • チャネルチェックポイントをデルタ位置に設定するようにした(#32878)。
                                                                                                                                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                                                                                                                                  • syncmgrがfutureを返す前にキーをロックするようにした(#32865)。
                                                                                                                                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                                                                                                                                  • 転置インデックスが1セグメントしか持たないようにした(#32858)。
                                                                                                                                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                                                                                                                                  • コンパクショントリガーが2つの同じセグメントを選択する問題を修正(#32800)
                                                                                                                                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                                                                                                                                  • binlogインポートでパーティション名を指定できない問題を修正した(#32730,#33027)。
                                                                                                                                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                                                                                                                                  • 寄木細工のインポートで動的カラムをオプションにした(#32738)
                                                                                                                                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                                                                                                                                  • データ挿入時に自動IDチェックをスキップするようにした(#32775)
                                                                                                                                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                                                                                                                                  • 挿入フィールドデータの行数をスキーマで検証するようにした(#32770)
                                                                                                                                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                                                                                                                                  • CTraceContextのIDにWrapperとKeepaliveを追加した(#32746)
                                                                                                                                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                                                                                                                                  • datacoordメタオブジェクトでデータベース名が見つからない問題を修正(#33412)
                                                                                                                                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                                                                                                                                  • ドロップされたパーティションのドロップされたセグメントを同期するようにした(#33332)
                                                                                                                                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                                                                                                                                  • 不適切なパラメータによるquotaCenterのメトリクス収集の失敗を修正(#33399)
                                                                                                                                                                                                                                                                                                                                  • +

                                                                                                                                                                                                                                                                                                                                    Bug fixes

                                                                                                                                                                                                                                                                                                                                      +
                                                                                                                                                                                                                                                                                                                                    • Fixed panic when the database didn’t exist in the rate limit interceptor (#33308)
                                                                                                                                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                                                                                                                                    • Fixed quotacenter metrics collection failure due to incorrect parameters (#33399)
                                                                                                                                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                                                                                                                                    • Fixed panic if processactivestandby returned an error (#33372)
                                                                                                                                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                                                                                                                                    • Fixed search result truncation in restful v2 when nq > 1 (#33363)
                                                                                                                                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                                                                                                                                    • Added database name field for role operations in restful v2 (#33291)
                                                                                                                                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                                                                                                                                    • Fixed global rate limit not working (#33336)
                                                                                                                                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                                                                                                                                    • Fixed panic caused by failure of building index (#33314)
                                                                                                                                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                                                                                                                                    • Added validation for sparse vector in segcore to ensure legality (#33312)
                                                                                                                                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                                                                                                                                    • Removed task from syncmgr after task completion (#33303)
                                                                                                                                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                                                                                                                                    • Fixed partition key filtering failure during data import (#33277)
                                                                                                                                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                                                                                                                                    • Fixed inability to generate traceID when using noop exporter (#33208)
                                                                                                                                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                                                                                                                                    • Improved query results retrieval (#33179)
                                                                                                                                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                                                                                                                                    • Marked channel checkpoint dropped to prevent checkpoint lag metrics leakage (#33201)
                                                                                                                                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                                                                                                                                    • Fixed query node getting stuck during stopping progress (#33154)
                                                                                                                                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                                                                                                                                    • Fixed missing segments in flush response (#33061)
                                                                                                                                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                                                                                                                                    • Made submit operation idempotent (#33053)
                                                                                                                                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                                                                                                                                    • Allocated new slice for each batch in streaming reader (#33360)
                                                                                                                                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                                                                                                                                    • Cleaned offline node from resource group after QueryCoord restart (#33233)
                                                                                                                                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                                                                                                                                    • Removed l0 compactor in completedCompactor (#33216)
                                                                                                                                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                                                                                                                                    • Reset quota value when initializing the limiter (#33152)
                                                                                                                                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                                                                                                                                    • Fixed issue where etcd limit was exceeded (#33041)
                                                                                                                                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                                                                                                                                    • Resolved etcd transaction limit exceedance due to too many fields (#33040)
                                                                                                                                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                                                                                                                                    • Removed RLock re-entry in GetNumRowsOfPartition (#33045)
                                                                                                                                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                                                                                                                                    • Started LeaderCacheObserver before SyncAll (#33035)
                                                                                                                                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                                                                                                                                    • Enabled balancing of released standby channel (#32986)
                                                                                                                                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                                                                                                                                    • Initialized access logger before server initialization (#32976)
                                                                                                                                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                                                                                                                                    • Made compactor capable of clearing empty segments (#32821)
                                                                                                                                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                                                                                                                                    • Filled deltalog entry number and time range in l0 compactions (#33004)
                                                                                                                                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                                                                                                                                    • Fixed proxy crash due to shard leader cache data race (#32971)
                                                                                                                                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                                                                                                                                    • Corrected time unit for load index metric (#32935)
                                                                                                                                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                                                                                                                                    • Fixed issue where segment on stopping query node couldn’t be released successfully (#32929)
                                                                                                                                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                                                                                                                                    • Fixed index resource estimation (#32842)
                                                                                                                                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                                                                                                                                    • Set channel checkpoint to delta position (#32878)
                                                                                                                                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                                                                                                                                    • Made syncmgr lock key before returning future (#32865)
                                                                                                                                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                                                                                                                                    • Ensured inverted index had only one segment (#32858)
                                                                                                                                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                                                                                                                                    • Fixed compaction trigger choosing two identical segments (#32800)
                                                                                                                                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                                                                                                                                    • Fixed issue where partition name could not be specified in binlog import (#32730, #33027)
                                                                                                                                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                                                                                                                                    • Made dynamic column optional in parquet import (#32738)
                                                                                                                                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                                                                                                                                    • Skipped checking auto ID when inserting data (#32775)
                                                                                                                                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                                                                                                                                    • Validated number of rows for insert field data with schema (#32770)
                                                                                                                                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                                                                                                                                    • Added Wrapper and Keepalive for CTraceContext IDs (#32746)
                                                                                                                                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                                                                                                                                    • Fixed issue where database name was not found in the datacoord meta object (#33412)
                                                                                                                                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                                                                                                                                    • Synchronized dropped segment for dropped partition (#33332)
                                                                                                                                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                                                                                                                                    • Fixed quotaCenter metrics collection failure due to incorrect parameters (#33399)

                                                                                                                                                                                                                                                                                                                                    v2.4.1

                                                                                                                                                                                                                                                                                                                                    リリース日: 2024年5月6日

                                                                                                                                                                                                                                                                                                                                    +

                                                                                                                                                                                                                                                                                                                                    Release date: May 6, 2024

                                                                                                                                                                                                                                                                                                                                    - +
                                                                                                                                                                                                                                                                                                                                    MilvusバージョンPython SDKバージョンJava SDKバージョンNode.js SDKバージョン
                                                                                                                                                                                                                                                                                                                                    Milvus versionPython SDK versionJava SDK versionNode.js SDK version
                                                                                                                                                                                                                                                                                                                                    2.4.12.4.12.4.02.4.2
                                                                                                                                                                                                                                                                                                                                    -

                                                                                                                                                                                                                                                                                                                                    Milvusバージョン2.4.1では、ソフトウェアのパフォーマンス、可観測性、安定性の向上を目的とした多数の改善とバグ修正が行われました。これらの改善には、宣言的リソースグループAPI、Float16/BFloat16ベクトルデータ型をサポートするバルクインサート機能の強化、オブジェクトストレージのリスト操作を削減する改良されたガベージコレクション(GC)メカニズム、およびパフォーマンスの最適化に関するその他の変更が含まれます。さらに、コンパイルエラー、改行文字でのファジーマッチの失敗、RESTfulインターフェースの不正なパラメータデータ型、動的フィールドが有効な場合にnumpyファイル上でBulkInsertがエラーを発生させるなどのバグ修正も行われました。

                                                                                                                                                                                                                                                                                                                                    -

                                                                                                                                                                                                                                                                                                                                    変更点

                                                                                                                                                                                                                                                                                                                                      -
                                                                                                                                                                                                                                                                                                                                    • 空のフィルター式での削除のサポートを終了しました。(#32472)
                                                                                                                                                                                                                                                                                                                                    • +

                                                                                                                                                                                                                                                                                                                                      Milvus version 2.4.1 brings numerous improvements and bug fixes that aim to enhance the software’s performance, observability, and stability. These improvements include a declarative resource group API, enhanced bulk insert functionality that supports Float16/BFloat16 vector data types, a refined garbage collection (GC) mechanism that reduces list operations for object storage, and other changes related to performance optimizations. Additionally, bug fixes address issues such as compilation errors, failed fuzzy matches on newline characters, incorrect parameter datatypes for RESTful interfaces, and BulkInsert raising errors on numpy files when dynamic fields are enabled.

                                                                                                                                                                                                                                                                                                                                      +

                                                                                                                                                                                                                                                                                                                                      Breaking changes

                                                                                                                                                                                                                                                                                                                                        +
                                                                                                                                                                                                                                                                                                                                      • Discontinued support for delete with an empty filter expression. (#32472)
                                                                                                                                                                                                                                                                                                                                      -

                                                                                                                                                                                                                                                                                                                                      機能

                                                                                                                                                                                                                                                                                                                                        -
                                                                                                                                                                                                                                                                                                                                      • バルクインサートにおいて、Float16/BFloat16ベクトルデータ型をサポートしました(#32157)。
                                                                                                                                                                                                                                                                                                                                      • -
                                                                                                                                                                                                                                                                                                                                      • スパースフロートベクトルを改良し、ブルートフォースイテレータ検索と範囲検索をサポート(#32635)
                                                                                                                                                                                                                                                                                                                                      • +

                                                                                                                                                                                                                                                                                                                                        Features

                                                                                                                                                                                                                                                                                                                                          +
                                                                                                                                                                                                                                                                                                                                        • Added support for Float16/BFloat16 vector data types in bulk insert (#32157)
                                                                                                                                                                                                                                                                                                                                        • +
                                                                                                                                                                                                                                                                                                                                        • Enhanced sparse float vector to support brute force iterator search and range search (#32635)
                                                                                                                                                                                                                                                                                                                                        -

                                                                                                                                                                                                                                                                                                                                        改良点

                                                                                                                                                                                                                                                                                                                                          -
                                                                                                                                                                                                                                                                                                                                        • 宣言型リソースグループAPIを追加しました(#31930,#32297,#32536,#32666)。
                                                                                                                                                                                                                                                                                                                                        • -
                                                                                                                                                                                                                                                                                                                                        • QueryCoordのコレクションオブザーバをタスクドリブンに書き直した(#32441)
                                                                                                                                                                                                                                                                                                                                        • -
                                                                                                                                                                                                                                                                                                                                        • DataNodeのSyncManagerで使用されるデータ構造をリファクタリングし、メモリ使用量を減らし、エラーを防止しました(#32673)。
                                                                                                                                                                                                                                                                                                                                        • -
                                                                                                                                                                                                                                                                                                                                        • ガベージコレクションの実装を見直し、オブジェクトストレージに関連するリスト操作を最小限にしました(#31740)
                                                                                                                                                                                                                                                                                                                                        • -
                                                                                                                                                                                                                                                                                                                                        • コレクション数が多い場合のCPU使用量を削減(#32245)
                                                                                                                                                                                                                                                                                                                                        • -
                                                                                                                                                                                                                                                                                                                                        • milvus.yamlファイルの関連する設定項目をコードによって自動的に生成することで、milvus.yamlの管理を強化した(#31832,#32357)。
                                                                                                                                                                                                                                                                                                                                        • -
                                                                                                                                                                                                                                                                                                                                        • ローカル削減を行った後にデータを取得することで、Queryのパフォーマンスを向上した(#32346)
                                                                                                                                                                                                                                                                                                                                        • -
                                                                                                                                                                                                                                                                                                                                        • etcdクライアント作成時にWithBlockオプションを追加した(#32641)
                                                                                                                                                                                                                                                                                                                                        • -
                                                                                                                                                                                                                                                                                                                                        • クライアントが提供する場合、クライアントが指定するclient_request_idをTraceIDとして使用するようにした(#32264)
                                                                                                                                                                                                                                                                                                                                        • -
                                                                                                                                                                                                                                                                                                                                        • 削除および一括挿入操作のメトリクスにdbラベルを追加した(#32611)
                                                                                                                                                                                                                                                                                                                                        • -
                                                                                                                                                                                                                                                                                                                                        • AutoIDおよびPartitionKey列の設定による検証をスキップするロジックを追加した(#32592)
                                                                                                                                                                                                                                                                                                                                        • -
                                                                                                                                                                                                                                                                                                                                        • 認証に関するエラーを改善した(#32253)
                                                                                                                                                                                                                                                                                                                                        • -
                                                                                                                                                                                                                                                                                                                                        • DataCoordのAllocSegmentIDに関するエラーログを整理した(#32351,#32335)
                                                                                                                                                                                                                                                                                                                                        • -
                                                                                                                                                                                                                                                                                                                                        • 重複するメトリクスの削除(#32380,#32308)と未使用のメトリクスの整理(#32404,#32515)。
                                                                                                                                                                                                                                                                                                                                        • -
                                                                                                                                                                                                                                                                                                                                        • partitionKey機能の有効化を強制するかどうかを制御する設定オプションを追加(#32433)
                                                                                                                                                                                                                                                                                                                                        • -
                                                                                                                                                                                                                                                                                                                                        • 1回のリクエストで挿入できる最大データ量を制御する設定オプションを追加しました(#32433)。
                                                                                                                                                                                                                                                                                                                                        • -
                                                                                                                                                                                                                                                                                                                                        • セグメントレベルでのapplyDelete操作を並列化し、DelegatorによるDeleteメッセージの処理を高速化した(#32291)
                                                                                                                                                                                                                                                                                                                                        • -
                                                                                                                                                                                                                                                                                                                                        • インデックス(#32232,#32505,#32533,#32595)とキャッシュの追加(#32580)により、 QueryCoordで頻繁に行われるフィルタリング処理を高速化した(#32232,#32505,#32533,#32595)。
                                                                                                                                                                                                                                                                                                                                        • -
                                                                                                                                                                                                                                                                                                                                        • DataCoordの一般的な操作を高速化するために、データ構造を書き直し(#32273)、コードをリファクタリング(#32389)。
                                                                                                                                                                                                                                                                                                                                        • -
                                                                                                                                                                                                                                                                                                                                        • conanからopenblasを削除した(#32002)。
                                                                                                                                                                                                                                                                                                                                        • +

                                                                                                                                                                                                                                                                                                                                          Improvements

                                                                                                                                                                                                                                                                                                                                            +
                                                                                                                                                                                                                                                                                                                                          • Added declarative resource group api (#31930, #32297, #32536, #32666)
                                                                                                                                                                                                                                                                                                                                          • +
                                                                                                                                                                                                                                                                                                                                          • Rewrote the collection observer in QueryCoord to make it task-driven (#32441)
                                                                                                                                                                                                                                                                                                                                          • +
                                                                                                                                                                                                                                                                                                                                          • Refactored the data structure used in the SyncManager of DataNode to reduce memory usage and prevent errors (#32673)
                                                                                                                                                                                                                                                                                                                                          • +
                                                                                                                                                                                                                                                                                                                                          • Revised the implementation of garbage collection to minimize list operations associated with object storage (#31740)
                                                                                                                                                                                                                                                                                                                                          • +
                                                                                                                                                                                                                                                                                                                                          • Reduced the cpu usage when collection number is high (#32245)
                                                                                                                                                                                                                                                                                                                                          • +
                                                                                                                                                                                                                                                                                                                                          • Enhanced the management of milvus.yaml by automatically generating relevant configuration items in the milvus.yaml file through code (#31832, #32357)
                                                                                                                                                                                                                                                                                                                                          • +
                                                                                                                                                                                                                                                                                                                                          • Enhanced the performance of the Query by retrieving the data after performing local reduction (#32346)
                                                                                                                                                                                                                                                                                                                                          • +
                                                                                                                                                                                                                                                                                                                                          • Added WithBlock option for etcd client creation (#32641)
                                                                                                                                                                                                                                                                                                                                          • +
                                                                                                                                                                                                                                                                                                                                          • Used client_request_id specified by the client as the TraceID if client provided (#32264)
                                                                                                                                                                                                                                                                                                                                          • +
                                                                                                                                                                                                                                                                                                                                          • Added db label to the metrics for the delete and bulk insert operations (#32611)
                                                                                                                                                                                                                                                                                                                                          • +
                                                                                                                                                                                                                                                                                                                                          • Added logic to skip the verification through configuration for AutoID and PartitionKey columns (#32592)
                                                                                                                                                                                                                                                                                                                                          • +
                                                                                                                                                                                                                                                                                                                                          • Refined errors related to authentication (#32253)
                                                                                                                                                                                                                                                                                                                                          • +
                                                                                                                                                                                                                                                                                                                                          • Refined error logs for AllocSegmentID in DataCoord (#32351, #32335)
                                                                                                                                                                                                                                                                                                                                          • +
                                                                                                                                                                                                                                                                                                                                          • Removed duplicate metrics (#32380, #32308) and cleaned up unused metrics (#32404, #32515)
                                                                                                                                                                                                                                                                                                                                          • +
                                                                                                                                                                                                                                                                                                                                          • Added configuration option to control whether to enforce the activation of the partitionKey feature (#32433)
                                                                                                                                                                                                                                                                                                                                          • +
                                                                                                                                                                                                                                                                                                                                          • Added configuration option to control the maximum amount of data that can be inserted in a single request (#32433)
                                                                                                                                                                                                                                                                                                                                          • +
                                                                                                                                                                                                                                                                                                                                          • Parallelize the applyDelete operation at the segment level to accelerate the processing of Delete messages by the Delegator (#32291)
                                                                                                                                                                                                                                                                                                                                          • +
                                                                                                                                                                                                                                                                                                                                          • Used index (#32232, #32505, #32533, #32595) and add cache (#32580) to accelerate frequent filtering operations in QueryCoord.
                                                                                                                                                                                                                                                                                                                                          • +
                                                                                                                                                                                                                                                                                                                                          • Rewrote the data structure (#32273) and refactored code (#32389) to accelerate common operations in DataCoord.
                                                                                                                                                                                                                                                                                                                                          • +
                                                                                                                                                                                                                                                                                                                                          • Removed openblas from conan (#32002)
                                                                                                                                                                                                                                                                                                                                          -

                                                                                                                                                                                                                                                                                                                                          バグ修正

                                                                                                                                                                                                                                                                                                                                            -
                                                                                                                                                                                                                                                                                                                                          • rockylinux8におけるmilvusのビルドを修正(#32619)。
                                                                                                                                                                                                                                                                                                                                          • -
                                                                                                                                                                                                                                                                                                                                          • ARM上でのSVEのコンパイルエラーを修正(#32463,#32270)。
                                                                                                                                                                                                                                                                                                                                          • -
                                                                                                                                                                                                                                                                                                                                          • ARMベースのGPUイメージにおけるクラッシュ問題を修正(#31980)
                                                                                                                                                                                                                                                                                                                                          • -
                                                                                                                                                                                                                                                                                                                                          • 正規表現クエリが改行を含むテキストを扱えない問題を修正(#32569)
                                                                                                                                                                                                                                                                                                                                          • -
                                                                                                                                                                                                                                                                                                                                          • GetShardLeadersが空のノードリストを返すことにより検索結果が空になる問題を修正(#32685)
                                                                                                                                                                                                                                                                                                                                          • -
                                                                                                                                                                                                                                                                                                                                          • BulkInsertがnumpyファイルの動的フィールドに遭遇した場合にエラーを発生する問題を修正しました(#32596)。
                                                                                                                                                                                                                                                                                                                                          • -
                                                                                                                                                                                                                                                                                                                                          • RESTFulV2インターフェイスに関するバグを修正。リクエストの数値パラメータが文字列型ではなく数値入力を受け付けるようにする重要な修正も含まれる(#32485,#32355)。
                                                                                                                                                                                                                                                                                                                                          • -
                                                                                                                                                                                                                                                                                                                                          • レートリミッターのwatching configイベントを削除したことによる、 プロキシのメモリリークを修正(#32313)
                                                                                                                                                                                                                                                                                                                                          • -
                                                                                                                                                                                                                                                                                                                                          • パーティション名(partitionName)が指定されていない場合に、レートリミッターがパーティションが見つからないと不正に報告する問題を修正した(#32647)
                                                                                                                                                                                                                                                                                                                                          • -
                                                                                                                                                                                                                                                                                                                                          • エラータイプにコレクションが回復状態にある場合とロードされていない場合の検知を追加。(#32447)
                                                                                                                                                                                                                                                                                                                                          • -
                                                                                                                                                                                                                                                                                                                                          • 負のクエリ可能なnumエンティティメトリックを修正した(#32361)
                                                                                                                                                                                                                                                                                                                                          • +

                                                                                                                                                                                                                                                                                                                                            Bug fixes

                                                                                                                                                                                                                                                                                                                                              +
                                                                                                                                                                                                                                                                                                                                            • Fixed build milvus in rockylinux8 (#32619)
                                                                                                                                                                                                                                                                                                                                            • +
                                                                                                                                                                                                                                                                                                                                            • Fixed compilation errors for SVE on ARM (#32463, #32270)
                                                                                                                                                                                                                                                                                                                                            • +
                                                                                                                                                                                                                                                                                                                                            • Fixed the crash issue on ARM-based GPU images (#31980)
                                                                                                                                                                                                                                                                                                                                            • +
                                                                                                                                                                                                                                                                                                                                            • Fixed regex query can’t handle text with newline (#32569)
                                                                                                                                                                                                                                                                                                                                            • +
                                                                                                                                                                                                                                                                                                                                            • Fixed search get empty result caused by GetShardLeaders return empty node list (#32685)
                                                                                                                                                                                                                                                                                                                                            • +
                                                                                                                                                                                                                                                                                                                                            • Fixed BulkInsert raised error when encountering dynamic fields in numpy files (#32596)
                                                                                                                                                                                                                                                                                                                                            • +
                                                                                                                                                                                                                                                                                                                                            • Fixed bugs related to the RESTFulV2 interface, including an important fix that allows numeric parameters in requests to accept numerical input instead of string type (#32485, #32355)
                                                                                                                                                                                                                                                                                                                                            • +
                                                                                                                                                                                                                                                                                                                                            • Fixed memory leak in proxy by removing watching config event in rate limiter (#32313)
                                                                                                                                                                                                                                                                                                                                            • +
                                                                                                                                                                                                                                                                                                                                            • Fixed the issue where the rate limiter incorrectly reports that the partition cannot be found when partitionName is not specified (#32647)
                                                                                                                                                                                                                                                                                                                                            • +
                                                                                                                                                                                                                                                                                                                                            • Added detection between the cases of Collection being in the recovery state and not being loaded in the error type. (#32447)
                                                                                                                                                                                                                                                                                                                                            • +
                                                                                                                                                                                                                                                                                                                                            • Corrected the negative queryable num entities metric (#32361)

                                                                                                                                                                                                                                                                                                                                            v2.4.0

                                                                                                                                                                                                                                                                                                                                            リリース日: 2024年4月17日

                                                                                                                                                                                                                                                                                                                                            +

                                                                                                                                                                                                                                                                                                                                            Release date: April 17, 2024

                                                                                                                                                                                                                                                                                                                                            - +
                                                                                                                                                                                                                                                                                                                                            MilvusバージョンPython SDKバージョンNode.js SDKバージョン
                                                                                                                                                                                                                                                                                                                                            Milvus versionPython SDK versionNode.js SDK version
                                                                                                                                                                                                                                                                                                                                            2.4.02.4.02.4.0
                                                                                                                                                                                                                                                                                                                                            -

                                                                                                                                                                                                                                                                                                                                            Milvus 2.4.0は、2.4.0-rc.1リリースの強固な基盤の上に、既存の機能を維持しつつ、ユーザーから報告された重大なバグへの対応に重点を置いています。また、Milvus 2.4.0では、システム性能の向上、様々なメトリクスの導入による観測性の向上、コードベースの簡素化を目的とした様々な最適化を導入しています。

                                                                                                                                                                                                                                                                                                                                            -

                                                                                                                                                                                                                                                                                                                                            改良点

                                                                                                                                                                                                                                                                                                                                              -
                                                                                                                                                                                                                                                                                                                                            • MinIO TLS接続のサポート(#31396,#31618)
                                                                                                                                                                                                                                                                                                                                            • -
                                                                                                                                                                                                                                                                                                                                            • スカラーフィールドのAutoIndex対応(#31593)
                                                                                                                                                                                                                                                                                                                                            • -
                                                                                                                                                                                                                                                                                                                                            • ハイブリッド検索リファクタリングにより、通常の検索と一貫した実行パスを実現(#31742 、#32178)
                                                                                                                                                                                                                                                                                                                                            • -
                                                                                                                                                                                                                                                                                                                                            • bitsetおよびbitset_viewリファクタリングによるフィルタリングの高速化(#31592,#31754,#32139)。
                                                                                                                                                                                                                                                                                                                                            • -
                                                                                                                                                                                                                                                                                                                                            • インポートタスクがデータインデックスの完了を待つようになりました(#31733)。
                                                                                                                                                                                                                                                                                                                                            • -
                                                                                                                                                                                                                                                                                                                                            • インポートの互換性の強化(#32121)、タスクのスケジューリング(#31475)、インポートファイルのサイズと数の制限(#31542)
                                                                                                                                                                                                                                                                                                                                            • -
                                                                                                                                                                                                                                                                                                                                            • 型チェックのインターフェイスの標準化(#31945,#31857)、非推奨のコードやメトリクスの削除(#32079,#32134,#31535,#32211,#31935)、定数名の正規化(#31515)などのコードの簡素化。
                                                                                                                                                                                                                                                                                                                                            • -
                                                                                                                                                                                                                                                                                                                                            • QueryCoordのカレントターゲットチャンネルチェックポイントの遅延に対する新しいメトリクスを追加しました(#31420)。
                                                                                                                                                                                                                                                                                                                                            • -
                                                                                                                                                                                                                                                                                                                                            • 共通メトリクスにdbラベルを追加した(#32024)
                                                                                                                                                                                                                                                                                                                                            • -
                                                                                                                                                                                                                                                                                                                                            • 削除済み、インデックス付き、およびロードされたエンティティのカウントに関する新しいメトリクスに、collectionNameやdbNameなどのラベルが追加されました(#31861)。
                                                                                                                                                                                                                                                                                                                                            • -
                                                                                                                                                                                                                                                                                                                                            • ベクトル型が不一致の場合のエラー処理を改善しました(#31766)。
                                                                                                                                                                                                                                                                                                                                            • -
                                                                                                                                                                                                                                                                                                                                            • インデックスが構築できない場合にクラッシュせずにエラーを投げるようにした(#31845)
                                                                                                                                                                                                                                                                                                                                            • -
                                                                                                                                                                                                                                                                                                                                            • データベースの削除時にデータベースのメタキャッシュを無効にするようにした(#32092)
                                                                                                                                                                                                                                                                                                                                            • -
                                                                                                                                                                                                                                                                                                                                            • チャンネル配信(#31814)およびリーダービュー管理(#32127)のインターフェイスをリファクタリングしました。
                                                                                                                                                                                                                                                                                                                                            • -
                                                                                                                                                                                                                                                                                                                                            • チャンネルディストリビューションマネージャインターフェイスのリファクタリング(#31814)とリーダービューマネージャインターフェイスのリファクタリング(#32127)
                                                                                                                                                                                                                                                                                                                                            • -
                                                                                                                                                                                                                                                                                                                                            • バッチ処理(#31632)、マッピング情報の追加(#32234,#32249)、ロックの使用回避(#31787)により、頻繁に呼び出される操作を高速化。
                                                                                                                                                                                                                                                                                                                                            • +

                                                                                                                                                                                                                                                                                                                                              We are excited to announce the official launch of Milvus 2.4.- Building upon the solid foundation of the 2.4.0-rc.1 release, we have focused on addressing critical bugs reported by our users, while preserving the existing functionality. In addition, Milvus 2.4.0 introduces a range of optimizations aimed at enhancing system performance, improving observability through the incorporation of various metrics, and streamlining the codebase for increased simplicity.

                                                                                                                                                                                                                                                                                                                                              +

                                                                                                                                                                                                                                                                                                                                              Improvements

                                                                                                                                                                                                                                                                                                                                                +
                                                                                                                                                                                                                                                                                                                                              • Support for MinIO TLS connections (#31396, #31618)
                                                                                                                                                                                                                                                                                                                                              • +
                                                                                                                                                                                                                                                                                                                                              • AutoIndex support for scalar fields (#31593)
                                                                                                                                                                                                                                                                                                                                              • +
                                                                                                                                                                                                                                                                                                                                              • Hybrid search refactoring for consistent execution paths with regular search (#31742, #32178)
                                                                                                                                                                                                                                                                                                                                              • +
                                                                                                                                                                                                                                                                                                                                              • Accelerated filtering through bitset and bitset_view refactoring (#31592, #31754, #32139)
                                                                                                                                                                                                                                                                                                                                              • +
                                                                                                                                                                                                                                                                                                                                              • Import tasks now support waiting for data index completion (#31733)
                                                                                                                                                                                                                                                                                                                                              • +
                                                                                                                                                                                                                                                                                                                                              • Enhanced Import compatibility (#32121), task scheduling (#31475), and limits on imported file size and number (#31542)
                                                                                                                                                                                                                                                                                                                                              • +
                                                                                                                                                                                                                                                                                                                                              • Code simplification efforts including interface standardization for type checking (#31945, #31857), removal of deprecated code and metrics (#32079, #32134, #31535, #32211, #31935), and normalization of constant names (#31515)
                                                                                                                                                                                                                                                                                                                                              • +
                                                                                                                                                                                                                                                                                                                                              • New metrics for QueryCoord current target channel check point lag latency (#31420)
                                                                                                                                                                                                                                                                                                                                              • +
                                                                                                                                                                                                                                                                                                                                              • New db label for common metrics (#32024)
                                                                                                                                                                                                                                                                                                                                              • +
                                                                                                                                                                                                                                                                                                                                              • New metrics regarding the count of deleted, indexed, and loaded entities, with the inclusion of labels such as collectionName and dbName (#31861)
                                                                                                                                                                                                                                                                                                                                              • +
                                                                                                                                                                                                                                                                                                                                              • Error handling improvements for mismatched vector types (#31766)
                                                                                                                                                                                                                                                                                                                                              • +
                                                                                                                                                                                                                                                                                                                                              • Support for throwing errors instead of crashing when index cannot be built (#31845)
                                                                                                                                                                                                                                                                                                                                              • +
                                                                                                                                                                                                                                                                                                                                              • Support for invalidating the database meta cache when dropping databases (#32092)
                                                                                                                                                                                                                                                                                                                                              • +
                                                                                                                                                                                                                                                                                                                                              • Interface refactoring for channel distribution (#31814) and leader view management (#32127)
                                                                                                                                                                                                                                                                                                                                              • +
                                                                                                                                                                                                                                                                                                                                              • Refactor channel dist manager interface (#31814) and Refactor leader view manager interface (#32127)
                                                                                                                                                                                                                                                                                                                                              • +
                                                                                                                                                                                                                                                                                                                                              • Batch processing (#31632), adding mapping information (#32234, #32249), and avoiding usage of lock (#31787) to accelerate frequently invoked operations
                                                                                                                                                                                                                                                                                                                                              -

                                                                                                                                                                                                                                                                                                                                              変更点

                                                                                                                                                                                                                                                                                                                                                -
                                                                                                                                                                                                                                                                                                                                              • バイナリベクトルでのグルーピング検索の廃止(#31735)
                                                                                                                                                                                                                                                                                                                                              • -
                                                                                                                                                                                                                                                                                                                                              • ハイブリッド検索でのグループ化検索の廃止(#31812)
                                                                                                                                                                                                                                                                                                                                              • -
                                                                                                                                                                                                                                                                                                                                              • バイナリベクトルにおけるHNSWインデックスの廃止(#31883)
                                                                                                                                                                                                                                                                                                                                              • +

                                                                                                                                                                                                                                                                                                                                                Breaking Changes

                                                                                                                                                                                                                                                                                                                                                  +
                                                                                                                                                                                                                                                                                                                                                • Discontinued grouping search on binary vectors (#31735)
                                                                                                                                                                                                                                                                                                                                                • +
                                                                                                                                                                                                                                                                                                                                                • Discontinued grouping search with hybrid search (#31812)
                                                                                                                                                                                                                                                                                                                                                • +
                                                                                                                                                                                                                                                                                                                                                • Discontinued HNSW index on binary vectors (#31883)
                                                                                                                                                                                                                                                                                                                                                -

                                                                                                                                                                                                                                                                                                                                                バグ修正

                                                                                                                                                                                                                                                                                                                                                  -
                                                                                                                                                                                                                                                                                                                                                • クラッシュ防止のため、クエリと挿入時のデータ型と値のチェックを強化(#31478 、#31653 、#31698 、#31842 、#32042 、#32251 、#32204)
                                                                                                                                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                                                                                                                                • RESTful APIのバグ修正(#32160)
                                                                                                                                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                                                                                                                                • 転置インデックスのリソース使用量の予測を改善した(#31641)。
                                                                                                                                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                                                                                                                                • 認証が有効な場合のetcdとの接続問題の解決(#31668)
                                                                                                                                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                                                                                                                                • natsサーバのセキュリティ更新(#32023)
                                                                                                                                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                                                                                                                                • 転置インデックスファイルを/tmpではなくQueryNodeのローカルストレージパスに格納するようにした(#32210)
                                                                                                                                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                                                                                                                                • collectionInfoにおけるdatacoordのメモリリークに対処(#32243)
                                                                                                                                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                                                                                                                                • システムパニックを引き起こす可能性のあるfp16/bf16関連のバグを修正しました(#31677,#31841,#32196)。
                                                                                                                                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                                                                                                                                • グループ化検索が不十分な結果を返す問題を解決(#32151)
                                                                                                                                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                                                                                                                                • Reduceステップにおけるオフセットをより効果的に扱い、"reduceStopForBest "が有効な場合に適切な結果が得られるように、イテレータを用いた検索を調整した(#32088)
                                                                                                                                                                                                                                                                                                                                                • +

                                                                                                                                                                                                                                                                                                                                                  Bug Fixes

                                                                                                                                                                                                                                                                                                                                                    +
                                                                                                                                                                                                                                                                                                                                                  • Enhanced data type and value checks for queries and insertions to prevent crashes (#31478, #31653, #31698, #31842, #32042, #32251, #32204)
                                                                                                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                                                                                                  • RESTful API bug fixes (#32160)
                                                                                                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                                                                                                  • Improved prediction of inverted index resource usage (#31641)
                                                                                                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                                                                                                  • Resolution of connection issues with etcd when authorization is enabled (#31668)
                                                                                                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                                                                                                  • Security update for nats server (#32023)
                                                                                                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                                                                                                  • Stored inverted index files into a local storage path of QueryNode instead of /tmp (#32210)
                                                                                                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                                                                                                  • Addressed datacoord memory leaks for collectionInfo (#32243)
                                                                                                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                                                                                                  • Fixes for fp16/bf16 related bugs potentially causing system panic (#31677, #31841, #32196)
                                                                                                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                                                                                                  • Resolved issues with grouping search returning insufficient results (#32151)
                                                                                                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                                                                                                  • Adjustment of search with iterators to handle offsets in the Reduce step more effectively and ensure adequate results with “reduceStopForBest” enabled (#32088)

                                                                                                                                                                                                                                                                                                                                                  v2.4.0-rc.1

                                                                                                                                                                                                                                                                                                                                                  リリース日:2024年3月20日

                                                                                                                                                                                                                                                                                                                                                  +

                                                                                                                                                                                                                                                                                                                                                  Release date: March 20, 2024

                                                                                                                                                                                                                                                                                                                                                  - +
                                                                                                                                                                                                                                                                                                                                                  MilvusバージョンPython SDKバージョン
                                                                                                                                                                                                                                                                                                                                                  Milvus versionPython SDK version
                                                                                                                                                                                                                                                                                                                                                  2.4.0-rc.12.4.0
                                                                                                                                                                                                                                                                                                                                                  -

                                                                                                                                                                                                                                                                                                                                                  このリリースでは、いくつかのシナリオベースの機能が導入されています:

                                                                                                                                                                                                                                                                                                                                                  +

                                                                                                                                                                                                                                                                                                                                                  This release introduces several scenario-based features:

                                                                                                                                                                                                                                                                                                                                                    -
                                                                                                                                                                                                                                                                                                                                                  • 新しいGPUインデックス - CAGRA: NVIDIAの貢献により、この新しいGPUインデックスは、特にバッチ検索において10倍のパフォーマンス向上を提供します。詳細はGPUインデックスをご参照ください。

                                                                                                                                                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                                                                                                                                                  • マルチベクトルと ハイブリッド検索:この機能により、複数のモデルからのベクトル埋め込みを保存し、ハイブリッド検索を行うことができます。詳細は「ハイブリッド検索」を参照。

                                                                                                                                                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                                                                                                                                                  • スパース・ベクトル:キーワードの解釈と分析に最適なスパース・ベクターが、コレクションでの処理に対応しました。詳細については、スパース・ベクトルを参照してください。

                                                                                                                                                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                                                                                                                                                  • グループ化検索:カテゴリ集約は、検索拡張世代(RAG)アプリケーションのドキュメントレベルのリコールを強化します。詳細については、「グループ化検索」を参照してください。

                                                                                                                                                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                                                                                                                                                  • 転置インデックスと ファジィ・マッチング:これらの機能は、スカラー・フィールドのキーワード検索を向上させます。詳細については、「スカラー・フィールドのインデックスと フィルター検索」を参照してください。

                                                                                                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                                                                                                  • New GPU Index - CAGRA: Thanks to NVIDIA’s contribution, this new GPU index offers a 10x performance boost, especially for batch searches. For details, refer to GPU Index.

                                                                                                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                                                                                                  • Multi-vector and Hybrid Search: This feature enables storing vector embeddings from multiple models and conducting hybrid searches. For details, refer to Hybrid Search.

                                                                                                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                                                                                                  • Sparse Vectors: Ideal for keyword interpretation and analysis, sparse vectors are now supported for processing in your collection. For details, refer to Sparse Vectors.

                                                                                                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                                                                                                  • Grouping Search: Categorical aggregation enhances document-level recall for Retrieval-Augmented Generation (RAG) applications. For details, refer to Grouping Search.

                                                                                                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                                                                                                  • Inverted Index and Fuzzy Matching: These capabilities improve keyword retrieval for scalar fields. For details, refer to Index Scalar Fields and Filtered Search.

                                                                                                                                                                                                                                                                                                                                                  -

                                                                                                                                                                                                                                                                                                                                                  新機能

                                                                                                                                                                                                                                                                                                                                                  GPUインデックス - CAGRA

                                                                                                                                                                                                                                                                                                                                                  NVIDIAチームのCAGRAへの貴重な貢献に対し、心より感謝申し上げます。CAGRAは、オンラインで使用可能な最先端の(SoTA)GPUベースのグラフインデックスです。

                                                                                                                                                                                                                                                                                                                                                  -

                                                                                                                                                                                                                                                                                                                                                  これまでのGPUインデックスとは異なり、CAGRAは従来CPUインデックスが得意としてきた小バッチクエリにおいても圧倒的な優位性を示しています。さらに、GPUインデックスがすでに得意とする大規模バッチクエリやインデックス構築速度におけるCAGRAの性能は、まさに比類のないものです。

                                                                                                                                                                                                                                                                                                                                                  -

                                                                                                                                                                                                                                                                                                                                                  サンプルコードはexample_gpu_cagra.py にあります。

                                                                                                                                                                                                                                                                                                                                                  -

                                                                                                                                                                                                                                                                                                                                                  スパースベクトル (ベータ)

                                                                                                                                                                                                                                                                                                                                                  このリリースでは、スパースベクトルと呼ばれる新しいタイプのベクトル場を導入します。スパースベクトルは密なベクトルとは異なり、ゼロでない次元はほんの一握りで、次元数が数倍高くなります。この特徴は、項ベースの性質により解釈しやすく、特定の領域においてより効果的である。SPLADEv2/BGE-M3のような学習されたスパースモデルは、一般的な第一段階のランキングタスクに非常に有用であることが証明されている。Milvusのこの新機能の主なユースケースは、SPLADEv2/BGE-M3のようなニューラルモデルやBM25アルゴリズムのような統計モデルによって生成されたスパースベクトルに対する効率的な近似意味最近傍探索を可能にすることである。Milvusは現在、スパースベクトルの効率的で高性能な格納、インデックス付け、検索(MIPS、最大内積探索)をサポートしています。

                                                                                                                                                                                                                                                                                                                                                  -

                                                                                                                                                                                                                                                                                                                                                  サンプルコードはhello_sparse.pyにあります。

                                                                                                                                                                                                                                                                                                                                                  -

                                                                                                                                                                                                                                                                                                                                                  マルチベクタのサポートは、マルチモデルデータ処理や密なベクトルと疎なベクトルの混合を必要とするアプリケーションの基礎となります。マルチベクタサポートにより、以下のことが可能になります:

                                                                                                                                                                                                                                                                                                                                                  +

                                                                                                                                                                                                                                                                                                                                                  New Features

                                                                                                                                                                                                                                                                                                                                                  GPU Index - CAGRA

                                                                                                                                                                                                                                                                                                                                                  We would like to express our sincere gratitude to the NVIDIA team for their invaluable contribution to CAGRA, a state-of-the-art (SoTA) GPU-based graph index that can be used online.

                                                                                                                                                                                                                                                                                                                                                  +

                                                                                                                                                                                                                                                                                                                                                  Unlike previous GPU indices, CAGRA demonstrates overwhelming superiority even in small batch queries, an area where CPU indices traditionally excel. In addition, CAGRA’s performance in large batch queries and index construction speed, domains where GPU indices already shine, is truly unparalleled.

                                                                                                                                                                                                                                                                                                                                                  +

                                                                                                                                                                                                                                                                                                                                                  Example code can be found in example_gpu_cagra.py.

                                                                                                                                                                                                                                                                                                                                                  +

                                                                                                                                                                                                                                                                                                                                                  Sparse Vector (Beta)

                                                                                                                                                                                                                                                                                                                                                  In this release, we are introducing a new type of vector field called sparse vector. Sparse vectors are different from their dense counterparts as they tend to have several magnitude higher number of dimensions with only a handful being non-zero. This feature offers better interpretability due to its term-based nature and can be more effective in certain domains. Learned sparse models such as SPLADEv2/BGE-M3 have proven to be very useful for common first-stage ranking tasks. The main use case for this new feature in Milvus is to allow efficient approximate semantic nearest neighbor search over sparse vectors generated by neural models such as SPLADEv2/BGE-M3 and statistics models such as the BM25 algorithm. Milvus now supports effective and high-performance storage, indexing, and searching (MIPS, Maximum Inner Product Search) of sparse vectors.

                                                                                                                                                                                                                                                                                                                                                  +

                                                                                                                                                                                                                                                                                                                                                  Example code can be found in hello_sparse.py.

                                                                                                                                                                                                                                                                                                                                                  +

                                                                                                                                                                                                                                                                                                                                                  Multi-vector support is the cornerstone for applications that require multi-model data processing or a mix of dense and sparse vectors. With multi-vector support, now you can:

                                                                                                                                                                                                                                                                                                                                                    -
                                                                                                                                                                                                                                                                                                                                                  • 複数のモデルから非構造化テキスト、画像、音声サンプルに対して生成されたベクトル埋め込みを保存。
                                                                                                                                                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                                                                                                                                                  • 各エンティティの複数のベクトルを含むANN検索の実行。
                                                                                                                                                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                                                                                                                                                  • 異なる埋め込みモデルに重みを割り当てることで、検索ストラテジーをカスタマイズ。
                                                                                                                                                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                                                                                                                                                  • 様々な埋め込みモデルを試して、最適なモデルの組み合わせを見つける。
                                                                                                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                                                                                                  • Store vector embeddings generated for unstructured text, image, or audio samples from multiple models.
                                                                                                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                                                                                                  • Conduct ANN searches that include multiple vectors of each entity.
                                                                                                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                                                                                                  • Customize search strategies by assigning weights to different embedding models.
                                                                                                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                                                                                                  • Experiment with various embedding models to find the optimal model combination.
                                                                                                                                                                                                                                                                                                                                                  -

                                                                                                                                                                                                                                                                                                                                                  マルチ・ベクトル・サポートにより、FLOAT_VECTOR や SPARSE_FLOAT_VECTOR などの異なる型の複数のベクトル・フィールドをコレクションに格納し、インデックスを付け、リランキング戦略を適用することができる。現在、2つのリランキング戦略が利用可能である:Reciprocal Rank Fusion (RRF)Average Weighted Scoringである。どちらの戦略も、異なるベクトルフィールドからの検索結果を統一された結果セットに結合する。最初の戦略は、異なるベクトルフィールドの検索結果に一貫して現れるエンティティを優先し、もう一方の戦略は、各ベクトルフィールドの検索結果に重みを割り当てて、最終的な結果セットにおける重要度を決定する。

                                                                                                                                                                                                                                                                                                                                                  -

                                                                                                                                                                                                                                                                                                                                                  コード例はhybrid_search.pyにあります。

                                                                                                                                                                                                                                                                                                                                                  -

                                                                                                                                                                                                                                                                                                                                                  転置インデックスとファジィマッチ

                                                                                                                                                                                                                                                                                                                                                  Milvusの以前のリリースでは、スカラーフィールドのインデックス付けにメモリベースのバイナリ検索インデックスとMarisa Trieインデックスが使用されていました。しかし、これらの方法はメモリを大量に消費しました。Milvusの最新リリースでは、すべての数値および文字列データ型に適用可能なTantivyベースの転置インデックスが採用されました。この新しいインデックスはスカラークエリーの性能を劇的に向上させ、文字列中のキーワードのクエリーを10分の1に削減した。さらに、この転置インデックスは、データ圧縮と内部インデックス構造のMMap(Memory-Mapped Storage)メカニズムにおける追加の最適化により、より少ないメモリを消費します。

                                                                                                                                                                                                                                                                                                                                                  -

                                                                                                                                                                                                                                                                                                                                                  このリリースでは、接頭辞、接尾辞、接尾辞を使用したスカラーフィルタリングにおけるファジーマッチもサポートしています。

                                                                                                                                                                                                                                                                                                                                                  -

                                                                                                                                                                                                                                                                                                                                                  コードの例はinverted_index_example.pyfuzzy_match.py にあります。

                                                                                                                                                                                                                                                                                                                                                  -

                                                                                                                                                                                                                                                                                                                                                  特定のスカラーフィールドの値で検索結果を集約できるようになりました。これはRAGアプリケーションがドキュメントレベルのリコールを実装するのに役立ちます。各文書は様々なパッセージに分割されます。各パッセージは1つのベクトル埋め込みによって表現され、1つの文書に属する。散らばったパッセージではなく、最も関連性の高いドキュメントを見つけるために、search()操作にgroup_by_field引数を含めることで、ドキュメントIDによって結果をグループ化することができます。

                                                                                                                                                                                                                                                                                                                                                  -

                                                                                                                                                                                                                                                                                                                                                  コード例はexample_group_by.py にあります。

                                                                                                                                                                                                                                                                                                                                                  -

                                                                                                                                                                                                                                                                                                                                                  Float16 と BFloat- Vector データ型

                                                                                                                                                                                                                                                                                                                                                  機械学習やニューラルネットワークでは、Float16やBFloatのような半精度データ型がよく使用されます。これらのデータ型はクエリの効率を改善し、メモリ使用量を削減できますが、精度の低下というトレードオフが伴います。今回のリリースで、Milvusはベクトルフィールドのこれらのデータ型をサポートするようになりました。

                                                                                                                                                                                                                                                                                                                                                  -

                                                                                                                                                                                                                                                                                                                                                  コード例はfloat16_example.pybfloat16_example.py にあります。

                                                                                                                                                                                                                                                                                                                                                  -

                                                                                                                                                                                                                                                                                                                                                  アップグレードされたアーキテクチャ

                                                                                                                                                                                                                                                                                                                                                  L0 セグメント

                                                                                                                                                                                                                                                                                                                                                  このリリースには、削除されたデータを記録するために設計された L0 セグメントという新しいセグメントが含まれています。このセグメントでは、保存された削除レコードを定期的にコンパクト化し、封印されたセグメントに分割することで、小さな削除に必要なデータフラッシュの回数を減らし、小さなストレージフットプリントを残します。このメカニズムにより、Milvusはデータ圧縮とデータフラッシュを完全に分離し、削除およびアップサート操作のパフォーマンスを向上させます。

                                                                                                                                                                                                                                                                                                                                                  -

                                                                                                                                                                                                                                                                                                                                                  リファクタリングされた一括挿入

                                                                                                                                                                                                                                                                                                                                                  本リリースでは、改良された一括挿入ロジックも導入されています。これにより、1回の一括挿入リクエストで複数のファイルをインポートできるようになります。リファクタリングされたバージョンでは、一括挿入のパフォーマンスと安定性の両方が大幅に改善されました。また、レート制限の微調整やユーザーフレンドリーなエラーメッセージなど、ユーザーエクスペリエンスも向上しています。さらに、MilvusのRESTful APIを通じてバルクインサートのエンドポイントに簡単にアクセスすることができます。

                                                                                                                                                                                                                                                                                                                                                  -

                                                                                                                                                                                                                                                                                                                                                  メモリマップストレージ

                                                                                                                                                                                                                                                                                                                                                  Milvusはメモリマップドストレージ(MMap)を使用してメモリ使用量を最適化しています。このメカニズムでは、ファイルコンテンツを直接メモリにロードする代わりに、ファイルコンテンツをメモリにマッピングします。このアプローチは、パフォーマンスの低下というトレードオフを伴います。 2つのCPUと8GBのRAMを持つホスト上のHNSWインデックス付きコレクションでMMapを有効にすると、10%未満の性能低下で、4倍のデータをロードできます。

                                                                                                                                                                                                                                                                                                                                                  -

                                                                                                                                                                                                                                                                                                                                                  さらに、このリリースでは、Milvusを再起動することなく、MMapをダイナミックかつきめ細かく制御することができます。

                                                                                                                                                                                                                                                                                                                                                  -

                                                                                                                                                                                                                                                                                                                                                  詳細については、MMap Storage を参照してください。

                                                                                                                                                                                                                                                                                                                                                  -

                                                                                                                                                                                                                                                                                                                                                  その他

                                                                                                                                                                                                                                                                                                                                                  Milvus-CDC

                                                                                                                                                                                                                                                                                                                                                  Milvus-CDCは、Milvusインスタンス間で増分データをキャプチャおよび同期するための使いやすいコンパニオンツールであり、増分バックアップおよびディザスタリカバリを容易に行うことができます。本リリースでは、Milvus-CDCの安定性が向上し、変更データキャプチャ(CDC)機能が一般的に利用できるようになりました。

                                                                                                                                                                                                                                                                                                                                                  -

                                                                                                                                                                                                                                                                                                                                                  Milvus-CDCの詳細については、GitHubリポジトリおよびMilvus-CDC Overviewをご参照ください。

                                                                                                                                                                                                                                                                                                                                                  -

                                                                                                                                                                                                                                                                                                                                                  MilvusClientインターフェースの改良

                                                                                                                                                                                                                                                                                                                                                  MilvusClientはORMモジュールに代わる使いやすいクライアントです。サーバとのインタラクションを単純化するために、純粋に機能的なアプローチを採用しています。コネクションプールを維持する代わりに、各MilvusClientはサーバとのgRPC接続を確立します。 MilvusClientモジュールはORMモジュールのほとんどの機能を実装しています。 MilvusClientモジュールの詳細については、pymilvusおよびリファレンスドキュメントを参照してください。

                                                                                                                                                                                                                                                                                                                                                  +

                                                                                                                                                                                                                                                                                                                                                  Multi-vector support allows storing, indexing, and applying reranking strategies to multiple vector fields of different types, such as FLOAT_VECTOR and SPARSE_FLOAT_VECTOR, in a collection. Currently, two reranking strategies are available: Reciprocal Rank Fusion (RRF) and Average Weighted Scoring. Both strategies combine the search results from different vector fields into a unified result set. The first strategy prioritizes the entities that consistently appear in the search results of different vector fields, while the other strategy assigns weights to the search results of each vector field to determine their importance in the final result set.

                                                                                                                                                                                                                                                                                                                                                  +

                                                                                                                                                                                                                                                                                                                                                  Example code can be found in hybrid_search.py.

                                                                                                                                                                                                                                                                                                                                                  +

                                                                                                                                                                                                                                                                                                                                                  Inverted Index and Fuzzy Match

                                                                                                                                                                                                                                                                                                                                                  In previous releases of Milvus, memory-based binary search indexes and Marisa Trie indexes were used for scalar field indexing. However, these methods were memory-intensive. The latest release of Milvus now employs the Tantivy-based inverted index, which can be applied to all numeric and string data types. This new index dramatically improves scalar query performance, reducing the query of keywords in strings by ten times. In addition, The inverted index consumes less memory, thanks to additional optimizations in data compression and Memory-mapped storage (MMap) mechanism of the internal indexing structure.

                                                                                                                                                                                                                                                                                                                                                  +

                                                                                                                                                                                                                                                                                                                                                  This release also supports fuzzy matches in scalar filtering using prefixes, infixes, and suffixes.

                                                                                                                                                                                                                                                                                                                                                  +

                                                                                                                                                                                                                                                                                                                                                  Example code can be found in inverted_index_example.py and fuzzy_match.py.

                                                                                                                                                                                                                                                                                                                                                  +

                                                                                                                                                                                                                                                                                                                                                  You can now aggregate the search results by the values in a specific scalar field. This helps RAG applications to implement document-level recall. Consider a collection of documents, each document splits into various passages. Each passage is represented by one vector embedding and belongs to one document. To find the most relevant documents instead of scattering passages, you can include the group_by_field argument in the search() operation to group results by the document ID.

                                                                                                                                                                                                                                                                                                                                                  +

                                                                                                                                                                                                                                                                                                                                                  Example code can be found in example_group_by.py.

                                                                                                                                                                                                                                                                                                                                                  +

                                                                                                                                                                                                                                                                                                                                                  Float16 and BFloat- Vector DataType

                                                                                                                                                                                                                                                                                                                                                  Machine learning and neural networks often use half-precision data types, such as Float16 and BFloat- While these data types can improve query efficiency and reduce memory usage, they come with a tradeoff of reduced accuracy. With this release, Milvus now supports these data types for vector fields.

                                                                                                                                                                                                                                                                                                                                                  +

                                                                                                                                                                                                                                                                                                                                                  Example code can be found in float16_example.py and bfloat16_example.py.

                                                                                                                                                                                                                                                                                                                                                  +

                                                                                                                                                                                                                                                                                                                                                  Upgraded Architecture

                                                                                                                                                                                                                                                                                                                                                  L0 Segment

                                                                                                                                                                                                                                                                                                                                                  This release includes a new segment called L0 Segment, designed to record deleted data. This segment periodically compacts stored deleted records and splits them into sealed segments, reducing the number of data flushes required for small deletions and leaving a small storage footprint. With this mechanism, Milvus completely separates data compactions from data flushes, enhancing the performance of delete and upsert operations.

                                                                                                                                                                                                                                                                                                                                                  +

                                                                                                                                                                                                                                                                                                                                                  Refactored BulkInsert

                                                                                                                                                                                                                                                                                                                                                  This release also introduces improved bulk-insert logic. This allows you to import multiple files in a single bulk-insert request. With the refactored version, both the performance and stability of bulk insert have seen significant improvements. The user experience has also been enhanced, such as fine-tuned rate limiting and more user-friendly error messages. In addition, you can easily access the bulk-insert endpoints through Milvus’ RESTful API.

                                                                                                                                                                                                                                                                                                                                                  +

                                                                                                                                                                                                                                                                                                                                                  Memory-mapped Storage

                                                                                                                                                                                                                                                                                                                                                  Milvus uses memory-mapped storage (MMap) to optimize its memory usage. Instead of loading file content directly into memory, this mechanism maps the file content into memory. This approach comes with a tradeoff of performance degradation. By enabling MMap for an HNSW-indexed collection on a host with 2 CPUs and 8 GB RAM, you can load 4x more data with less than 10% performance degradation.

                                                                                                                                                                                                                                                                                                                                                  +

                                                                                                                                                                                                                                                                                                                                                  In addition, this release also allows dynamic and fine-grained control over MMap without the need to restart Milvus.

                                                                                                                                                                                                                                                                                                                                                  +

                                                                                                                                                                                                                                                                                                                                                  For details, refer to MMap Storage.

                                                                                                                                                                                                                                                                                                                                                  +

                                                                                                                                                                                                                                                                                                                                                  Others

                                                                                                                                                                                                                                                                                                                                                  Milvus-CDC

                                                                                                                                                                                                                                                                                                                                                  Milvus-CDC is an easy-to-use companion tool to capture and synchronize incremental data between Milvus instances, allowing for easy incremental backup and disaster recovery. In this release, Milvus-CDC has improved stability, and its Change Data Capture (CDC) functionality now becomes generally available.

                                                                                                                                                                                                                                                                                                                                                  +

                                                                                                                                                                                                                                                                                                                                                  To learn more about Milvus-CDC, refer to GitHub repository and Milvus-CDC Overview.

                                                                                                                                                                                                                                                                                                                                                  +

                                                                                                                                                                                                                                                                                                                                                  Refined MilvusClient Interfaces

                                                                                                                                                                                                                                                                                                                                                  MilvusClient is an easy-to-use alternative to the ORM module. It adopts a purely functional approach to simplify interactions with the server. Instead of maintaining a connection pool, each MilvusClient establishes a gRPC connection to the server. +The MilvusClient module has implemented most of the functionalities of the ORM module. +To learn more about the MilvusClient module, visit pymilvus and the reference documents.

                                                                                                                                                                                                                                                                                                                                                  diff --git a/localization/v2.4.x/site/ja/userGuide/data-import/import-data.json b/localization/v2.4.x/site/ja/userGuide/data-import/import-data.json index ac75e1a2c..d324e710a 100644 --- a/localization/v2.4.x/site/ja/userGuide/data-import/import-data.json +++ b/localization/v2.4.x/site/ja/userGuide/data-import/import-data.json @@ -1 +1 @@ -{"codeList":["client = MilvusClient(\"http://localhost:19530\")\n\nschema = MilvusClient.create_schema(\n auto_id=False,\n enable_dynamic_field=True\n)\n\nschema.add_field(field_name=\"id\", datatype=DataType.INT64, is_primary=True)\nschema.add_field(field_name=\"vector\", datatype=DataType.FLOAT_VECTOR, dim=768)\nschema.add_field(field_name=\"scalar_1\", datatype=DataType.VARCHAR, max_length=512)\nschema.add_field(field_name=\"scalar_2\", datatype=DataType.INT64)\n\nclient.create_collection(\n collection_name=\"quick_setup\",\n schema=schema\n)\n","import io.milvus.client.MilvusServiceClient;\nimport io.milvus.param.ConnectParam;\nimport io.milvus.grpc.DataType;\nimport io.milvus.param.collection.CollectionSchemaParam;\nimport io.milvus.param.collection.CollectionSchemaParam;\nimport io.milvus.param.collection.FieldType;\n\nfinal MilvusServiceClient milvusClient = new MilvusServiceClient(\nConnectParam.newBuilder()\n .withUri(\"localhost:19530\")\n .withToken(\"root:Milvus\")\n .build()\n);\n\n// Define schema for the target collection\nFieldType id = FieldType.newBuilder()\n .withName(\"id\")\n .withDataType(DataType.Int64)\n .withPrimaryKey(true)\n .withAutoID(false)\n .build();\n\nFieldType vector = FieldType.newBuilder()\n .withName(\"vector\")\n .withDataType(DataType.FloatVector)\n .withDimension(768)\n .build();\n\nFieldType scalar1 = FieldType.newBuilder()\n .withName(\"scalar_1\")\n .withDataType(DataType.VarChar)\n .withMaxLength(512)\n .build();\n\nFieldType scalar2 = FieldType.newBuilder()\n .withName(\"scalar_2\")\n .withDataType(DataType.Int64)\n .build();\n\nCollectionSchemaParam schema = CollectionSchemaParam.newBuilder()\n .withEnableDynamicField(true)\n .addFieldType(id)\n .addFieldType(vector)\n .addFieldType(scalar1)\n .addFieldType(scalar2)\n .build();\n\n// Create a collection with the given schema\nmilvusClient.createCollection(CreateCollectionParam.newBuilder()\n .withCollectionName(\"quick_setup\")\n .withSchema(schema)\n .build()\n);\n","export MILVUS_URI=\"localhost:19530\"\n\ncurl --request POST \"http://${MILVUS_URI}/v2/vectordb/jobs/import/create\" \\\n--header \"Content-Type: application/json\" \\\n--data-raw '{\n \"files\": [\n [\n \"/8ca44f28-47f7-40ba-9604-98918afe26d1/1.parquet\"\n ],\n [\n \"/8ca44f28-47f7-40ba-9604-98918afe26d1/2.parquet\"\n ]\n ],\n \"collectionName\": \"quick_setup\"\n}'\n","[\n \"/d1782fa1-6b65-4ff3-b05a-43a436342445/1.json\"\n],\n","[\n \"/a6fb2d1c-7b1b-427c-a8a3-178944e3b66d/1.parquet\"\n]\n\n","{\n \"code\": 200,\n \"data\": {\n \"jobId\": \"448707763884413158\"\n }\n}\n","export MILVUS_URI=\"localhost:19530\"\n\ncurl --request POST \"http://${MILVUS_URI}/v2/vectordb/jobs/import/get_progress\" \\\n--header \"Content-Type: application/json\" \\\n--data-raw '{\n \"jobId\": \"449839014328146739\"\n}'\n","{\n \"code\": 200,\n \"data\": {\n \"collectionName\": \"quick_setup\",\n \"completeTime\": \"2024-05-18T02:57:13Z\",\n \"details\": [\n {\n \"completeTime\": \"2024-05-18T02:57:11Z\",\n \"fileName\": \"id:449839014328146740 paths:\\\"/8ca44f28-47f7-40ba-9604-98918afe26d1/1.parquet\\\" \",\n \"fileSize\": 31567874,\n \"importedRows\": 100000,\n \"progress\": 100,\n \"state\": \"Completed\",\n \"totalRows\": 100000\n },\n {\n \"completeTime\": \"2024-05-18T02:57:11Z\",\n \"fileName\": \"id:449839014328146741 paths:\\\"/8ca44f28-47f7-40ba-9604-98918afe26d1/2.parquet\\\" \",\n \"fileSize\": 31517224,\n \"importedRows\": 100000,\n \"progress\": 100,\n \"state\": \"Completed\",\n \"totalRows\": 200000 \n }\n ],\n \"fileSize\": 63085098,\n \"importedRows\": 200000,\n \"jobId\": \"449839014328146739\",\n \"progress\": 100,\n \"state\": \"Completed\",\n \"totalRows\": 200000\n }\n}\n","export MILVUS_URI=\"localhost:19530\"\n\ncurl --request POST \"http://${MILVUS_URI}/v2/vectordb/jobs/import/list\" \\\n--header \"Content-Type: application/json\" \\\n--data-raw '{\n \"collectionName\": \"quick_setup\"\n}'\n","{\n \"code\": 200,\n \"data\": {\n \"records\": [\n {\n \"collectionName\": \"quick_setup\",\n \"jobId\": \"448761313698322011\",\n \"progress\": 50,\n \"state\": \"Importing\"\n }\n ]\n }\n}\n"],"headingContent":"","anchorList":[{"label":"データのインポート","href":"Import-data","type":1,"isActive":false},{"label":"始める前に","href":"Before-you-start","type":2,"isActive":false},{"label":"データのインポート","href":"Import-data","type":2,"isActive":false},{"label":"インポートの進行状況の確認","href":"Check-import-progress","type":2,"isActive":false},{"label":"インポート・ジョブの一覧表示","href":"List-Import-Jobs","type":2,"isActive":false}]} \ No newline at end of file +{"codeList":["from pymilvus.bulk_writer import bulk_import\n\nurl = f\"http://127.0.0.1:19530\"\n\n# Bulk-insert data from a set of JSON files already uploaded to the MinIO server\nresp = bulk_import(\n url=url,\n collection_name=\"quick_setup\",\n files=[['a1e18323-a658-4d1b-95a7-9907a4391bcf/1.parquet'],\n ['a1e18323-a658-4d1b-95a7-9907a4391bcf/2.parquet'],\n ['a1e18323-a658-4d1b-95a7-9907a4391bcf/3.parquet'],\n ['a1e18323-a658-4d1b-95a7-9907a4391bcf/4.parquet'],\n ['a1e18323-a658-4d1b-95a7-9907a4391bcf/5.parquet'],\n ['a1e18323-a658-4d1b-95a7-9907a4391bcf/6.parquet'],\n ['a1e18323-a658-4d1b-95a7-9907a4391bcf/7.parquet'],\n ['a1e18323-a658-4d1b-95a7-9907a4391bcf/8.parquet'],\n ['a1e18323-a658-4d1b-95a7-9907a4391bcf/9.parquet'],\n ['a1e18323-a658-4d1b-95a7-9907a4391bcf/10.parquet']],\n)\n\njob_id = resp.json()['data']['jobId']\nprint(job_id)\n","private static String bulkImport(List> batchFiles) throws InterruptedException {\n MilvusImportRequest milvusImportRequest = MilvusImportRequest.builder()\n .collectionName(\"quick_setup\")\n .files(batchFiles)\n .build();\n String bulkImportResult = BulkImport.bulkImport(\"http://localhost:19530\", milvusImportRequest);\n System.out.println(bulkImportResult);\n\n JsonObject bulkImportObject = new Gson().fromJson(bulkImportResult, JsonObject.class);\n String jobId = bulkImportObject.getAsJsonObject(\"data\").get(\"jobId\").getAsString();\n System.out.println(\"Create a bulkInert task, job id: \" + jobId);\n return jobId;\n}\n\npublic static void main(String[] args) throws Exception {\n List> batchFiles = uploadData();\n String jobId = bulkImport(batchFiles);\n}\n","export MILVUS_URI=\"localhost:19530\"\n\ncurl --request POST \"http://${MILVUS_URI}/v2/vectordb/jobs/import/create\" \\\n--header \"Content-Type: application/json\" \\\n--data-raw '{\n \"files\": [\n [\n \"/8ca44f28-47f7-40ba-9604-98918afe26d1/1.parquet\"\n ],\n [\n \"/8ca44f28-47f7-40ba-9604-98918afe26d1/2.parquet\"\n ]\n ],\n \"collectionName\": \"quick_setup\"\n}'\n","[\n \"/d1782fa1-6b65-4ff3-b05a-43a436342445/1.json\"\n],\n","[\n \"/a6fb2d1c-7b1b-427c-a8a3-178944e3b66d/1.parquet\"\n]\n\n","{\n \"code\": 200,\n \"data\": {\n \"jobId\": \"448707763884413158\"\n }\n}\n","import json\nfrom pymilvus.bulk_writer import get_import_progress\n\nurl = f\"http://127.0.0.1:19530\"\n\n# Get bulk-insert job progress\nresp = get_import_progress(\n url=url,\n job_id=\"453265736269038336\",\n)\n\nprint(json.dumps(resp.json(), indent=4))\n","private static void getImportProgress(String jobId) {\n while (true) {\n System.out.println(\"Wait 5 second to check bulkInsert job state...\");\n try {\n TimeUnit.SECONDS.sleep(5);\n } catch (InterruptedException e) {\n break;\n }\n\n MilvusDescribeImportRequest request = MilvusDescribeImportRequest.builder()\n .jobId(jobId)\n .build();\n String getImportProgressResult = BulkImport.getImportProgress(\"http://localhost:19530\", request);\n\n JsonObject getImportProgressObject = new Gson().fromJson(getImportProgressResult, JsonObject.class);\n String state = getImportProgressObject.getAsJsonObject(\"data\").get(\"state\").getAsString();\n String progress = getImportProgressObject.getAsJsonObject(\"data\").get(\"progress\").getAsString();\n if (\"Failed\".equals(state)) {\n String reason = getImportProgressObject.getAsJsonObject(\"data\").get(\"reason\").getAsString();\n System.out.printf(\"The job %s failed, reason: %s%n\", jobId, reason);\n break;\n } else if (\"Completed\".equals(state)) {\n System.out.printf(\"The job %s completed%n\", jobId);\n break;\n } else {\n System.out.printf(\"The job %s is running, state:%s progress:%s%n\", jobId, state, progress);\n }\n }\n}\n\npublic static void main(String[] args) throws Exception {\n List> batchFiles = uploadData();\n String jobId = bulkImport(batchFiles);\n getImportProgress(jobId);\n}\n","export MILVUS_URI=\"localhost:19530\"\n\ncurl --request POST \"http://${MILVUS_URI}/v2/vectordb/jobs/import/describe\" \\\n--header \"Content-Type: application/json\" \\\n--data-raw '{\n \"jobId\": \"449839014328146739\"\n}'\n","{\n \"code\": 200,\n \"data\": {\n \"collectionName\": \"quick_setup\",\n \"completeTime\": \"2024-05-18T02:57:13Z\",\n \"details\": [\n {\n \"completeTime\": \"2024-05-18T02:57:11Z\",\n \"fileName\": \"id:449839014328146740 paths:\\\"/8ca44f28-47f7-40ba-9604-98918afe26d1/1.parquet\\\" \",\n \"fileSize\": 31567874,\n \"importedRows\": 100000,\n \"progress\": 100,\n \"state\": \"Completed\",\n \"totalRows\": 100000\n },\n {\n \"completeTime\": \"2024-05-18T02:57:11Z\",\n \"fileName\": \"id:449839014328146741 paths:\\\"/8ca44f28-47f7-40ba-9604-98918afe26d1/2.parquet\\\" \",\n \"fileSize\": 31517224,\n \"importedRows\": 100000,\n \"progress\": 100,\n \"state\": \"Completed\",\n \"totalRows\": 200000 \n }\n ],\n \"fileSize\": 63085098,\n \"importedRows\": 200000,\n \"jobId\": \"449839014328146739\",\n \"progress\": 100,\n \"state\": \"Completed\",\n \"totalRows\": 200000\n }\n}\n","import json\nfrom pymilvus.bulk_writer import list_import_jobs\n\nurl = f\"http://127.0.0.1:19530\"\n\n# List bulk-insert jobs\nresp = list_import_jobs(\n url=url,\n collection_name=\"quick_setup\",\n)\n\nprint(json.dumps(resp.json(), indent=4))\n","private static void listImportJobs() {\n MilvusListImportJobsRequest listImportJobsRequest = MilvusListImportJobsRequest.builder().collectionName(\"quick_setup\").build();\n String listImportJobsResult = BulkImport.listImportJobs(\"http://localhost:19530\", listImportJobsRequest);\n System.out.println(listImportJobsResult);\n}\n\npublic static void main(String[] args) throws Exception {\n listImportJobs();\n}\n","export MILVUS_URI=\"localhost:19530\"\n\ncurl --request POST \"http://${MILVUS_URI}/v2/vectordb/jobs/import/list\" \\\n--header \"Content-Type: application/json\" \\\n--data-raw '{\n \"collectionName\": \"quick_setup\"\n}'\n","{\n \"code\": 200,\n \"data\": {\n \"records\": [\n {\n \"collectionName\": \"quick_setup\",\n \"jobId\": \"448761313698322011\",\n \"progress\": 50,\n \"state\": \"Importing\"\n }\n ]\n }\n}\n"],"headingContent":"Import data","anchorList":[{"label":"データのインポート","href":"Import-data","type":1,"isActive":false},{"label":"始める前に","href":"Before-you-start","type":2,"isActive":false},{"label":"データのインポート","href":"Import-data","type":2,"isActive":false},{"label":"インポートの進行状況の確認","href":"Check-import-progress","type":2,"isActive":false},{"label":"インポートジョブの一覧表示","href":"List-Import-Jobs","type":2,"isActive":false},{"label":"制限事項","href":"Limitations","type":2,"isActive":false},{"label":"制約","href":"Constraints","type":2,"isActive":false},{"label":"推奨事項","href":"Recommendations","type":2,"isActive":false}]} \ No newline at end of file diff --git a/localization/v2.4.x/site/ja/userGuide/data-import/import-data.md b/localization/v2.4.x/site/ja/userGuide/data-import/import-data.md index 8935b2960..afcdcf304 100644 --- a/localization/v2.4.x/site/ja/userGuide/data-import/import-data.md +++ b/localization/v2.4.x/site/ja/userGuide/data-import/import-data.md @@ -36,8 +36,8 @@ summary: このページでは、準備したデータをインポートする >
                                                                                                                                                                                                                                                                                                                                                    -
                                                                                                                                                                                                                                                                                                                                                  • あなたは既にデータを準備し、Milvusバケットに配置しています。

                                                                                                                                                                                                                                                                                                                                                    -

                                                                                                                                                                                                                                                                                                                                                    そうでない場合は、まずRemoteBulkWriterを使用してデータを準備し、準備したデータがMilvusインスタンスと一緒に起動したMinIOインスタンス上のMilvusバケットに転送済みであることを確認してください。詳細はソースデータの準備を参照してください。

                                                                                                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                                                                                                  • 既にデータを準備し、Milvusバケットに入れている。

                                                                                                                                                                                                                                                                                                                                                    +

                                                                                                                                                                                                                                                                                                                                                    そうでない場合は、まずRemoteBulkWriterを使用してデータを準備し、準備したデータがMilvusインスタンスと共に起動したMinIOインスタンス上のMilvusバケットに転送済みであることを確認してください。詳細はソースデータの準備を参照してください。

                                                                                                                                                                                                                                                                                                                                                  • データの準備に使用するスキーマでコレクションを作成済みである。そうでない場合は、「コレクションの管理」を参照してください。

                                                                                                                                                                                                                                                                                                                                                  @@ -46,79 +46,6 @@ summary: このページでは、準備したデータをインポートする

                                                                                                                                                                                                                                                                                                                                                  次のコード・スニペットは、指定されたスキーマで単純なコレクションを作成します。パラメータの詳細については、SDKリファレンスの createCollection()を参照してください。

                                                                                                                                                                                                                                                                                                                                                  - -
                                                                                                                                                                                                                                                                                                                                                  client = MilvusClient("http://localhost:19530")
                                                                                                                                                                                                                                                                                                                                                  -
                                                                                                                                                                                                                                                                                                                                                  -schema = MilvusClient.create_schema(
                                                                                                                                                                                                                                                                                                                                                  -    auto_id=False,
                                                                                                                                                                                                                                                                                                                                                  -    enable_dynamic_field=True
                                                                                                                                                                                                                                                                                                                                                  -)
                                                                                                                                                                                                                                                                                                                                                  -
                                                                                                                                                                                                                                                                                                                                                  -schema.add_field(field_name="id", datatype=DataType.INT64, is_primary=True)
                                                                                                                                                                                                                                                                                                                                                  -schema.add_field(field_name="vector", datatype=DataType.FLOAT_VECTOR, dim=768)
                                                                                                                                                                                                                                                                                                                                                  -schema.add_field(field_name="scalar_1", datatype=DataType.VARCHAR, max_length=512)
                                                                                                                                                                                                                                                                                                                                                  -schema.add_field(field_name="scalar_2", datatype=DataType.INT64)
                                                                                                                                                                                                                                                                                                                                                  -
                                                                                                                                                                                                                                                                                                                                                  -client.create_collection(
                                                                                                                                                                                                                                                                                                                                                  -    collection_name="quick_setup",
                                                                                                                                                                                                                                                                                                                                                  -    schema=schema
                                                                                                                                                                                                                                                                                                                                                  -)
                                                                                                                                                                                                                                                                                                                                                  -
                                                                                                                                                                                                                                                                                                                                                  -
                                                                                                                                                                                                                                                                                                                                                  import io.milvus.client.MilvusServiceClient;
                                                                                                                                                                                                                                                                                                                                                  -import io.milvus.param.ConnectParam;
                                                                                                                                                                                                                                                                                                                                                  -import io.milvus.grpc.DataType;
                                                                                                                                                                                                                                                                                                                                                  -import io.milvus.param.collection.CollectionSchemaParam;
                                                                                                                                                                                                                                                                                                                                                  -import io.milvus.param.collection.CollectionSchemaParam;
                                                                                                                                                                                                                                                                                                                                                  -import io.milvus.param.collection.FieldType;
                                                                                                                                                                                                                                                                                                                                                  -
                                                                                                                                                                                                                                                                                                                                                  -final MilvusServiceClient milvusClient = new MilvusServiceClient(
                                                                                                                                                                                                                                                                                                                                                  -ConnectParam.newBuilder()
                                                                                                                                                                                                                                                                                                                                                  -    .withUri("localhost:19530")
                                                                                                                                                                                                                                                                                                                                                  -    .withToken("root:Milvus")
                                                                                                                                                                                                                                                                                                                                                  -    .build()
                                                                                                                                                                                                                                                                                                                                                  -);
                                                                                                                                                                                                                                                                                                                                                  -
                                                                                                                                                                                                                                                                                                                                                  -// Define schema for the target collection
                                                                                                                                                                                                                                                                                                                                                  -FieldType id = FieldType.newBuilder()
                                                                                                                                                                                                                                                                                                                                                  -    .withName("id")
                                                                                                                                                                                                                                                                                                                                                  -    .withDataType(DataType.Int64)
                                                                                                                                                                                                                                                                                                                                                  -    .withPrimaryKey(true)
                                                                                                                                                                                                                                                                                                                                                  -    .withAutoID(false)
                                                                                                                                                                                                                                                                                                                                                  -    .build();
                                                                                                                                                                                                                                                                                                                                                  -
                                                                                                                                                                                                                                                                                                                                                  -FieldType vector = FieldType.newBuilder()
                                                                                                                                                                                                                                                                                                                                                  -    .withName("vector")
                                                                                                                                                                                                                                                                                                                                                  -    .withDataType(DataType.FloatVector)
                                                                                                                                                                                                                                                                                                                                                  -    .withDimension(768)
                                                                                                                                                                                                                                                                                                                                                  -    .build();
                                                                                                                                                                                                                                                                                                                                                  -
                                                                                                                                                                                                                                                                                                                                                  -FieldType scalar1 = FieldType.newBuilder()
                                                                                                                                                                                                                                                                                                                                                  -    .withName("scalar_1")
                                                                                                                                                                                                                                                                                                                                                  -    .withDataType(DataType.VarChar)
                                                                                                                                                                                                                                                                                                                                                  -    .withMaxLength(512)
                                                                                                                                                                                                                                                                                                                                                  -    .build();
                                                                                                                                                                                                                                                                                                                                                  -
                                                                                                                                                                                                                                                                                                                                                  -FieldType scalar2 = FieldType.newBuilder()
                                                                                                                                                                                                                                                                                                                                                  -    .withName("scalar_2")
                                                                                                                                                                                                                                                                                                                                                  -    .withDataType(DataType.Int64)
                                                                                                                                                                                                                                                                                                                                                  -    .build();
                                                                                                                                                                                                                                                                                                                                                  -
                                                                                                                                                                                                                                                                                                                                                  -CollectionSchemaParam schema = CollectionSchemaParam.newBuilder()
                                                                                                                                                                                                                                                                                                                                                  -    .withEnableDynamicField(true)
                                                                                                                                                                                                                                                                                                                                                  -    .addFieldType(id)
                                                                                                                                                                                                                                                                                                                                                  -    .addFieldType(vector)
                                                                                                                                                                                                                                                                                                                                                  -    .addFieldType(scalar1)
                                                                                                                                                                                                                                                                                                                                                  -    .addFieldType(scalar2)
                                                                                                                                                                                                                                                                                                                                                  -    .build();
                                                                                                                                                                                                                                                                                                                                                  -
                                                                                                                                                                                                                                                                                                                                                  -// Create a collection with the given schema
                                                                                                                                                                                                                                                                                                                                                  -milvusClient.createCollection(CreateCollectionParam.newBuilder()
                                                                                                                                                                                                                                                                                                                                                  -    .withCollectionName("quick_setup")
                                                                                                                                                                                                                                                                                                                                                  -    .withSchema(schema)
                                                                                                                                                                                                                                                                                                                                                  -    .build()
                                                                                                                                                                                                                                                                                                                                                  -);
                                                                                                                                                                                                                                                                                                                                                  -

                                                                                                                                                                                                                                                                                                                                                  データのインポート

                                                                                                                                                                                                                                                                                                                                                  準備されたデータをインポートするには、以下のようにインポートジョブを作成する必要があります:

                                                                                                                                                                                                                                                                                                                                                  -
                                                                                                                                                                                                                                                                                                                                                  export MILVUS_URI="localhost:19530"
                                                                                                                                                                                                                                                                                                                                                  +    

                                                                                                                                                                                                                                                                                                                                                  準備したデータをインポートするには、以下のようにインポートジョブを作成する必要があります:

                                                                                                                                                                                                                                                                                                                                                  + +
                                                                                                                                                                                                                                                                                                                                                  from pymilvus.bulk_writer import bulk_import
                                                                                                                                                                                                                                                                                                                                                  +
                                                                                                                                                                                                                                                                                                                                                  +url = f"http://127.0.0.1:19530"
                                                                                                                                                                                                                                                                                                                                                  +
                                                                                                                                                                                                                                                                                                                                                  +# Bulk-insert data from a set of JSON files already uploaded to the MinIO server
                                                                                                                                                                                                                                                                                                                                                  +resp = bulk_import(
                                                                                                                                                                                                                                                                                                                                                  +    url=url,
                                                                                                                                                                                                                                                                                                                                                  +    collection_name="quick_setup",
                                                                                                                                                                                                                                                                                                                                                  +    files=[['a1e18323-a658-4d1b-95a7-9907a4391bcf/1.parquet'],
                                                                                                                                                                                                                                                                                                                                                  +           ['a1e18323-a658-4d1b-95a7-9907a4391bcf/2.parquet'],
                                                                                                                                                                                                                                                                                                                                                  +           ['a1e18323-a658-4d1b-95a7-9907a4391bcf/3.parquet'],
                                                                                                                                                                                                                                                                                                                                                  +           ['a1e18323-a658-4d1b-95a7-9907a4391bcf/4.parquet'],
                                                                                                                                                                                                                                                                                                                                                  +           ['a1e18323-a658-4d1b-95a7-9907a4391bcf/5.parquet'],
                                                                                                                                                                                                                                                                                                                                                  +           ['a1e18323-a658-4d1b-95a7-9907a4391bcf/6.parquet'],
                                                                                                                                                                                                                                                                                                                                                  +           ['a1e18323-a658-4d1b-95a7-9907a4391bcf/7.parquet'],
                                                                                                                                                                                                                                                                                                                                                  +           ['a1e18323-a658-4d1b-95a7-9907a4391bcf/8.parquet'],
                                                                                                                                                                                                                                                                                                                                                  +           ['a1e18323-a658-4d1b-95a7-9907a4391bcf/9.parquet'],
                                                                                                                                                                                                                                                                                                                                                  +           ['a1e18323-a658-4d1b-95a7-9907a4391bcf/10.parquet']],
                                                                                                                                                                                                                                                                                                                                                  +)
                                                                                                                                                                                                                                                                                                                                                  +
                                                                                                                                                                                                                                                                                                                                                  +job_id = resp.json()['data']['jobId']
                                                                                                                                                                                                                                                                                                                                                  +print(job_id)
                                                                                                                                                                                                                                                                                                                                                  +
                                                                                                                                                                                                                                                                                                                                                  +
                                                                                                                                                                                                                                                                                                                                                  private static String bulkImport(List<List<String>> batchFiles) throws InterruptedException {
                                                                                                                                                                                                                                                                                                                                                  +    MilvusImportRequest milvusImportRequest = MilvusImportRequest.builder()
                                                                                                                                                                                                                                                                                                                                                  +            .collectionName("quick_setup")
                                                                                                                                                                                                                                                                                                                                                  +            .files(batchFiles)
                                                                                                                                                                                                                                                                                                                                                  +            .build();
                                                                                                                                                                                                                                                                                                                                                  +    String bulkImportResult = BulkImport.bulkImport("http://localhost:19530", milvusImportRequest);
                                                                                                                                                                                                                                                                                                                                                  +    System.out.println(bulkImportResult);
                                                                                                                                                                                                                                                                                                                                                  +
                                                                                                                                                                                                                                                                                                                                                  +    JsonObject bulkImportObject = new Gson().fromJson(bulkImportResult, JsonObject.class);
                                                                                                                                                                                                                                                                                                                                                  +    String jobId = bulkImportObject.getAsJsonObject("data").get("jobId").getAsString();
                                                                                                                                                                                                                                                                                                                                                  +    System.out.println("Create a bulkInert task, job id: " + jobId);
                                                                                                                                                                                                                                                                                                                                                  +    return jobId;
                                                                                                                                                                                                                                                                                                                                                  +}
                                                                                                                                                                                                                                                                                                                                                  +
                                                                                                                                                                                                                                                                                                                                                  +public static void main(String[] args) throws Exception {
                                                                                                                                                                                                                                                                                                                                                  +    List<List<String>> batchFiles = uploadData();
                                                                                                                                                                                                                                                                                                                                                  +    String jobId = bulkImport(batchFiles);
                                                                                                                                                                                                                                                                                                                                                  +}
                                                                                                                                                                                                                                                                                                                                                  +
                                                                                                                                                                                                                                                                                                                                                  +
                                                                                                                                                                                                                                                                                                                                                  export MILVUS_URI="localhost:19530"
                                                                                                                                                                                                                                                                                                                                                   
                                                                                                                                                                                                                                                                                                                                                   curl --request POST "http://${MILVUS_URI}/v2/vectordb/jobs/import/create" \
                                                                                                                                                                                                                                                                                                                                                   --header "Content-Type: application/json" \
                                                                                                                                                                                                                                                                                                                                                  @@ -159,7 +130,7 @@ curl --request POST "http://[
                                                                                                                                                                                                                                                                                                                                                       "/d1782fa1-6b65-4ff3-b05a-43a436342445/1.json"
                                                                                                                                                                                                                                                                                                                                                   ],
                                                                                                                                                                                                                                                                                                                                                  @@ -174,7 +145,7 @@ curl --request POST "http://{
                                                                                                                                                                                                                                                                                                                                                  +
                                                                                                                                                                                                                                                                                                                                                  {
                                                                                                                                                                                                                                                                                                                                                       "code": 200,
                                                                                                                                                                                                                                                                                                                                                       "data": {
                                                                                                                                                                                                                                                                                                                                                           "jobId": "448707763884413158"
                                                                                                                                                                                                                                                                                                                                                  @@ -196,16 +167,67 @@ curl --request POST "http://
                                                                                                                                                                                                                                                                                                                                                         
                                                                                                                                                                                                                                                                                                                                                  -    

                                                                                                                                                                                                                                                                                                                                                  インポート・ジョブIDを取得したら、以下のようにしてインポートの進捗状況を確認できます:

                                                                                                                                                                                                                                                                                                                                                  -
                                                                                                                                                                                                                                                                                                                                                  export MILVUS_URI="localhost:19530"
                                                                                                                                                                                                                                                                                                                                                  +    

                                                                                                                                                                                                                                                                                                                                                  インポートジョブIDを取得したら、以下のようにインポートの進捗状況を確認できます:

                                                                                                                                                                                                                                                                                                                                                  + +
                                                                                                                                                                                                                                                                                                                                                  import json
                                                                                                                                                                                                                                                                                                                                                  +from pymilvus.bulk_writer import get_import_progress
                                                                                                                                                                                                                                                                                                                                                  +
                                                                                                                                                                                                                                                                                                                                                  +url = f"http://127.0.0.1:19530"
                                                                                                                                                                                                                                                                                                                                                  +
                                                                                                                                                                                                                                                                                                                                                  +# Get bulk-insert job progress
                                                                                                                                                                                                                                                                                                                                                  +resp = get_import_progress(
                                                                                                                                                                                                                                                                                                                                                  +    url=url,
                                                                                                                                                                                                                                                                                                                                                  +    job_id="453265736269038336",
                                                                                                                                                                                                                                                                                                                                                  +)
                                                                                                                                                                                                                                                                                                                                                  +
                                                                                                                                                                                                                                                                                                                                                  +print(json.dumps(resp.json(), indent=4))
                                                                                                                                                                                                                                                                                                                                                  +
                                                                                                                                                                                                                                                                                                                                                  +
                                                                                                                                                                                                                                                                                                                                                  private static void getImportProgress(String jobId) {
                                                                                                                                                                                                                                                                                                                                                  +    while (true) {
                                                                                                                                                                                                                                                                                                                                                  +        System.out.println("Wait 5 second to check bulkInsert job state...");
                                                                                                                                                                                                                                                                                                                                                  +        try {
                                                                                                                                                                                                                                                                                                                                                  +            TimeUnit.SECONDS.sleep(5);
                                                                                                                                                                                                                                                                                                                                                  +        } catch (InterruptedException e) {
                                                                                                                                                                                                                                                                                                                                                  +            break;
                                                                                                                                                                                                                                                                                                                                                  +        }
                                                                                                                                                                                                                                                                                                                                                  +
                                                                                                                                                                                                                                                                                                                                                  +        MilvusDescribeImportRequest request = MilvusDescribeImportRequest.builder()
                                                                                                                                                                                                                                                                                                                                                  +                .jobId(jobId)
                                                                                                                                                                                                                                                                                                                                                  +                .build();
                                                                                                                                                                                                                                                                                                                                                  +        String getImportProgressResult = BulkImport.getImportProgress("http://localhost:19530", request);
                                                                                                                                                                                                                                                                                                                                                   
                                                                                                                                                                                                                                                                                                                                                  -curl --request POST "http://${MILVUS_URI}/v2/vectordb/jobs/import/get_progress" \
                                                                                                                                                                                                                                                                                                                                                  +        JsonObject getImportProgressObject = new Gson().fromJson(getImportProgressResult, JsonObject.class);
                                                                                                                                                                                                                                                                                                                                                  +        String state = getImportProgressObject.getAsJsonObject("data").get("state").getAsString();
                                                                                                                                                                                                                                                                                                                                                  +        String progress = getImportProgressObject.getAsJsonObject("data").get("progress").getAsString();
                                                                                                                                                                                                                                                                                                                                                  +        if ("Failed".equals(state)) {
                                                                                                                                                                                                                                                                                                                                                  +            String reason = getImportProgressObject.getAsJsonObject("data").get("reason").getAsString();
                                                                                                                                                                                                                                                                                                                                                  +            System.out.printf("The job %s failed, reason: %s%n", jobId, reason);
                                                                                                                                                                                                                                                                                                                                                  +            break;
                                                                                                                                                                                                                                                                                                                                                  +        } else if ("Completed".equals(state)) {
                                                                                                                                                                                                                                                                                                                                                  +            System.out.printf("The job %s completed%n", jobId);
                                                                                                                                                                                                                                                                                                                                                  +            break;
                                                                                                                                                                                                                                                                                                                                                  +        } else {
                                                                                                                                                                                                                                                                                                                                                  +            System.out.printf("The job %s is running, state:%s progress:%s%n", jobId, state, progress);
                                                                                                                                                                                                                                                                                                                                                  +        }
                                                                                                                                                                                                                                                                                                                                                  +    }
                                                                                                                                                                                                                                                                                                                                                  +}
                                                                                                                                                                                                                                                                                                                                                  +
                                                                                                                                                                                                                                                                                                                                                  +public static void main(String[] args) throws Exception {
                                                                                                                                                                                                                                                                                                                                                  +    List<List<String>> batchFiles = uploadData();
                                                                                                                                                                                                                                                                                                                                                  +    String jobId = bulkImport(batchFiles);
                                                                                                                                                                                                                                                                                                                                                  +    getImportProgress(jobId);
                                                                                                                                                                                                                                                                                                                                                  +}
                                                                                                                                                                                                                                                                                                                                                  +
                                                                                                                                                                                                                                                                                                                                                  +
                                                                                                                                                                                                                                                                                                                                                  export MILVUS_URI="localhost:19530"
                                                                                                                                                                                                                                                                                                                                                  +
                                                                                                                                                                                                                                                                                                                                                  +curl --request POST "http://${MILVUS_URI}/v2/vectordb/jobs/import/describe" \
                                                                                                                                                                                                                                                                                                                                                   --header "Content-Type: application/json" \
                                                                                                                                                                                                                                                                                                                                                   --data-raw '{
                                                                                                                                                                                                                                                                                                                                                       "jobId": "449839014328146739"
                                                                                                                                                                                                                                                                                                                                                   }'
                                                                                                                                                                                                                                                                                                                                                   
                                                                                                                                                                                                                                                                                                                                                  -

                                                                                                                                                                                                                                                                                                                                                  可能な応答は以下のとおりです:

                                                                                                                                                                                                                                                                                                                                                  +

                                                                                                                                                                                                                                                                                                                                                  可能な応答は以下のとおりである:

                                                                                                                                                                                                                                                                                                                                                  {
                                                                                                                                                                                                                                                                                                                                                       "code": 200,
                                                                                                                                                                                                                                                                                                                                                       "data": {
                                                                                                                                                                                                                                                                                                                                                  @@ -240,7 +262,7 @@ curl --request POST "http://
                                                                                                                                                                                                                                                                                                                                                  -

                                                                                                                                                                                                                                                                                                                                                  インポート・ジョブの一覧表示

                                                                                                                                                                                                                                                                                                                                                  次のように、特定のコレクションに関連するすべてのインポートジョブをリストできます:

                                                                                                                                                                                                                                                                                                                                                  -
                                                                                                                                                                                                                                                                                                                                                  export MILVUS_URI="localhost:19530"
                                                                                                                                                                                                                                                                                                                                                  +    

                                                                                                                                                                                                                                                                                                                                                  特定のコレクションに関連するすべてのインポートジョブを一覧表示するには、次のようにします:

                                                                                                                                                                                                                                                                                                                                                  + +
                                                                                                                                                                                                                                                                                                                                                  import json
                                                                                                                                                                                                                                                                                                                                                  +from pymilvus.bulk_writer import list_import_jobs
                                                                                                                                                                                                                                                                                                                                                  +
                                                                                                                                                                                                                                                                                                                                                  +url = f"http://127.0.0.1:19530"
                                                                                                                                                                                                                                                                                                                                                  +
                                                                                                                                                                                                                                                                                                                                                  +# List bulk-insert jobs
                                                                                                                                                                                                                                                                                                                                                  +resp = list_import_jobs(
                                                                                                                                                                                                                                                                                                                                                  +    url=url,
                                                                                                                                                                                                                                                                                                                                                  +    collection_name="quick_setup",
                                                                                                                                                                                                                                                                                                                                                  +)
                                                                                                                                                                                                                                                                                                                                                  +
                                                                                                                                                                                                                                                                                                                                                  +print(json.dumps(resp.json(), indent=4))
                                                                                                                                                                                                                                                                                                                                                  +
                                                                                                                                                                                                                                                                                                                                                  +
                                                                                                                                                                                                                                                                                                                                                  private static void listImportJobs() {
                                                                                                                                                                                                                                                                                                                                                  +    MilvusListImportJobsRequest listImportJobsRequest = MilvusListImportJobsRequest.builder().collectionName("quick_setup").build();
                                                                                                                                                                                                                                                                                                                                                  +    String listImportJobsResult = BulkImport.listImportJobs("http://localhost:19530", listImportJobsRequest);
                                                                                                                                                                                                                                                                                                                                                  +    System.out.println(listImportJobsResult);
                                                                                                                                                                                                                                                                                                                                                  +}
                                                                                                                                                                                                                                                                                                                                                  +
                                                                                                                                                                                                                                                                                                                                                  +public static void main(String[] args) throws Exception {
                                                                                                                                                                                                                                                                                                                                                  +    listImportJobs();
                                                                                                                                                                                                                                                                                                                                                  +}
                                                                                                                                                                                                                                                                                                                                                  +
                                                                                                                                                                                                                                                                                                                                                  +
                                                                                                                                                                                                                                                                                                                                                  export MILVUS_URI="localhost:19530"
                                                                                                                                                                                                                                                                                                                                                   
                                                                                                                                                                                                                                                                                                                                                   curl --request POST "http://${MILVUS_URI}/v2/vectordb/jobs/import/list" \
                                                                                                                                                                                                                                                                                                                                                   --header "Content-Type: application/json" \
                                                                                                                                                                                                                                                                                                                                                  @@ -264,8 +311,8 @@ curl --request POST "http://
                                                                                                                                                                                                                                                                                                                                                  -

                                                                                                                                                                                                                                                                                                                                                  可能な値は以下のとおりです:

                                                                                                                                                                                                                                                                                                                                                  -
                                                                                                                                                                                                                                                                                                                                                  {
                                                                                                                                                                                                                                                                                                                                                  +

                                                                                                                                                                                                                                                                                                                                                  可能な値は以下の通り:

                                                                                                                                                                                                                                                                                                                                                  +
                                                                                                                                                                                                                                                                                                                                                  {
                                                                                                                                                                                                                                                                                                                                                       "code": 200,
                                                                                                                                                                                                                                                                                                                                                       "data": {
                                                                                                                                                                                                                                                                                                                                                           "records": [
                                                                                                                                                                                                                                                                                                                                                  @@ -279,3 +326,76 @@ curl --request POST "http://
                                                                                                                                                                                                                                                                                                                                                  +

                                                                                                                                                                                                                                                                                                                                                  制限事項

                                                                                                                                                                                                                                                                                                                                                    +
                                                                                                                                                                                                                                                                                                                                                  • 各インポートファイルのサイズは16GBを超えてはなりません。

                                                                                                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                                                                                                  • インポート要求の最大数は1024に制限されています。

                                                                                                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                                                                                                  • インポートリクエストあたりの最大ファイル数は1024を超えてはならない。

                                                                                                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                                                                                                  • インポート要求で指定できるパーティション名は1つだけです。パーティション名が指定されていない場合、データはデフォルトのパーティションに挿入されます。また、ターゲットコレクションでパーティションキーを設定している場合、インポートリクエストでパーティション名を設定することはできません。

                                                                                                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                                                                                                  +

                                                                                                                                                                                                                                                                                                                                                  制約

                                                                                                                                                                                                                                                                                                                                                  データをインポートする前に、以下のMilvusビヘイビアに関する制約を確認してください:

                                                                                                                                                                                                                                                                                                                                                  +
                                                                                                                                                                                                                                                                                                                                                    +
                                                                                                                                                                                                                                                                                                                                                  • ロード動作に関する制約:

                                                                                                                                                                                                                                                                                                                                                    +
                                                                                                                                                                                                                                                                                                                                                      +
                                                                                                                                                                                                                                                                                                                                                    • ロード動作に関する制約: インポート前にコレクションが既にロードされている場合、refresh_load 関数を使用して、インポート完了後に新しくインポートされたデータをロードできます。
                                                                                                                                                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                                                                                                  • クエリおよび検索動作に関する制約:

                                                                                                                                                                                                                                                                                                                                                    +
                                                                                                                                                                                                                                                                                                                                                      +
                                                                                                                                                                                                                                                                                                                                                    • インポート・ジョブ・ステータスが "Completed "になる前は、新しくインポートされたデータはクエリや検索から不可視であることが保証されます。

                                                                                                                                                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                                                                                                                                                    • ジョブ・ステータスがCompletedになると、

                                                                                                                                                                                                                                                                                                                                                      +
                                                                                                                                                                                                                                                                                                                                                        +
                                                                                                                                                                                                                                                                                                                                                      • コレクションがロードされていない場合、load 関数を使用して新しくインポートされたデータをロードできます。

                                                                                                                                                                                                                                                                                                                                                      • +
                                                                                                                                                                                                                                                                                                                                                      • コレクションが既にロードされている場合は、load(is_refresh=True) を呼び出して、インポートされたデータをロードできます。

                                                                                                                                                                                                                                                                                                                                                      • +
                                                                                                                                                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                                                                                                  • 削除動作に関する制約:

                                                                                                                                                                                                                                                                                                                                                    +
                                                                                                                                                                                                                                                                                                                                                      +
                                                                                                                                                                                                                                                                                                                                                    • インポート・ジョブ・ステータスがCompletedになる前の削除は保証されず、成功する場合も成功しない場合もあります。

                                                                                                                                                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                                                                                                                                                    • ジョブ・ステータスがCompletedになった後の削除は成功が保証されます。

                                                                                                                                                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                                                                                                  +

                                                                                                                                                                                                                                                                                                                                                  推奨事項

                                                                                                                                                                                                                                                                                                                                                  1回のリクエストで複数のファイルをアップロードできるマルチファイルインポート機能の利用を強くお勧めします。この方法は、インポート処理を簡素化するだけでなく、インポートのパフォーマンスを大幅に向上させます。一方、アップロードを統合することで、データ管理に費やす時間を短縮し、ワークフローを効率化することができます。

                                                                                                                                                                                                                                                                                                                                                  diff --git a/localization/v2.4.x/site/ja/userGuide/data-import/prepare-source-data.json b/localization/v2.4.x/site/ja/userGuide/data-import/prepare-source-data.json index f766eca8e..8f58b1ab3 100644 --- a/localization/v2.4.x/site/ja/userGuide/data-import/prepare-source-data.json +++ b/localization/v2.4.x/site/ja/userGuide/data-import/prepare-source-data.json @@ -1 +1 @@ -{"codeList":["from pymilvus import MilvusClient, DataType\n\n# You need to work out a collection schema out of your dataset.\nschema = MilvusClient.create_schema(\n auto_id=False,\n enable_dynamic_field=True\n)\n\nschema.add_field(field_name=\"id\", datatype=DataType.INT64, is_primary=True)\nschema.add_field(field_name=\"vector\", datatype=DataType.FLOAT_VECTOR, dim=768)\nschema.add_field(field_name=\"scalar_1\", datatype=DataType.VARCHAR, max_length=512)\nschema.add_field(field_name=\"scalar_2\", datatype=DataType.INT64)\n\nschema.verify()\n","import io.milvus.grpc.DataType;\nimport io.milvus.param.collection.CollectionSchemaParam;\nimport io.milvus.param.collection.FieldType;\n\n// Define schema for the target collection\nFieldType id = FieldType.newBuilder()\n .withName(\"id\")\n .withDataType(DataType.Int64)\n .withPrimaryKey(true)\n .withAutoID(false)\n .build();\n\nFieldType vector = FieldType.newBuilder()\n .withName(\"vector\")\n .withDataType(DataType.FloatVector)\n .withDimension(768)\n .build();\n\nFieldType scalar1 = FieldType.newBuilder()\n .withName(\"scalar_1\")\n .withDataType(DataType.VarChar)\n .withMaxLength(512)\n .build();\n\nFieldType scalar2 = FieldType.newBuilder()\n .withName(\"scalar_2\")\n .withDataType(DataType.Int64)\n .build();\n\nCollectionSchemaParam schema = CollectionSchemaParam.newBuilder()\n .withEnableDynamicField(true)\n .addFieldType(id)\n .addFieldType(vector)\n .addFieldType(scalar1)\n .addFieldType(scalar2)\n .build();\n","from pymilvus.bulk_writer import LocalBulkWriter, BulkFileType\n# Use `from pymilvus import LocalBulkWriter, BulkFileType` \n# when you use pymilvus earlier than 2.4.2 \n\nwriter = LocalBulkWriter(\n schema=schema,\n local_path='.',\n segment_size=512 * 1024 * 1024, # Default value\n file_type=BulkFileType.PARQUET\n)\n","import io.milvus.bulkwriter.LocalBulkWriter;\nimport io.milvus.bulkwriter.LocalBulkWriterParam;\nimport io.milvus.bulkwriter.common.clientenum.BulkFileType;\n\nLocalBulkWriterParam localBulkWriterParam = LocalBulkWriterParam.newBuilder()\n .withCollectionSchema(schema)\n .withLocalPath(\".\")\n .withChunkSize(512 * 1024 * 1024)\n .withFileType(BulkFileType.PARQUET)\n .build();\n\nLocalBulkWriter localBulkWriter = new LocalBulkWriter(localBulkWriterParam);\n","from pymilvus.bulk_writer import RemoteBulkWriter\n# Use `from pymilvus import RemoteBulkWriter` \n# when you use pymilvus earlier than 2.4.2 \n\n# Third-party constants\nACCESS_KEY=\"minioadmin\"\nSECRET_KEY=\"minioadmin\"\nBUCKET_NAME=\"milvus-bucket\"\n\n# Connections parameters to access the remote bucket\nconn = RemoteBulkWriter.S3ConnectParam(\n endpoint=\"localhost:9000\", # the default MinIO service started along with Milvus\n access_key=ACCESS_KEY,\n secret_key=SECRET_KEY,\n bucket_name=BUCKET_NAME,\n secure=False\n)\n","import io.milvus.bulkwriter.common.clientenum.BulkFileType;\nimport io.milvus.bulkwriter.connect.S3ConnectParam;\nimport io.milvus.bulkwriter.connect.StorageConnectParam;\n\nString ACCESS_KEY = \"minioadmin\";\nString SECRET_KEY = \"minioadmin\";\nString BUCKET_NAME = \"milvus-bucket\";\n\nStorageConnectParam storageConnectParam = S3ConnectParam.newBuilder()\n .withEndpoint(MINIO_URI)\n .withAccessKey(ACCESS_KEY)\n .withSecretKey(SECRET_KEY)\n .withBucketName(BUCKET_NAME)\n .build();\n","from pymilvus.bulk_writer import BulkFileType\n# Use `from pymilvus import BulkFileType` \n# when you use pymilvus earlier than 2.4.2 \n\nwriter = RemoteBulkWriter(\n schema=schema,\n remote_path=\"/\",\n connect_param=conn,\n file_type=BulkFileType.PARQUET\n)\n","import io.milvus.bulkwriter.RemoteBulkWriter;\nimport io.milvus.bulkwriter.RemoteBulkWriterParam;\n\nRemoteBulkWriterParam remoteBulkWriterParam = RemoteBulkWriterParam.newBuilder()\n .withCollectionSchema(schema)\n .withConnectParam(storageConnectParam)\n .withChunkSize(512 * 1024 * 1024)\n .withRemotePath(\"/\")\n .withFileType(BulkFileType.PARQUET)\n .build();\n\nRemoteBulkWriter remoteBulkWriter = new RemoteBulkWriter(remoteBulkWriterParam);\n","import random\nimport string\n\ndef generate_random_str(length=5):\n letters = string.ascii_uppercase\n digits = string.digits\n \n return ''.join(random.choices(letters + digits, k=length))\n\nfor i in range(10000):\n writer.append_row({\n \"id\": i, \n \"vector\": [random.uniform(-1, 1) for _ in range(768)],\n \"scalar_1\": generate_random_str(random.randint(1, 20)),\n \"scalar_2\": random.randint(0, 100)\n })\n \nwriter.commit()\n","import com.alibaba.fastjson.JSONObject;\n\nfor (int i = 0; i < 10000; i++) {\n JSONObject json = new JSONObject();\n json.put(\"id\", i);\n json.put(\"vector\", get_random_vector(768));\n json.put(\"scalar_1\", get_random_string(20));\n json.put(\"scalar_2\", (long) (Math.random() * 100));\n\n // localBulkWriter.appendRow(json);\n remoteBulkWriter.appendRow(json);\n}\n\n// localBulkWriter.commit(false);\nremoteBulkWriter.commit(false);\n","import random\nimport string\n\ndef generate_random_string(length=5):\n letters = string.ascii_uppercase\n digits = string.digits\n \n return ''.join(random.choices(letters + digits, k=length))\n\nfor i in range(10000):\n writer.append_row({\n \"id\": i, \n \"vector\":[random.uniform(-1, 1) for _ in range(768)],\n \"scalar_1\": generate_random_string(),\n \"scalar_2\": random.randint(0, 100),\n \"dynamic_field_1\": random.choice([True, False]),\n \"dynamic_field_2\": random.randint(0, 100)\n })\n \nwriter.commit()\n","for (int i = 0; i < 10000; i++) {\n JSONObject json = new JSONObject();\n json.put(\"id\", i);\n json.put(\"vector\", get_random_vector(768));\n json.put(\"scalar_1\", get_random_string(20));\n json.put(\"scalar_2\", (long) (Math.random() * 100));\n json.put(\"dynamic_field_1\", get_random_boolean());\n json.put(\"dynamic_field_2\", (long) (Math.random() * 100));\n\n // localBulkWriter.appendRow(json);\n remoteBulkWriter.appendRow(json);\n}\n\n// localBulkWriter.commit(false);\nremoteBulkWriter.commit(false);\n","print(writer.batch_files)\n\n# [['d4220a9e-45be-4ccb-8cb5-bf09304b9f23/1.parquet'],\n# ['d4220a9e-45be-4ccb-8cb5-bf09304b9f23/2.parquet']]\n","// localBulkWriter.getBatchFiles();\nremoteBulkWriter.getBatchFiles();\n\n// \n\n// Close the BulkWriter\ntry {\n localBulkWriter.close();\n remoteBulkWriter.close(); \n} catch (Exception e) {\n // TODO: handle exception\n e.printStackTrace();\n}\n","# JSON\n├── folder\n│ └── 45ae1139-1d87-4aff-85f5-0039111f9e6b\n│ └── 1.json \n\n# Parquet\n├── folder\n│ └── 45ae1139-1d87-4aff-85f5-0039111f9e6b\n│ └── 1.parquet \n"],"headingContent":"","anchorList":[{"label":"ソースデータの準備","href":"Prepare-Source-Data","type":1,"isActive":false},{"label":"開始する前に","href":"Before-you-start","type":2,"isActive":false},{"label":"BulkWriterのセットアップ","href":"Set-up-BulkWriter","type":2,"isActive":false},{"label":"書き込みの開始","href":"Start-writing","type":2,"isActive":false},{"label":"結果の確認","href":"Verify-the-results","type":2,"isActive":false}]} \ No newline at end of file +{"codeList":["from pymilvus import MilvusClient, DataType\n\n# You need to work out a collection schema out of your dataset.\nschema = MilvusClient.create_schema(\n auto_id=False,\n enable_dynamic_field=True\n)\n\nDIM = 512\n\nschema.add_field(field_name=\"id\", datatype=DataType.INT64, is_primary=True),\nschema.add_field(field_name=\"bool\", datatype=DataType.BOOL),\nschema.add_field(field_name=\"int8\", datatype=DataType.INT8),\nschema.add_field(field_name=\"int16\", datatype=DataType.INT16),\nschema.add_field(field_name=\"int32\", datatype=DataType.INT32),\nschema.add_field(field_name=\"int64\", datatype=DataType.INT64),\nschema.add_field(field_name=\"float\", datatype=DataType.FLOAT),\nschema.add_field(field_name=\"double\", datatype=DataType.DOUBLE),\nschema.add_field(field_name=\"varchar\", datatype=DataType.VARCHAR, max_length=512),\nschema.add_field(field_name=\"json\", datatype=DataType.JSON),\nschema.add_field(field_name=\"array_str\", datatype=DataType.ARRAY, max_capacity=100, element_type=DataType.VARCHAR, max_length=128)\nschema.add_field(field_name=\"array_int\", datatype=DataType.ARRAY, max_capacity=100, element_type=DataType.INT64)\nschema.add_field(field_name=\"float_vector\", datatype=DataType.FLOAT_VECTOR, dim=DIM),\nschema.add_field(field_name=\"binary_vector\", datatype=DataType.BINARY_VECTOR, dim=DIM),\nschema.add_field(field_name=\"float16_vector\", datatype=DataType.FLOAT16_VECTOR, dim=DIM),\n# schema.add_field(field_name=\"bfloat16_vector\", datatype=DataType.BFLOAT16_VECTOR, dim=DIM),\nschema.add_field(field_name=\"sparse_vector\", datatype=DataType.SPARSE_FLOAT_VECTOR)\n\nschema.verify()\n\nprint(schema)\n","import com.google.gson.Gson;\nimport com.google.gson.JsonObject;\nimport io.milvus.bulkwriter.BulkImport;\nimport io.milvus.bulkwriter.RemoteBulkWriter;\nimport io.milvus.bulkwriter.RemoteBulkWriterParam;\nimport io.milvus.bulkwriter.common.clientenum.BulkFileType;\nimport io.milvus.bulkwriter.common.clientenum.CloudStorage;\nimport io.milvus.bulkwriter.connect.S3ConnectParam;\nimport io.milvus.bulkwriter.connect.StorageConnectParam;\nimport io.milvus.bulkwriter.request.describe.MilvusDescribeImportRequest;\nimport io.milvus.bulkwriter.request.import_.MilvusImportRequest;\nimport io.milvus.bulkwriter.request.list.MilvusListImportJobsRequest;\nimport io.milvus.common.utils.Float16Utils;\nimport io.milvus.v2.client.ConnectConfig;\nimport io.milvus.v2.client.MilvusClientV2;\nimport io.milvus.v2.common.DataType;\nimport io.milvus.v2.service.collection.request.*;\n\nimport java.io.IOException;\nimport java.nio.ByteBuffer;\nimport java.util.*;\nimport java.util.concurrent.TimeUnit;\n\nprivate static final String MINIO_ENDPOINT = CloudStorage.MINIO.getEndpoint(\"http://127.0.0.1:9000\");\nprivate static final String BUCKET_NAME = \"a-bucket\";\nprivate static final String ACCESS_KEY = \"minioadmin\";\nprivate static final String SECRET_KEY = \"minioadmin\";\n\nprivate static final Integer DIM = 512;\nprivate static final Gson GSON_INSTANCE = new Gson();\n\nprivate static CreateCollectionReq.CollectionSchema createSchema() {\n CreateCollectionReq.CollectionSchema schema = CreateCollectionReq.CollectionSchema.builder()\n .enableDynamicField(true)\n .build();\n schema.addField(AddFieldReq.builder()\n .fieldName(\"id\")\n .dataType(io.milvus.v2.common.DataType.Int64)\n .isPrimaryKey(Boolean.TRUE)\n .autoID(false)\n .build());\n schema.addField(AddFieldReq.builder()\n .fieldName(\"bool\")\n .dataType(DataType.Bool)\n .build());\n schema.addField(AddFieldReq.builder()\n .fieldName(\"int8\")\n .dataType(DataType.Int8)\n .build());\n schema.addField(AddFieldReq.builder()\n .fieldName(\"int16\")\n .dataType(DataType.Int16)\n .build());\n schema.addField(AddFieldReq.builder()\n .fieldName(\"int32\")\n .dataType(DataType.Int32)\n .build());\n schema.addField(AddFieldReq.builder()\n .fieldName(\"int64\")\n .dataType(DataType.Int64)\n .build());\n schema.addField(AddFieldReq.builder()\n .fieldName(\"float\")\n .dataType(DataType.Float)\n .build());\n schema.addField(AddFieldReq.builder()\n .fieldName(\"double\")\n .dataType(DataType.Double)\n .build());\n schema.addField(AddFieldReq.builder()\n .fieldName(\"varchar\")\n .dataType(DataType.VarChar)\n .maxLength(512)\n .build());\n schema.addField(AddFieldReq.builder()\n .fieldName(\"json\")\n .dataType(io.milvus.v2.common.DataType.JSON)\n .build());\n schema.addField(AddFieldReq.builder()\n .fieldName(\"array_int\")\n .dataType(io.milvus.v2.common.DataType.Array)\n .maxCapacity(100)\n .elementType(io.milvus.v2.common.DataType.Int64)\n .build());\n schema.addField(AddFieldReq.builder()\n .fieldName(\"array_str\")\n .dataType(io.milvus.v2.common.DataType.Array)\n .maxCapacity(100)\n .elementType(io.milvus.v2.common.DataType.VarChar)\n .maxLength(128)\n .build());\n schema.addField(AddFieldReq.builder()\n .fieldName(\"float_vector\")\n .dataType(io.milvus.v2.common.DataType.FloatVector)\n .dimension(DIM)\n .build());\n schema.addField(AddFieldReq.builder()\n .fieldName(\"binary_vector\")\n .dataType(io.milvus.v2.common.DataType.BinaryVector)\n .dimension(DIM)\n .build());\n schema.addField(AddFieldReq.builder()\n .fieldName(\"float16_vector\")\n .dataType(io.milvus.v2.common.DataType.Float16Vector)\n .dimension(DIM)\n .build());\n schema.addField(AddFieldReq.builder()\n .fieldName(\"sparse_vector\")\n .dataType(io.milvus.v2.common.DataType.SparseFloatVector)\n .build());\n \n return schema;\n}\n","from pymilvus.bulk_writer import LocalBulkWriter, BulkFileType\n# Use `from pymilvus import LocalBulkWriter, BulkFileType` \n# when you use pymilvus earlier than 2.4.2 \n\nwriter = LocalBulkWriter(\n schema=schema,\n local_path='.',\n segment_size=512 * 1024 * 1024, # Default value\n file_type=BulkFileType.PARQUET\n)\n","import io.milvus.bulkwriter.LocalBulkWriter;\nimport io.milvus.bulkwriter.LocalBulkWriterParam;\nimport io.milvus.bulkwriter.common.clientenum.BulkFileType;\n\nLocalBulkWriterParam localBulkWriterParam = LocalBulkWriterParam.newBuilder()\n .withCollectionSchema(schema)\n .withLocalPath(\".\")\n .withChunkSize(512 * 1024 * 1024)\n .withFileType(BulkFileType.PARQUET)\n .build();\n\nLocalBulkWriter localBulkWriter = new LocalBulkWriter(localBulkWriterParam);\n","from pymilvus.bulk_writer import RemoteBulkWriter\n# Use `from pymilvus import RemoteBulkWriter` \n# when you use pymilvus earlier than 2.4.2 \n\n# Third-party constants\nACCESS_KEY=\"minioadmin\"\nSECRET_KEY=\"minioadmin\"\nBUCKET_NAME=\"a-bucket\"\n\n# Connections parameters to access the remote bucket\nconn = RemoteBulkWriter.S3ConnectParam(\n endpoint=\"localhost:9000\", # the default MinIO service started along with Milvus\n access_key=ACCESS_KEY,\n secret_key=SECRET_KEY,\n bucket_name=BUCKET_NAME,\n secure=False\n)\n\nfrom pymilvus.bulk_writer import BulkFileType\n# Use `from pymilvus import BulkFileType` \n# when you use pymilvus earlier than 2.4.2 \n\nwriter = RemoteBulkWriter(\n schema=schema,\n remote_path=\"/\",\n connect_param=conn,\n file_type=BulkFileType.PARQUET\n)\n\nprint('bulk writer created.')\n","private static RemoteBulkWriter createRemoteBulkWriter(CreateCollectionReq.CollectionSchema collectionSchema) throws IOException {\n StorageConnectParam connectParam = S3ConnectParam.newBuilder()\n .withEndpoint(MINIO_ENDPOINT)\n .withBucketName(BUCKET_NAME)\n .withAccessKey(ACCESS_KEY)\n .withSecretKey(SECRET_KEY)\n .build();\n RemoteBulkWriterParam bulkWriterParam = RemoteBulkWriterParam.newBuilder()\n .withCollectionSchema(collectionSchema)\n .withRemotePath(\"/\")\n .withConnectParam(connectParam)\n .withFileType(BulkFileType.PARQUET)\n .build();\n return new RemoteBulkWriter(bulkWriterParam);\n}\n","from pymilvus.bulk_writer import BulkFileType\n# Use `from pymilvus import BulkFileType` \n# when you use pymilvus earlier than 2.4.2 \n\nwriter = RemoteBulkWriter(\n schema=schema,\n remote_path=\"/\",\n connect_param=conn,\n file_type=BulkFileType.PARQUET\n)\n","import io.milvus.bulkwriter.RemoteBulkWriter;\nimport io.milvus.bulkwriter.RemoteBulkWriterParam;\n\nRemoteBulkWriterParam remoteBulkWriterParam = RemoteBulkWriterParam.newBuilder()\n .withCollectionSchema(schema)\n .withConnectParam(storageConnectParam)\n .withChunkSize(512 * 1024 * 1024)\n .withRemotePath(\"/\")\n .withFileType(BulkFileType.PARQUET)\n .build();\n\nRemoteBulkWriter remoteBulkWriter = new RemoteBulkWriter(remoteBulkWriterParam);\n","import random, string, json\nimport numpy as np\nimport tensorflow as tf\n\ndef generate_random_str(length=5):\n letters = string.ascii_uppercase\n digits = string.digits\n \n return ''.join(random.choices(letters + digits, k=length))\n\n# optional input for binary vector:\n# 1. list of int such as [1, 0, 1, 1, 0, 0, 1, 0]\n# 2. numpy array of uint8\ndef gen_binary_vector(to_numpy_arr):\n raw_vector = [random.randint(0, 1) for i in range(DIM)]\n if to_numpy_arr:\n return np.packbits(raw_vector, axis=-1)\n return raw_vector\n\n# optional input for float vector:\n# 1. list of float such as [0.56, 1.859, 6.55, 9.45]\n# 2. numpy array of float32\ndef gen_float_vector(to_numpy_arr):\n raw_vector = [random.random() for _ in range(DIM)]\n if to_numpy_arr:\n return np.array(raw_vector, dtype=\"float32\")\n return raw_vector\n\n# # optional input for bfloat16 vector:\n# # 1. list of float such as [0.56, 1.859, 6.55, 9.45]\n# # 2. numpy array of bfloat16\n# def gen_bf16_vector(to_numpy_arr):\n# raw_vector = [random.random() for _ in range(DIM)]\n# if to_numpy_arr:\n# return tf.cast(raw_vector, dtype=tf.bfloat16).numpy()\n# return raw_vector\n\n# optional input for float16 vector:\n# 1. list of float such as [0.56, 1.859, 6.55, 9.45]\n# 2. numpy array of float16\ndef gen_fp16_vector(to_numpy_arr):\n raw_vector = [random.random() for _ in range(DIM)]\n if to_numpy_arr:\n return np.array(raw_vector, dtype=np.float16)\n return raw_vector\n\n# optional input for sparse vector:\n# only accepts dict like {2: 13.23, 45: 0.54} or {\"indices\": [1, 2], \"values\": [0.1, 0.2]}\n# note: no need to sort the keys\ndef gen_sparse_vector(pair_dict: bool):\n raw_vector = {}\n dim = random.randint(2, 20)\n if pair_dict:\n raw_vector[\"indices\"] = [i for i in range(dim)]\n raw_vector[\"values\"] = [random.random() for _ in range(dim)]\n else:\n for i in range(dim):\n raw_vector[i] = random.random()\n return raw_vector\n\nfor i in range(10000):\n writer.append_row({\n \"id\": np.int64(i),\n \"bool\": True if i % 3 == 0 else False,\n \"int8\": np.int8(i%128),\n \"int16\": np.int16(i%1000),\n \"int32\": np.int32(i%100000),\n \"int64\": np.int64(i),\n \"float\": np.float32(i/3),\n \"double\": np.float64(i/7),\n \"varchar\": f\"varchar_{i}\",\n \"json\": json.dumps({\"dummy\": i, \"ok\": f\"name_{i}\"}),\n \"array_str\": np.array([f\"str_{k}\" for k in range(5)], np.dtype(\"str\")),\n \"array_int\": np.array([k for k in range(10)], np.dtype(\"int64\")),\n \"float_vector\": gen_float_vector(True),\n \"binary_vector\": gen_binary_vector(True),\n \"float16_vector\": gen_fp16_vector(True),\n # \"bfloat16_vector\": gen_bf16_vector(True),\n \"sparse_vector\": gen_sparse_vector(True),\n f\"dynamic_{i}\": i,\n })\n if (i+1)%1000 == 0:\n writer.commit()\n print('committed')\n\nprint(writer.batch_files)\n","private static byte[] genBinaryVector() {\n Random ran = new Random();\n int byteCount = DIM / 8;\n ByteBuffer vector = ByteBuffer.allocate(byteCount);\n for (int i = 0; i < byteCount; ++i) {\n vector.put((byte) ran.nextInt(Byte.MAX_VALUE));\n }\n return vector.array();\n}\n\nprivate static List genFloatVector() {\n Random ran = new Random();\n List vector = new ArrayList<>();\n for (int i = 0; i < DIM; ++i) {\n vector.add(ran.nextFloat());\n }\n return vector;\n}\n\nprivate static byte[] genFloat16Vector() {\n List originalVector = genFloatVector();\n return Float16Utils.f32VectorToFp16Buffer(originalVector).array();\n}\n\nprivate static SortedMap genSparseVector() {\n Random ran = new Random();\n SortedMap sparse = new TreeMap<>();\n int dim = ran.nextInt(18) + 2; // [2, 20)\n for (int i = 0; i < dim; ++i) {\n sparse.put((long)ran.nextInt(1000000), ran.nextFloat());\n }\n return sparse;\n}\n\nprivate static List genStringArray(int length) {\n List arr = new ArrayList<>();\n for (int i = 0; i < length; i++) {\n arr.add(\"str_\" + i);\n }\n return arr;\n}\n\nprivate static List genIntArray(int length) {\n List arr = new ArrayList<>();\n for (long i = 0; i < length; i++) {\n arr.add(i);\n }\n return arr;\n}\n\nprivate static RemoteBulkWriter createRemoteBulkWriter(CreateCollectionReq.CollectionSchema collectionSchema) throws IOException {\n StorageConnectParam connectParam = S3ConnectParam.newBuilder()\n .withEndpoint(MINIO_ENDPOINT)\n .withBucketName(BUCKET_NAME)\n .withAccessKey(ACCESS_KEY)\n .withSecretKey(SECRET_KEY)\n .build();\n RemoteBulkWriterParam bulkWriterParam = RemoteBulkWriterParam.newBuilder()\n .withCollectionSchema(collectionSchema)\n .withRemotePath(\"/\")\n .withConnectParam(connectParam)\n .withFileType(BulkFileType.PARQUET)\n .build();\n return new RemoteBulkWriter(bulkWriterParam);\n}\n\nprivate static List> uploadData() throws Exception {\n CreateCollectionReq.CollectionSchema collectionSchema = createSchema();\n try (RemoteBulkWriter remoteBulkWriter = createRemoteBulkWriter(collectionSchema)) {\n for (int i = 0; i < 10000; ++i) {\n JsonObject rowObject = new JsonObject();\n\n rowObject.addProperty(\"id\", i);\n rowObject.addProperty(\"bool\", i % 3 == 0);\n rowObject.addProperty(\"int8\", i % 128);\n rowObject.addProperty(\"int16\", i % 1000);\n rowObject.addProperty(\"int32\", i % 100000);\n rowObject.addProperty(\"int64\", i);\n rowObject.addProperty(\"float\", i / 3);\n rowObject.addProperty(\"double\", i / 7);\n rowObject.addProperty(\"varchar\", \"varchar_\" + i);\n rowObject.addProperty(\"json\", String.format(\"{\\\"dummy\\\": %s, \\\"ok\\\": \\\"name_%s\\\"}\", i, i));\n rowObject.add(\"array_str\", GSON_INSTANCE.toJsonTree(genStringArray(5)));\n rowObject.add(\"array_int\", GSON_INSTANCE.toJsonTree(genIntArray(10)));\n rowObject.add(\"float_vector\", GSON_INSTANCE.toJsonTree(genFloatVector()));\n rowObject.add(\"binary_vector\", GSON_INSTANCE.toJsonTree(genBinaryVector()));\n rowObject.add(\"float16_vector\", GSON_INSTANCE.toJsonTree(genFloat16Vector()));\n rowObject.add(\"sparse_vector\", GSON_INSTANCE.toJsonTree(genSparseVector()));\n rowObject.addProperty(\"dynamic\", \"dynamic_\" + i);\n\n remoteBulkWriter.appendRow(rowObject);\n\n if ((i+1)%1000 == 0) {\n remoteBulkWriter.commit(false);\n }\n }\n\n List> batchFiles = remoteBulkWriter.getBatchFiles();\n System.out.println(batchFiles);\n return batchFiles;\n } catch (Exception e) {\n throw e;\n }\n}\n\npublic static void main(String[] args) throws Exception {\n List> batchFiles = uploadData();\n}\n","print(writer.batch_files)\n\n# [['d4220a9e-45be-4ccb-8cb5-bf09304b9f23/1.parquet'],\n# ['d4220a9e-45be-4ccb-8cb5-bf09304b9f23/2.parquet']]\n","// localBulkWriter.getBatchFiles();\nremoteBulkWriter.getBatchFiles();\n\n// \n\n// Close the BulkWriter\ntry {\n localBulkWriter.close();\n remoteBulkWriter.close(); \n} catch (Exception e) {\n // TODO: handle exception\n e.printStackTrace();\n}\n","# JSON\n├── folder\n│ └── 45ae1139-1d87-4aff-85f5-0039111f9e6b\n│ └── 1.json \n\n# Parquet\n├── folder\n│ └── 45ae1139-1d87-4aff-85f5-0039111f9e6b\n│ └── 1.parquet \n"],"headingContent":"Prepare Source Data","anchorList":[{"label":"ソースデータの準備","href":"Prepare-Source-Data","type":1,"isActive":false},{"label":"開始する前に","href":"Before-you-start","type":2,"isActive":false},{"label":"BulkWriterのセットアップ","href":"Set-up-BulkWriter","type":2,"isActive":false},{"label":"書き込みの開始","href":"Start-writing","type":2,"isActive":false},{"label":"結果の確認","href":"Verify-the-results","type":2,"isActive":false}]} \ No newline at end of file diff --git a/localization/v2.4.x/site/ja/userGuide/data-import/prepare-source-data.md b/localization/v2.4.x/site/ja/userGuide/data-import/prepare-source-data.md index a112da004..983bfff3a 100644 --- a/localization/v2.4.x/site/ja/userGuide/data-import/prepare-source-data.md +++ b/localization/v2.4.x/site/ja/userGuide/data-import/prepare-source-data.md @@ -66,49 +66,143 @@ schema = MilvusClient.create_schema( enable_dynamic_field=True ) -schema.add_field(field_name="id", datatype=DataType.INT64, is_primary=True) -schema.add_field(field_name="vector", datatype=DataType.FLOAT_VECTOR, dim=768) -schema.add_field(field_name="scalar_1", datatype=DataType.VARCHAR, max_length=512) -schema.add_field(field_name="scalar_2", datatype=DataType.INT64) +DIM = 512 + +schema.add_field(field_name="id", datatype=DataType.INT64, is_primary=True), +schema.add_field(field_name="bool", datatype=DataType.BOOL), +schema.add_field(field_name="int8", datatype=DataType.INT8), +schema.add_field(field_name="int16", datatype=DataType.INT16), +schema.add_field(field_name="int32", datatype=DataType.INT32), +schema.add_field(field_name="int64", datatype=DataType.INT64), +schema.add_field(field_name="float", datatype=DataType.FLOAT), +schema.add_field(field_name="double", datatype=DataType.DOUBLE), +schema.add_field(field_name="varchar", datatype=DataType.VARCHAR, max_length=512), +schema.add_field(field_name="json", datatype=DataType.JSON), +schema.add_field(field_name="array_str", datatype=DataType.ARRAY, max_capacity=100, element_type=DataType.VARCHAR, max_length=128) +schema.add_field(field_name="array_int", datatype=DataType.ARRAY, max_capacity=100, element_type=DataType.INT64) +schema.add_field(field_name="float_vector", datatype=DataType.FLOAT_VECTOR, dim=DIM), +schema.add_field(field_name="binary_vector", datatype=DataType.BINARY_VECTOR, dim=DIM), +schema.add_field(field_name="float16_vector", datatype=DataType.FLOAT16_VECTOR, dim=DIM), +# schema.add_field(field_name="bfloat16_vector", datatype=DataType.BFLOAT16_VECTOR, dim=DIM), +schema.add_field(field_name="sparse_vector", datatype=DataType.SPARSE_FLOAT_VECTOR) schema.verify() + +print(schema)
                                                                                                                                                                                                                                                                                                                                                  -
                                                                                                                                                                                                                                                                                                                                                  import io.milvus.grpc.DataType;
                                                                                                                                                                                                                                                                                                                                                  -import io.milvus.param.collection.CollectionSchemaParam;
                                                                                                                                                                                                                                                                                                                                                  -import io.milvus.param.collection.FieldType;
                                                                                                                                                                                                                                                                                                                                                  -
                                                                                                                                                                                                                                                                                                                                                  -// Define schema for the target collection
                                                                                                                                                                                                                                                                                                                                                  -FieldType id = FieldType.newBuilder()
                                                                                                                                                                                                                                                                                                                                                  -        .withName("id")
                                                                                                                                                                                                                                                                                                                                                  -        .withDataType(DataType.Int64)
                                                                                                                                                                                                                                                                                                                                                  -        .withPrimaryKey(true)
                                                                                                                                                                                                                                                                                                                                                  -        .withAutoID(false)
                                                                                                                                                                                                                                                                                                                                                  -        .build();
                                                                                                                                                                                                                                                                                                                                                  +
                                                                                                                                                                                                                                                                                                                                                  import com.google.gson.Gson;
                                                                                                                                                                                                                                                                                                                                                  +import com.google.gson.JsonObject;
                                                                                                                                                                                                                                                                                                                                                  +import io.milvus.bulkwriter.BulkImport;
                                                                                                                                                                                                                                                                                                                                                  +import io.milvus.bulkwriter.RemoteBulkWriter;
                                                                                                                                                                                                                                                                                                                                                  +import io.milvus.bulkwriter.RemoteBulkWriterParam;
                                                                                                                                                                                                                                                                                                                                                  +import io.milvus.bulkwriter.common.clientenum.BulkFileType;
                                                                                                                                                                                                                                                                                                                                                  +import io.milvus.bulkwriter.common.clientenum.CloudStorage;
                                                                                                                                                                                                                                                                                                                                                  +import io.milvus.bulkwriter.connect.S3ConnectParam;
                                                                                                                                                                                                                                                                                                                                                  +import io.milvus.bulkwriter.connect.StorageConnectParam;
                                                                                                                                                                                                                                                                                                                                                  +import io.milvus.bulkwriter.request.describe.MilvusDescribeImportRequest;
                                                                                                                                                                                                                                                                                                                                                  +import io.milvus.bulkwriter.request.import_.MilvusImportRequest;
                                                                                                                                                                                                                                                                                                                                                  +import io.milvus.bulkwriter.request.list.MilvusListImportJobsRequest;
                                                                                                                                                                                                                                                                                                                                                  +import io.milvus.common.utils.Float16Utils;
                                                                                                                                                                                                                                                                                                                                                  +import io.milvus.v2.client.ConnectConfig;
                                                                                                                                                                                                                                                                                                                                                  +import io.milvus.v2.client.MilvusClientV2;
                                                                                                                                                                                                                                                                                                                                                  +import io.milvus.v2.common.DataType;
                                                                                                                                                                                                                                                                                                                                                  +import io.milvus.v2.service.collection.request.*;
                                                                                                                                                                                                                                                                                                                                                   
                                                                                                                                                                                                                                                                                                                                                  -FieldType vector = FieldType.newBuilder()
                                                                                                                                                                                                                                                                                                                                                  -        .withName("vector")
                                                                                                                                                                                                                                                                                                                                                  -        .withDataType(DataType.FloatVector)
                                                                                                                                                                                                                                                                                                                                                  -        .withDimension(768)
                                                                                                                                                                                                                                                                                                                                                  -        .build();
                                                                                                                                                                                                                                                                                                                                                  +import java.io.IOException;
                                                                                                                                                                                                                                                                                                                                                  +import java.nio.ByteBuffer;
                                                                                                                                                                                                                                                                                                                                                  +import java.util.*;
                                                                                                                                                                                                                                                                                                                                                  +import java.util.concurrent.TimeUnit;
                                                                                                                                                                                                                                                                                                                                                   
                                                                                                                                                                                                                                                                                                                                                  -FieldType scalar1 = FieldType.newBuilder()
                                                                                                                                                                                                                                                                                                                                                  -        .withName("scalar_1")
                                                                                                                                                                                                                                                                                                                                                  -        .withDataType(DataType.VarChar)
                                                                                                                                                                                                                                                                                                                                                  -        .withMaxLength(512)
                                                                                                                                                                                                                                                                                                                                                  -        .build();
                                                                                                                                                                                                                                                                                                                                                  +private static final String MINIO_ENDPOINT = CloudStorage.MINIO.getEndpoint("http://127.0.0.1:9000");
                                                                                                                                                                                                                                                                                                                                                  +private static final String BUCKET_NAME = "a-bucket";
                                                                                                                                                                                                                                                                                                                                                  +private static final String ACCESS_KEY = "minioadmin";
                                                                                                                                                                                                                                                                                                                                                  +private static final String SECRET_KEY = "minioadmin";
                                                                                                                                                                                                                                                                                                                                                   
                                                                                                                                                                                                                                                                                                                                                  -FieldType scalar2 = FieldType.newBuilder()
                                                                                                                                                                                                                                                                                                                                                  -        .withName("scalar_2")
                                                                                                                                                                                                                                                                                                                                                  -        .withDataType(DataType.Int64)
                                                                                                                                                                                                                                                                                                                                                  -        .build();
                                                                                                                                                                                                                                                                                                                                                  +private static final Integer DIM = 512;
                                                                                                                                                                                                                                                                                                                                                  +private static final Gson GSON_INSTANCE = new Gson();
                                                                                                                                                                                                                                                                                                                                                   
                                                                                                                                                                                                                                                                                                                                                  -CollectionSchemaParam schema = CollectionSchemaParam.newBuilder()
                                                                                                                                                                                                                                                                                                                                                  -        .withEnableDynamicField(true)
                                                                                                                                                                                                                                                                                                                                                  -        .addFieldType(id)
                                                                                                                                                                                                                                                                                                                                                  -        .addFieldType(vector)
                                                                                                                                                                                                                                                                                                                                                  -        .addFieldType(scalar1)
                                                                                                                                                                                                                                                                                                                                                  -        .addFieldType(scalar2)
                                                                                                                                                                                                                                                                                                                                                  +private static CreateCollectionReq.CollectionSchema createSchema() {
                                                                                                                                                                                                                                                                                                                                                  +    CreateCollectionReq.CollectionSchema schema = CreateCollectionReq.CollectionSchema.builder()
                                                                                                                                                                                                                                                                                                                                                  +        .enableDynamicField(true)
                                                                                                                                                                                                                                                                                                                                                           .build();
                                                                                                                                                                                                                                                                                                                                                  +    schema.addField(AddFieldReq.builder()
                                                                                                                                                                                                                                                                                                                                                  +            .fieldName("id")
                                                                                                                                                                                                                                                                                                                                                  +            .dataType(io.milvus.v2.common.DataType.Int64)
                                                                                                                                                                                                                                                                                                                                                  +            .isPrimaryKey(Boolean.TRUE)
                                                                                                                                                                                                                                                                                                                                                  +            .autoID(false)
                                                                                                                                                                                                                                                                                                                                                  +            .build());
                                                                                                                                                                                                                                                                                                                                                  +    schema.addField(AddFieldReq.builder()
                                                                                                                                                                                                                                                                                                                                                  +            .fieldName("bool")
                                                                                                                                                                                                                                                                                                                                                  +            .dataType(DataType.Bool)
                                                                                                                                                                                                                                                                                                                                                  +            .build());
                                                                                                                                                                                                                                                                                                                                                  +    schema.addField(AddFieldReq.builder()
                                                                                                                                                                                                                                                                                                                                                  +            .fieldName("int8")
                                                                                                                                                                                                                                                                                                                                                  +            .dataType(DataType.Int8)
                                                                                                                                                                                                                                                                                                                                                  +            .build());
                                                                                                                                                                                                                                                                                                                                                  +    schema.addField(AddFieldReq.builder()
                                                                                                                                                                                                                                                                                                                                                  +            .fieldName("int16")
                                                                                                                                                                                                                                                                                                                                                  +            .dataType(DataType.Int16)
                                                                                                                                                                                                                                                                                                                                                  +            .build());
                                                                                                                                                                                                                                                                                                                                                  +    schema.addField(AddFieldReq.builder()
                                                                                                                                                                                                                                                                                                                                                  +            .fieldName("int32")
                                                                                                                                                                                                                                                                                                                                                  +            .dataType(DataType.Int32)
                                                                                                                                                                                                                                                                                                                                                  +            .build());
                                                                                                                                                                                                                                                                                                                                                  +    schema.addField(AddFieldReq.builder()
                                                                                                                                                                                                                                                                                                                                                  +            .fieldName("int64")
                                                                                                                                                                                                                                                                                                                                                  +            .dataType(DataType.Int64)
                                                                                                                                                                                                                                                                                                                                                  +            .build());
                                                                                                                                                                                                                                                                                                                                                  +    schema.addField(AddFieldReq.builder()
                                                                                                                                                                                                                                                                                                                                                  +            .fieldName("float")
                                                                                                                                                                                                                                                                                                                                                  +            .dataType(DataType.Float)
                                                                                                                                                                                                                                                                                                                                                  +            .build());
                                                                                                                                                                                                                                                                                                                                                  +    schema.addField(AddFieldReq.builder()
                                                                                                                                                                                                                                                                                                                                                  +            .fieldName("double")
                                                                                                                                                                                                                                                                                                                                                  +            .dataType(DataType.Double)
                                                                                                                                                                                                                                                                                                                                                  +            .build());
                                                                                                                                                                                                                                                                                                                                                  +    schema.addField(AddFieldReq.builder()
                                                                                                                                                                                                                                                                                                                                                  +            .fieldName("varchar")
                                                                                                                                                                                                                                                                                                                                                  +            .dataType(DataType.VarChar)
                                                                                                                                                                                                                                                                                                                                                  +            .maxLength(512)
                                                                                                                                                                                                                                                                                                                                                  +            .build());
                                                                                                                                                                                                                                                                                                                                                  +    schema.addField(AddFieldReq.builder()
                                                                                                                                                                                                                                                                                                                                                  +            .fieldName("json")
                                                                                                                                                                                                                                                                                                                                                  +            .dataType(io.milvus.v2.common.DataType.JSON)
                                                                                                                                                                                                                                                                                                                                                  +            .build());
                                                                                                                                                                                                                                                                                                                                                  +    schema.addField(AddFieldReq.builder()
                                                                                                                                                                                                                                                                                                                                                  +            .fieldName("array_int")
                                                                                                                                                                                                                                                                                                                                                  +            .dataType(io.milvus.v2.common.DataType.Array)
                                                                                                                                                                                                                                                                                                                                                  +            .maxCapacity(100)
                                                                                                                                                                                                                                                                                                                                                  +            .elementType(io.milvus.v2.common.DataType.Int64)
                                                                                                                                                                                                                                                                                                                                                  +            .build());
                                                                                                                                                                                                                                                                                                                                                  +    schema.addField(AddFieldReq.builder()
                                                                                                                                                                                                                                                                                                                                                  +            .fieldName("array_str")
                                                                                                                                                                                                                                                                                                                                                  +            .dataType(io.milvus.v2.common.DataType.Array)
                                                                                                                                                                                                                                                                                                                                                  +            .maxCapacity(100)
                                                                                                                                                                                                                                                                                                                                                  +            .elementType(io.milvus.v2.common.DataType.VarChar)
                                                                                                                                                                                                                                                                                                                                                  +            .maxLength(128)
                                                                                                                                                                                                                                                                                                                                                  +            .build());
                                                                                                                                                                                                                                                                                                                                                  +    schema.addField(AddFieldReq.builder()
                                                                                                                                                                                                                                                                                                                                                  +            .fieldName("float_vector")
                                                                                                                                                                                                                                                                                                                                                  +            .dataType(io.milvus.v2.common.DataType.FloatVector)
                                                                                                                                                                                                                                                                                                                                                  +            .dimension(DIM)
                                                                                                                                                                                                                                                                                                                                                  +            .build());
                                                                                                                                                                                                                                                                                                                                                  +    schema.addField(AddFieldReq.builder()
                                                                                                                                                                                                                                                                                                                                                  +            .fieldName("binary_vector")
                                                                                                                                                                                                                                                                                                                                                  +            .dataType(io.milvus.v2.common.DataType.BinaryVector)
                                                                                                                                                                                                                                                                                                                                                  +            .dimension(DIM)
                                                                                                                                                                                                                                                                                                                                                  +            .build());
                                                                                                                                                                                                                                                                                                                                                  +    schema.addField(AddFieldReq.builder()
                                                                                                                                                                                                                                                                                                                                                  +            .fieldName("float16_vector")
                                                                                                                                                                                                                                                                                                                                                  +            .dataType(io.milvus.v2.common.DataType.Float16Vector)
                                                                                                                                                                                                                                                                                                                                                  +            .dimension(DIM)
                                                                                                                                                                                                                                                                                                                                                  +            .build());
                                                                                                                                                                                                                                                                                                                                                  +    schema.addField(AddFieldReq.builder()
                                                                                                                                                                                                                                                                                                                                                  +            .fieldName("sparse_vector")
                                                                                                                                                                                                                                                                                                                                                  +            .dataType(io.milvus.v2.common.DataType.SparseFloatVector)
                                                                                                                                                                                                                                                                                                                                                  +            .build());
                                                                                                                                                                                                                                                                                                                                                  +    
                                                                                                                                                                                                                                                                                                                                                  +    return schema;
                                                                                                                                                                                                                                                                                                                                                  +}
                                                                                                                                                                                                                                                                                                                                                   

                                                                                                                                                                                                                                                                                                                                                  BulkWriterのセットアップ

                                                                                                                                                                                                                                                                                                                                                  -
                                                                                                                                                                                                                                                                                                                                                  import io.milvus.bulkwriter.common.clientenum.BulkFileType;
                                                                                                                                                                                                                                                                                                                                                  -import io.milvus.bulkwriter.connect.S3ConnectParam;
                                                                                                                                                                                                                                                                                                                                                  -import io.milvus.bulkwriter.connect.StorageConnectParam;
                                                                                                                                                                                                                                                                                                                                                   
                                                                                                                                                                                                                                                                                                                                                  -String ACCESS_KEY = "minioadmin";
                                                                                                                                                                                                                                                                                                                                                  -String SECRET_KEY = "minioadmin";
                                                                                                                                                                                                                                                                                                                                                  -String BUCKET_NAME = "milvus-bucket";
                                                                                                                                                                                                                                                                                                                                                  +from pymilvus.bulk_writer import BulkFileType
                                                                                                                                                                                                                                                                                                                                                  +# Use `from pymilvus import BulkFileType` 
                                                                                                                                                                                                                                                                                                                                                  +# when you use pymilvus earlier than 2.4.2 
                                                                                                                                                                                                                                                                                                                                                   
                                                                                                                                                                                                                                                                                                                                                  -StorageConnectParam storageConnectParam = S3ConnectParam.newBuilder()
                                                                                                                                                                                                                                                                                                                                                  -    .withEndpoint(MINIO_URI)
                                                                                                                                                                                                                                                                                                                                                  -    .withAccessKey(ACCESS_KEY)
                                                                                                                                                                                                                                                                                                                                                  -    .withSecretKey(SECRET_KEY)
                                                                                                                                                                                                                                                                                                                                                  -    .withBucketName(BUCKET_NAME)
                                                                                                                                                                                                                                                                                                                                                  -    .build();
                                                                                                                                                                                                                                                                                                                                                  +writer = RemoteBulkWriter(
                                                                                                                                                                                                                                                                                                                                                  +    schema=schema,
                                                                                                                                                                                                                                                                                                                                                  +    remote_path="/",
                                                                                                                                                                                                                                                                                                                                                  +    connect_param=conn,
                                                                                                                                                                                                                                                                                                                                                  +    file_type=BulkFileType.PARQUET
                                                                                                                                                                                                                                                                                                                                                  +)
                                                                                                                                                                                                                                                                                                                                                  +
                                                                                                                                                                                                                                                                                                                                                  +print('bulk writer created.')
                                                                                                                                                                                                                                                                                                                                                  +
                                                                                                                                                                                                                                                                                                                                                  +
                                                                                                                                                                                                                                                                                                                                                  private static RemoteBulkWriter createRemoteBulkWriter(CreateCollectionReq.CollectionSchema collectionSchema) throws IOException {
                                                                                                                                                                                                                                                                                                                                                  +    StorageConnectParam connectParam = S3ConnectParam.newBuilder()
                                                                                                                                                                                                                                                                                                                                                  +            .withEndpoint(MINIO_ENDPOINT)
                                                                                                                                                                                                                                                                                                                                                  +            .withBucketName(BUCKET_NAME)
                                                                                                                                                                                                                                                                                                                                                  +            .withAccessKey(ACCESS_KEY)
                                                                                                                                                                                                                                                                                                                                                  +            .withSecretKey(SECRET_KEY)
                                                                                                                                                                                                                                                                                                                                                  +            .build();
                                                                                                                                                                                                                                                                                                                                                  +    RemoteBulkWriterParam bulkWriterParam = RemoteBulkWriterParam.newBuilder()
                                                                                                                                                                                                                                                                                                                                                  +            .withCollectionSchema(collectionSchema)
                                                                                                                                                                                                                                                                                                                                                  +            .withRemotePath("/")
                                                                                                                                                                                                                                                                                                                                                  +            .withConnectParam(connectParam)
                                                                                                                                                                                                                                                                                                                                                  +            .withFileType(BulkFileType.PARQUET)
                                                                                                                                                                                                                                                                                                                                                  +            .build();
                                                                                                                                                                                                                                                                                                                                                  +    return new RemoteBulkWriter(bulkWriterParam);
                                                                                                                                                                                                                                                                                                                                                  +}
                                                                                                                                                                                                                                                                                                                                                   

                                                                                                                                                                                                                                                                                                                                                  接続パラメータが準備できたら、以下のようにRemoteBulkWriterで参照できます:

                                                                                                                                                                                                                                                                                                                                                  @@ -271,80 +379,201 @@ writer = RemoteBulkWriter(

                                                                                                                                                                                                                                                                                                                                                  デモンストレーションのために、以下のコードではランダムに生成されたデータを追加している。

                                                                                                                                                                                                                                                                                                                                                  -
                                                                                                                                                                                                                                                                                                                                                  import random
                                                                                                                                                                                                                                                                                                                                                  -import string
                                                                                                                                                                                                                                                                                                                                                  +
                                                                                                                                                                                                                                                                                                                                                  import random, string, json
                                                                                                                                                                                                                                                                                                                                                  +import numpy as np
                                                                                                                                                                                                                                                                                                                                                  +import tensorflow as tf
                                                                                                                                                                                                                                                                                                                                                   
                                                                                                                                                                                                                                                                                                                                                  -def generate_random_str(length=5):
                                                                                                                                                                                                                                                                                                                                                  -    letters = string.ascii_uppercase
                                                                                                                                                                                                                                                                                                                                                  -    digits = string.digits
                                                                                                                                                                                                                                                                                                                                                  +def generate_random_str(length=5):
                                                                                                                                                                                                                                                                                                                                                  +    letters = string.ascii_uppercase
                                                                                                                                                                                                                                                                                                                                                  +    digits = string.digits
                                                                                                                                                                                                                                                                                                                                                       
                                                                                                                                                                                                                                                                                                                                                       return ''.join(random.choices(letters + digits, k=length))
                                                                                                                                                                                                                                                                                                                                                   
                                                                                                                                                                                                                                                                                                                                                  -for i in range(10000):
                                                                                                                                                                                                                                                                                                                                                  -    writer.append_row({
                                                                                                                                                                                                                                                                                                                                                  -        "id": i, 
                                                                                                                                                                                                                                                                                                                                                  -        "vector": [random.uniform(-1, 1) for _ in range(768)],
                                                                                                                                                                                                                                                                                                                                                  -        "scalar_1": generate_random_str(random.randint(1, 20)),
                                                                                                                                                                                                                                                                                                                                                  -        "scalar_2": random.randint(0, 100)
                                                                                                                                                                                                                                                                                                                                                  -    })
                                                                                                                                                                                                                                                                                                                                                  -    
                                                                                                                                                                                                                                                                                                                                                  -writer.commit()
                                                                                                                                                                                                                                                                                                                                                  -
                                                                                                                                                                                                                                                                                                                                                  -
                                                                                                                                                                                                                                                                                                                                                  import com.alibaba.fastjson.JSONObject;
                                                                                                                                                                                                                                                                                                                                                  +# optional input for binary vector:
                                                                                                                                                                                                                                                                                                                                                  +# 1. list of int such as [1, 0, 1, 1, 0, 0, 1, 0]
                                                                                                                                                                                                                                                                                                                                                  +# 2. numpy array of uint8
                                                                                                                                                                                                                                                                                                                                                  +def gen_binary_vector(to_numpy_arr):
                                                                                                                                                                                                                                                                                                                                                  +    raw_vector = [random.randint(0, 1) for i in range(DIM)]
                                                                                                                                                                                                                                                                                                                                                  +    if to_numpy_arr:
                                                                                                                                                                                                                                                                                                                                                  +        return np.packbits(raw_vector, axis=-1)
                                                                                                                                                                                                                                                                                                                                                  +    return raw_vector
                                                                                                                                                                                                                                                                                                                                                   
                                                                                                                                                                                                                                                                                                                                                  -for (int i = 0; i < 10000; i++) {
                                                                                                                                                                                                                                                                                                                                                  -    JSONObject json = new JSONObject();
                                                                                                                                                                                                                                                                                                                                                  -    json.put("id", i);
                                                                                                                                                                                                                                                                                                                                                  -    json.put("vector", get_random_vector(768));
                                                                                                                                                                                                                                                                                                                                                  -    json.put("scalar_1", get_random_string(20));
                                                                                                                                                                                                                                                                                                                                                  -    json.put("scalar_2", (long) (Math.random() * 100));
                                                                                                                                                                                                                                                                                                                                                  +# optional input for float vector:
                                                                                                                                                                                                                                                                                                                                                  +# 1. list of float such as [0.56, 1.859, 6.55, 9.45]
                                                                                                                                                                                                                                                                                                                                                  +# 2. numpy array of float32
                                                                                                                                                                                                                                                                                                                                                  +def gen_float_vector(to_numpy_arr):
                                                                                                                                                                                                                                                                                                                                                  +    raw_vector = [random.random() for _ in range(DIM)]
                                                                                                                                                                                                                                                                                                                                                  +    if to_numpy_arr:
                                                                                                                                                                                                                                                                                                                                                  +        return np.array(raw_vector, dtype="float32")
                                                                                                                                                                                                                                                                                                                                                  +    return raw_vector
                                                                                                                                                                                                                                                                                                                                                   
                                                                                                                                                                                                                                                                                                                                                  -    // localBulkWriter.appendRow(json);
                                                                                                                                                                                                                                                                                                                                                  -    remoteBulkWriter.appendRow(json);
                                                                                                                                                                                                                                                                                                                                                  -}
                                                                                                                                                                                                                                                                                                                                                  +# # optional input for bfloat16 vector:
                                                                                                                                                                                                                                                                                                                                                  +# # 1. list of float such as [0.56, 1.859, 6.55, 9.45]
                                                                                                                                                                                                                                                                                                                                                  +# # 2. numpy array of bfloat16
                                                                                                                                                                                                                                                                                                                                                  +# def gen_bf16_vector(to_numpy_arr):
                                                                                                                                                                                                                                                                                                                                                  +#     raw_vector = [random.random() for _ in range(DIM)]
                                                                                                                                                                                                                                                                                                                                                  +#     if to_numpy_arr:
                                                                                                                                                                                                                                                                                                                                                  +#         return tf.cast(raw_vector, dtype=tf.bfloat16).numpy()
                                                                                                                                                                                                                                                                                                                                                  +#     return raw_vector
                                                                                                                                                                                                                                                                                                                                                   
                                                                                                                                                                                                                                                                                                                                                  -// localBulkWriter.commit(false);
                                                                                                                                                                                                                                                                                                                                                  -remoteBulkWriter.commit(false);
                                                                                                                                                                                                                                                                                                                                                  -
                                                                                                                                                                                                                                                                                                                                                  -

                                                                                                                                                                                                                                                                                                                                                  定義されているスキーマは動的フィールドを許可しているので、以下のように、挿入するデータにスキーマで定義されていないフィールドを含めることもできる。

                                                                                                                                                                                                                                                                                                                                                  - -
                                                                                                                                                                                                                                                                                                                                                  import random
                                                                                                                                                                                                                                                                                                                                                  -import string
                                                                                                                                                                                                                                                                                                                                                  +# optional input for float16 vector:
                                                                                                                                                                                                                                                                                                                                                  +# 1. list of float such as [0.56, 1.859, 6.55, 9.45]
                                                                                                                                                                                                                                                                                                                                                  +# 2. numpy array of float16
                                                                                                                                                                                                                                                                                                                                                  +def gen_fp16_vector(to_numpy_arr):
                                                                                                                                                                                                                                                                                                                                                  +    raw_vector = [random.random() for _ in range(DIM)]
                                                                                                                                                                                                                                                                                                                                                  +    if to_numpy_arr:
                                                                                                                                                                                                                                                                                                                                                  +        return np.array(raw_vector, dtype=np.float16)
                                                                                                                                                                                                                                                                                                                                                  +    return raw_vector
                                                                                                                                                                                                                                                                                                                                                   
                                                                                                                                                                                                                                                                                                                                                  -def generate_random_string(length=5):
                                                                                                                                                                                                                                                                                                                                                  -    letters = string.ascii_uppercase
                                                                                                                                                                                                                                                                                                                                                  -    digits = string.digits
                                                                                                                                                                                                                                                                                                                                                  -    
                                                                                                                                                                                                                                                                                                                                                  -    return ''.join(random.choices(letters + digits, k=length))
                                                                                                                                                                                                                                                                                                                                                  +# optional input for sparse vector:
                                                                                                                                                                                                                                                                                                                                                  +# only accepts dict like {2: 13.23, 45: 0.54} or {"indices": [1, 2], "values": [0.1, 0.2]}
                                                                                                                                                                                                                                                                                                                                                  +# note: no need to sort the keys
                                                                                                                                                                                                                                                                                                                                                  +def gen_sparse_vector(pair_dict: bool):
                                                                                                                                                                                                                                                                                                                                                  +    raw_vector = {}
                                                                                                                                                                                                                                                                                                                                                  +    dim = random.randint(2, 20)
                                                                                                                                                                                                                                                                                                                                                  +    if pair_dict:
                                                                                                                                                                                                                                                                                                                                                  +        raw_vector["indices"] = [i for i in range(dim)]
                                                                                                                                                                                                                                                                                                                                                  +        raw_vector["values"] = [random.random() for _ in range(dim)]
                                                                                                                                                                                                                                                                                                                                                  +    else:
                                                                                                                                                                                                                                                                                                                                                  +        for i in range(dim):
                                                                                                                                                                                                                                                                                                                                                  +            raw_vector[i] = random.random()
                                                                                                                                                                                                                                                                                                                                                  +    return raw_vector
                                                                                                                                                                                                                                                                                                                                                   
                                                                                                                                                                                                                                                                                                                                                   for i in range(10000):
                                                                                                                                                                                                                                                                                                                                                       writer.append_row({
                                                                                                                                                                                                                                                                                                                                                  -        "id": i, 
                                                                                                                                                                                                                                                                                                                                                  -        "vector":[random.uniform(-1, 1) for _ in range(768)],
                                                                                                                                                                                                                                                                                                                                                  -        "scalar_1": generate_random_string(),
                                                                                                                                                                                                                                                                                                                                                  -        "scalar_2": random.randint(0, 100),
                                                                                                                                                                                                                                                                                                                                                  -        "dynamic_field_1": random.choice([True, False]),
                                                                                                                                                                                                                                                                                                                                                  -        "dynamic_field_2": random.randint(0, 100)
                                                                                                                                                                                                                                                                                                                                                  +        "id": np.int64(i),
                                                                                                                                                                                                                                                                                                                                                  +        "bool": True if i % 3 == 0 else False,
                                                                                                                                                                                                                                                                                                                                                  +        "int8": np.int8(i%128),
                                                                                                                                                                                                                                                                                                                                                  +        "int16": np.int16(i%1000),
                                                                                                                                                                                                                                                                                                                                                  +        "int32": np.int32(i%100000),
                                                                                                                                                                                                                                                                                                                                                  +        "int64": np.int64(i),
                                                                                                                                                                                                                                                                                                                                                  +        "float": np.float32(i/3),
                                                                                                                                                                                                                                                                                                                                                  +        "double": np.float64(i/7),
                                                                                                                                                                                                                                                                                                                                                  +        "varchar": f"varchar_{i}",
                                                                                                                                                                                                                                                                                                                                                  +        "json": json.dumps({"dummy": i, "ok": f"name_{i}"}),
                                                                                                                                                                                                                                                                                                                                                  +        "array_str": np.array([f"str_{k}" for k in range(5)], np.dtype("str")),
                                                                                                                                                                                                                                                                                                                                                  +        "array_int": np.array([k for k in range(10)], np.dtype("int64")),
                                                                                                                                                                                                                                                                                                                                                  +        "float_vector": gen_float_vector(True),
                                                                                                                                                                                                                                                                                                                                                  +        "binary_vector": gen_binary_vector(True),
                                                                                                                                                                                                                                                                                                                                                  +        "float16_vector": gen_fp16_vector(True),
                                                                                                                                                                                                                                                                                                                                                  +        # "bfloat16_vector": gen_bf16_vector(True),
                                                                                                                                                                                                                                                                                                                                                  +        "sparse_vector": gen_sparse_vector(True),
                                                                                                                                                                                                                                                                                                                                                  +        f"dynamic_{i}": i,
                                                                                                                                                                                                                                                                                                                                                       })
                                                                                                                                                                                                                                                                                                                                                  -    
                                                                                                                                                                                                                                                                                                                                                  -writer.commit()
                                                                                                                                                                                                                                                                                                                                                  +    if (i+1)%1000 == 0:
                                                                                                                                                                                                                                                                                                                                                  +        writer.commit()
                                                                                                                                                                                                                                                                                                                                                  +        print('committed')
                                                                                                                                                                                                                                                                                                                                                  +
                                                                                                                                                                                                                                                                                                                                                  +print(writer.batch_files)
                                                                                                                                                                                                                                                                                                                                                   
                                                                                                                                                                                                                                                                                                                                                  -
                                                                                                                                                                                                                                                                                                                                                  for (int i = 0; i < 10000; i++) {
                                                                                                                                                                                                                                                                                                                                                  -    JSONObject json = new JSONObject();
                                                                                                                                                                                                                                                                                                                                                  -    json.put("id", i);
                                                                                                                                                                                                                                                                                                                                                  -    json.put("vector", get_random_vector(768));
                                                                                                                                                                                                                                                                                                                                                  -    json.put("scalar_1", get_random_string(20));
                                                                                                                                                                                                                                                                                                                                                  -    json.put("scalar_2", (long) (Math.random() * 100));
                                                                                                                                                                                                                                                                                                                                                  -    json.put("dynamic_field_1", get_random_boolean());
                                                                                                                                                                                                                                                                                                                                                  -    json.put("dynamic_field_2", (long) (Math.random() * 100));
                                                                                                                                                                                                                                                                                                                                                  -
                                                                                                                                                                                                                                                                                                                                                  -    // localBulkWriter.appendRow(json);
                                                                                                                                                                                                                                                                                                                                                  -    remoteBulkWriter.appendRow(json);
                                                                                                                                                                                                                                                                                                                                                  +
                                                                                                                                                                                                                                                                                                                                                  private static byte[] genBinaryVector() {
                                                                                                                                                                                                                                                                                                                                                  +    Random ran = new Random();
                                                                                                                                                                                                                                                                                                                                                  +    int byteCount = DIM / 8;
                                                                                                                                                                                                                                                                                                                                                  +    ByteBuffer vector = ByteBuffer.allocate(byteCount);
                                                                                                                                                                                                                                                                                                                                                  +    for (int i = 0; i < byteCount; ++i) {
                                                                                                                                                                                                                                                                                                                                                  +        vector.put((byte) ran.nextInt(Byte.MAX_VALUE));
                                                                                                                                                                                                                                                                                                                                                  +    }
                                                                                                                                                                                                                                                                                                                                                  +    return vector.array();
                                                                                                                                                                                                                                                                                                                                                  +}
                                                                                                                                                                                                                                                                                                                                                  +
                                                                                                                                                                                                                                                                                                                                                  +private static List<Float> genFloatVector() {
                                                                                                                                                                                                                                                                                                                                                  +    Random ran = new Random();
                                                                                                                                                                                                                                                                                                                                                  +    List<Float> vector = new ArrayList<>();
                                                                                                                                                                                                                                                                                                                                                  +    for (int i = 0; i < DIM; ++i) {
                                                                                                                                                                                                                                                                                                                                                  +        vector.add(ran.nextFloat());
                                                                                                                                                                                                                                                                                                                                                  +    }
                                                                                                                                                                                                                                                                                                                                                  +    return vector;
                                                                                                                                                                                                                                                                                                                                                  +}
                                                                                                                                                                                                                                                                                                                                                  +
                                                                                                                                                                                                                                                                                                                                                  +private static byte[] genFloat16Vector() {
                                                                                                                                                                                                                                                                                                                                                  +    List<Float> originalVector = genFloatVector();
                                                                                                                                                                                                                                                                                                                                                  +    return Float16Utils.f32VectorToFp16Buffer(originalVector).array();
                                                                                                                                                                                                                                                                                                                                                   }
                                                                                                                                                                                                                                                                                                                                                   
                                                                                                                                                                                                                                                                                                                                                  -// localBulkWriter.commit(false);
                                                                                                                                                                                                                                                                                                                                                  -remoteBulkWriter.commit(false);
                                                                                                                                                                                                                                                                                                                                                  +private static SortedMap<Long, Float> genSparseVector() {
                                                                                                                                                                                                                                                                                                                                                  +    Random ran = new Random();
                                                                                                                                                                                                                                                                                                                                                  +    SortedMap<Long, Float> sparse = new TreeMap<>();
                                                                                                                                                                                                                                                                                                                                                  +    int dim = ran.nextInt(18) + 2; // [2, 20)
                                                                                                                                                                                                                                                                                                                                                  +    for (int i = 0; i < dim; ++i) {
                                                                                                                                                                                                                                                                                                                                                  +        sparse.put((long)ran.nextInt(1000000), ran.nextFloat());
                                                                                                                                                                                                                                                                                                                                                  +    }
                                                                                                                                                                                                                                                                                                                                                  +    return sparse;
                                                                                                                                                                                                                                                                                                                                                  +}
                                                                                                                                                                                                                                                                                                                                                  +
                                                                                                                                                                                                                                                                                                                                                  +private static List<String> genStringArray(int length) {
                                                                                                                                                                                                                                                                                                                                                  +    List<String> arr = new ArrayList<>();
                                                                                                                                                                                                                                                                                                                                                  +    for (int i = 0; i < length; i++) {
                                                                                                                                                                                                                                                                                                                                                  +        arr.add("str_" + i);
                                                                                                                                                                                                                                                                                                                                                  +    }
                                                                                                                                                                                                                                                                                                                                                  +    return arr;
                                                                                                                                                                                                                                                                                                                                                  +}
                                                                                                                                                                                                                                                                                                                                                  +
                                                                                                                                                                                                                                                                                                                                                  +private static List<Long> genIntArray(int length) {
                                                                                                                                                                                                                                                                                                                                                  +    List<Long> arr = new ArrayList<>();
                                                                                                                                                                                                                                                                                                                                                  +    for (long i = 0; i < length; i++) {
                                                                                                                                                                                                                                                                                                                                                  +        arr.add(i);
                                                                                                                                                                                                                                                                                                                                                  +    }
                                                                                                                                                                                                                                                                                                                                                  +    return arr;
                                                                                                                                                                                                                                                                                                                                                  +}
                                                                                                                                                                                                                                                                                                                                                  +
                                                                                                                                                                                                                                                                                                                                                  +private static RemoteBulkWriter createRemoteBulkWriter(CreateCollectionReq.CollectionSchema collectionSchema) throws IOException {
                                                                                                                                                                                                                                                                                                                                                  +    StorageConnectParam connectParam = S3ConnectParam.newBuilder()
                                                                                                                                                                                                                                                                                                                                                  +            .withEndpoint(MINIO_ENDPOINT)
                                                                                                                                                                                                                                                                                                                                                  +            .withBucketName(BUCKET_NAME)
                                                                                                                                                                                                                                                                                                                                                  +            .withAccessKey(ACCESS_KEY)
                                                                                                                                                                                                                                                                                                                                                  +            .withSecretKey(SECRET_KEY)
                                                                                                                                                                                                                                                                                                                                                  +            .build();
                                                                                                                                                                                                                                                                                                                                                  +    RemoteBulkWriterParam bulkWriterParam = RemoteBulkWriterParam.newBuilder()
                                                                                                                                                                                                                                                                                                                                                  +            .withCollectionSchema(collectionSchema)
                                                                                                                                                                                                                                                                                                                                                  +            .withRemotePath("/")
                                                                                                                                                                                                                                                                                                                                                  +            .withConnectParam(connectParam)
                                                                                                                                                                                                                                                                                                                                                  +            .withFileType(BulkFileType.PARQUET)
                                                                                                                                                                                                                                                                                                                                                  +            .build();
                                                                                                                                                                                                                                                                                                                                                  +    return new RemoteBulkWriter(bulkWriterParam);
                                                                                                                                                                                                                                                                                                                                                  +}
                                                                                                                                                                                                                                                                                                                                                  +
                                                                                                                                                                                                                                                                                                                                                  +private static List<List<String>> uploadData() throws Exception {
                                                                                                                                                                                                                                                                                                                                                  +    CreateCollectionReq.CollectionSchema collectionSchema = createSchema();
                                                                                                                                                                                                                                                                                                                                                  +    try (RemoteBulkWriter remoteBulkWriter = createRemoteBulkWriter(collectionSchema)) {
                                                                                                                                                                                                                                                                                                                                                  +        for (int i = 0; i < 10000; ++i) {
                                                                                                                                                                                                                                                                                                                                                  +            JsonObject rowObject = new JsonObject();
                                                                                                                                                                                                                                                                                                                                                  +
                                                                                                                                                                                                                                                                                                                                                  +            rowObject.addProperty("id", i);
                                                                                                                                                                                                                                                                                                                                                  +            rowObject.addProperty("bool", i % 3 == 0);
                                                                                                                                                                                                                                                                                                                                                  +            rowObject.addProperty("int8", i % 128);
                                                                                                                                                                                                                                                                                                                                                  +            rowObject.addProperty("int16", i % 1000);
                                                                                                                                                                                                                                                                                                                                                  +            rowObject.addProperty("int32", i % 100000);
                                                                                                                                                                                                                                                                                                                                                  +            rowObject.addProperty("int64", i);
                                                                                                                                                                                                                                                                                                                                                  +            rowObject.addProperty("float", i / 3);
                                                                                                                                                                                                                                                                                                                                                  +            rowObject.addProperty("double", i / 7);
                                                                                                                                                                                                                                                                                                                                                  +            rowObject.addProperty("varchar", "varchar_" + i);
                                                                                                                                                                                                                                                                                                                                                  +            rowObject.addProperty("json", String.format("{\"dummy\": %s, \"ok\": \"name_%s\"}", i, i));
                                                                                                                                                                                                                                                                                                                                                  +            rowObject.add("array_str", GSON_INSTANCE.toJsonTree(genStringArray(5)));
                                                                                                                                                                                                                                                                                                                                                  +            rowObject.add("array_int", GSON_INSTANCE.toJsonTree(genIntArray(10)));
                                                                                                                                                                                                                                                                                                                                                  +            rowObject.add("float_vector", GSON_INSTANCE.toJsonTree(genFloatVector()));
                                                                                                                                                                                                                                                                                                                                                  +            rowObject.add("binary_vector", GSON_INSTANCE.toJsonTree(genBinaryVector()));
                                                                                                                                                                                                                                                                                                                                                  +            rowObject.add("float16_vector", GSON_INSTANCE.toJsonTree(genFloat16Vector()));
                                                                                                                                                                                                                                                                                                                                                  +            rowObject.add("sparse_vector", GSON_INSTANCE.toJsonTree(genSparseVector()));
                                                                                                                                                                                                                                                                                                                                                  +            rowObject.addProperty("dynamic", "dynamic_" + i);
                                                                                                                                                                                                                                                                                                                                                  +
                                                                                                                                                                                                                                                                                                                                                  +            remoteBulkWriter.appendRow(rowObject);
                                                                                                                                                                                                                                                                                                                                                  +
                                                                                                                                                                                                                                                                                                                                                  +            if ((i+1)%1000 == 0) {
                                                                                                                                                                                                                                                                                                                                                  +                remoteBulkWriter.commit(false);
                                                                                                                                                                                                                                                                                                                                                  +            }
                                                                                                                                                                                                                                                                                                                                                  +        }
                                                                                                                                                                                                                                                                                                                                                  +
                                                                                                                                                                                                                                                                                                                                                  +        List<List<String>> batchFiles = remoteBulkWriter.getBatchFiles();
                                                                                                                                                                                                                                                                                                                                                  +        System.out.println(batchFiles);
                                                                                                                                                                                                                                                                                                                                                  +        return batchFiles;
                                                                                                                                                                                                                                                                                                                                                  +    } catch (Exception e) {
                                                                                                                                                                                                                                                                                                                                                  +        throw e;
                                                                                                                                                                                                                                                                                                                                                  +    }
                                                                                                                                                                                                                                                                                                                                                  +}
                                                                                                                                                                                                                                                                                                                                                  +
                                                                                                                                                                                                                                                                                                                                                  +public static void main(String[] args) throws Exception {
                                                                                                                                                                                                                                                                                                                                                  +    List<List<String>> batchFiles = uploadData();
                                                                                                                                                                                                                                                                                                                                                  +}
                                                                                                                                                                                                                                                                                                                                                   

                                                                                                                                                                                                                                                                                                                                                  結果の確認

                                                                                                                                                                                                                                                                                                                                                  結果を確認するには、ライターのgetBatchFiles() メソッドを表示することで、実際の出力パスを取得できます。

                                                                                                                                                                                                                                                                                                                                                  diff --git a/localization/v2.4.x/site/ja/userGuide/manage-indexes/index-vector-fields.md b/localization/v2.4.x/site/ja/userGuide/manage-indexes/index-vector-fields.md index d324ea5f6..cca11eeba 100644 --- a/localization/v2.4.x/site/ja/userGuide/manage-indexes/index-vector-fields.md +++ b/localization/v2.4.x/site/ja/userGuide/manage-indexes/index-vector-fields.md @@ -35,15 +35,15 @@ title: ベクトルフィールドのインデックス d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z" > -

                                                                                                                                                                                                                                                                                                                                                  Milvusはインデックスファイルに保存されたメタデータを活用し、データを特殊な構造で整理することで、検索やクエリ時に要求された情報を迅速に取り出すことができます。

                                                                                                                                                                                                                                                                                                                                                  -

                                                                                                                                                                                                                                                                                                                                                  Milvusは効率的な類似検索のために、いくつかのインデックスタイプとフィールド値をソートするメトリックを提供します。以下の表は、さまざまなベクトル・フィールド・タイプでサポートされているインデックス・タイプとメトリクスの一覧です。詳細については、「メモリ内インデックスと 類似度メトリクス」を参照してください。

                                                                                                                                                                                                                                                                                                                                                  +

                                                                                                                                                                                                                                                                                                                                                  Milvusは、インデックスファイルに格納されたメタデータを活用し、データを特殊な構造で整理することで、検索やクエリ時に要求された情報を迅速に取り出すことができます。

                                                                                                                                                                                                                                                                                                                                                  +

                                                                                                                                                                                                                                                                                                                                                  Milvusは効率的な類似検索のために、いくつかのインデックスタイプとフィールド値をソートするメトリックを提供します。以下の表は、さまざまなベクトルフィールドタイプでサポートされているインデックスタイプとメトリクスの一覧です。現在、Milvusは浮動小数点埋め込み(しばしば浮動小数点ベクトルまたは密ベクトルとして知られています)、バイナリ埋め込み(バイナリベクトルとしても知られています)、スパース埋め込み(スパースベクトルとしても知られています)を含む様々なタイプのベクトルデータをサポートしています。詳しくは、「メモリ内インデックスと 類似度メトリクス」を参照。

                                                                                                                                                                                                                                                                                                                                                  + 浮動小数点埋め込み バイナリ埋め込み スパース埋め込み
                                                                                                                                                                                                                                                                                                                                                  - + @@ -60,7 +60,7 @@ title: ベクトルフィールドのインデックス - + @@ -103,7 +103,7 @@ title: ベクトルフィールドのインデックス d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z" > -

                                                                                                                                                                                                                                                                                                                                                  Manageコレクションで説明したように、Milvusはコレクション作成リクエストで以下の条件のいずれかが指定された場合、コレクション作成時に自動的にインデックスを生成し、メモリにロードします:

                                                                                                                                                                                                                                                                                                                                                  +

                                                                                                                                                                                                                                                                                                                                                  Manage Collectionsで説明したように、Milvusはコレクション作成リクエストで以下の条件のいずれかが指定された場合、コレクション作成時に自動的にインデックスを生成し、メモリにロードします:

                                                                                                                                                                                                                                                                                                                                                  • ベクトルフィールドの次元とメトリックタイプ、または

                                                                                                                                                                                                                                                                                                                                                  • スキーマとインデックス・パラメータ。

                                                                                                                                                                                                                                                                                                                                                  • @@ -113,7 +113,7 @@ title: ベクトルフィールドのインデックス

                                                                                                                                                                                                                                                                                                                                                    インデックス作成の準備のために MilvusClientを使用してMilvusサーバに接続し、コレクションをセットアップします。 create_schema(), add_field()および create_collection().

                                                                                                                                                                                                                                                                                                                                                    -

                                                                                                                                                                                                                                                                                                                                                    インデックス作成の準備には MilvusClientV2を使ってMilvusサーバーに接続し、コレクションを設定する。 createSchema(), addField()および createCollection().

                                                                                                                                                                                                                                                                                                                                                    +

                                                                                                                                                                                                                                                                                                                                                    インデックス作成の準備には MilvusClientV2を使ってMilvusサーバーに接続し、コレクションをセットアップする。 createSchema(), addField()および createCollection().

                                                                                                                                                                                                                                                                                                                                                    インデックス作成の準備には MilvusClientを使ってMilvusサーバーに接続し、コレクションをセットアップする。 createCollection().

                                                                                                                                                                                                                                                                                                                                                    @@ -320,7 +320,7 @@ res = await client.params -
                                                                                                                                                                                                                                                                                                                                                  + diff --git a/localization/v2.4.x/site/ko/adminGuide/configure-docker.json b/localization/v2.4.x/site/ko/adminGuide/configure-docker.json index 2cdb3cc8f..153084b19 100644 --- a/localization/v2.4.x/site/ko/adminGuide/configure-docker.json +++ b/localization/v2.4.x/site/ko/adminGuide/configure-docker.json @@ -1 +1 @@ -{"codeList":["$ wget https://raw.githubusercontent.com/milvus-io/milvus/v2.4.15/configs/milvus.yaml\n","# For Milvus standalone\n$ wget https://github.com/milvus-io/milvus/releases/download/v2.4.15/milvus-standalone-docker-compose.yml -O docker-compose.yml\n","...\n standalone:\n container_name: milvus-standalone\n image: milvusdb/milvus:v2.2.13\n command: [\"milvus\", \"run\", \"standalone\"]\n environment:\n ETCD_ENDPOINTS: etcd:2379\n MINIO_ADDRESS: minio:9000\n volumes:\n - /local/path/to/your/milvus.yaml:/milvus/configs/milvus.yaml # Map the local path to the container path\n - ${DOCKER_VOLUME_DIRECTORY:-.}/volumes/milvus:/var/lib/milvus\n ports:\n - \"19530:19530\"\n - \"9091:9091\"\n depends_on:\n - \"etcd\"\n - \"minio\"\n...\n","$ sudo docker compose up -d\n"],"headingContent":"Configure Milvus with Docker Compose","anchorList":[{"label":"Docker Compose로 Milvus 구성하기","href":"Configure-Milvus-with-Docker-Compose","type":1,"isActive":false},{"label":"구성 파일 다운로드","href":"Download-a-configuration-file","type":2,"isActive":false},{"label":"구성 파일 수정하기","href":"Modify-the-configuration-file","type":2,"isActive":false},{"label":"설치 파일 다운로드","href":"Download-an-installation-file","type":2,"isActive":false},{"label":"설치 파일 수정하기","href":"Modify-the-installation-file","type":2,"isActive":false},{"label":"Milvus 시작","href":"Start-Milvus","type":2,"isActive":false},{"label":"다음 단계","href":"Whats-next","type":2,"isActive":false}]} \ No newline at end of file +{"codeList":["$ wget https://raw.githubusercontent.com/milvus-io/milvus/v2.4.17/configs/milvus.yaml\n","# For Milvus standalone\n$ wget https://github.com/milvus-io/milvus/releases/download/v2.4.17/milvus-standalone-docker-compose.yml -O docker-compose.yml\n","...\n standalone:\n container_name: milvus-standalone\n image: milvusdb/milvus:v2.2.13\n command: [\"milvus\", \"run\", \"standalone\"]\n environment:\n ETCD_ENDPOINTS: etcd:2379\n MINIO_ADDRESS: minio:9000\n volumes:\n - /local/path/to/your/milvus.yaml:/milvus/configs/milvus.yaml # Map the local path to the container path\n - ${DOCKER_VOLUME_DIRECTORY:-.}/volumes/milvus:/var/lib/milvus\n ports:\n - \"19530:19530\"\n - \"9091:9091\"\n depends_on:\n - \"etcd\"\n - \"minio\"\n...\n","$ sudo docker compose up -d\n"],"headingContent":"Configure Milvus with Docker Compose","anchorList":[{"label":"Docker Compose로 Milvus 구성하기","href":"Configure-Milvus-with-Docker-Compose","type":1,"isActive":false},{"label":"구성 파일 다운로드","href":"Download-a-configuration-file","type":2,"isActive":false},{"label":"구성 파일 수정하기","href":"Modify-the-configuration-file","type":2,"isActive":false},{"label":"설치 파일 다운로드","href":"Download-an-installation-file","type":2,"isActive":false},{"label":"설치 파일 수정하기","href":"Modify-the-installation-file","type":2,"isActive":false},{"label":"Milvus 시작","href":"Start-Milvus","type":2,"isActive":false},{"label":"다음 단계","href":"Whats-next","type":2,"isActive":false}]} \ No newline at end of file diff --git a/localization/v2.4.x/site/ko/adminGuide/configure-docker.md b/localization/v2.4.x/site/ko/adminGuide/configure-docker.md index 2b87858e6..8c1c5ce18 100644 --- a/localization/v2.4.x/site/ko/adminGuide/configure-docker.md +++ b/localization/v2.4.x/site/ko/adminGuide/configure-docker.md @@ -20,7 +20,7 @@ title: Docker Compose로 Milvus 구성하기 d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z" > -

                                                                                                                                                                                                                                                                                                                                                  이 항목에서는 Docker Compose로 Milvus 구성 요소와 해당 서드파티 종속성을 구성하는 방법을 설명합니다.

                                                                                                                                                                                                                                                                                                                                                  +

                                                                                                                                                                                                                                                                                                                                                  이 항목에서는 Docker Compose를 사용하여 Milvus 구성 요소 및 타사 종속성을 구성하는 방법에 대해 설명합니다.

                                                                                                                                                                                                                                                                                                                                                  현재 릴리스에서는 모든 매개변수가 Milvus를 재시작한 후에만 적용됩니다.

                                                                                                                                                                                                                                                                                                                                                  구성 파일 다운로드

                                                                                                                                                                                                                                                                                                                                                  milvus.yaml 을 직접다운로드하거나 다음 명령을 사용하여다운로드합니다.

                                                                                                                                                                                                                                                                                                                                                  -
                                                                                                                                                                                                                                                                                                                                                  $ wget https://raw.githubusercontent.com/milvus-io/milvus/v2.4.15/configs/milvus.yaml
                                                                                                                                                                                                                                                                                                                                                  +    

                                                                                                                                                                                                                                                                                                                                                  milvus.yaml 을 직접다운로드하거나 다음 명령을 사용하여다운로드합니다.

                                                                                                                                                                                                                                                                                                                                                  +
                                                                                                                                                                                                                                                                                                                                                  $ wget https://raw.githubusercontent.com/milvus-io/milvus/v2.4.17/configs/milvus.yaml
                                                                                                                                                                                                                                                                                                                                                   

                                                                                                                                                                                                                                                                                                                                                  구성 파일 수정하기

                                                                                                                                                                                                                                                                                                                                                  Milvus 스탠드얼론용 설치 파일을 다운로드하고 docker-compose.yml 에 저장합니다.

                                                                                                                                                                                                                                                                                                                                                  +

                                                                                                                                                                                                                                                                                                                                                  Milvus 스탠드얼론용 설치 파일을 다운로드하고 docker-compose.yml 에 저장합니다.

                                                                                                                                                                                                                                                                                                                                                  다음 명령을 간단히 실행할 수도 있습니다.

                                                                                                                                                                                                                                                                                                                                                  # For Milvus standalone
                                                                                                                                                                                                                                                                                                                                                  -$ wget https://github.com/milvus-io/milvus/releases/download/v2.4.15/milvus-standalone-docker-compose.yml -O docker-compose.yml
                                                                                                                                                                                                                                                                                                                                                  +$ wget https://github.com/milvus-io/milvus/releases/download/v2.4.17/milvus-standalone-docker-compose.yml -O docker-compose.yml
                                                                                                                                                                                                                                                                                                                                                   

                                                                                                                                                                                                                                                                                                                                                  설치 파일 수정하기

                                                                                                                                                                                                                                                                                                                                                  이 항목에서는 도커 컴포즈를 사용하여 Milvus를 업그레이드하는 방법을 설명합니다.

                                                                                                                                                                                                                                                                                                                                                  -

                                                                                                                                                                                                                                                                                                                                                  일반적인 경우, 이미지를 변경하여 Milvus를 업그레이드할 수 있습니다. 그러나 v2.1.x에서 v2.4.15로 업그레이드하기 전에 메타데이터를 마이그레이션해야 합니다.

                                                                                                                                                                                                                                                                                                                                                  +

                                                                                                                                                                                                                                                                                                                                                  일반적인 경우, 이미지를 변경하여 Milvus를 업그레이드할 수 있습니다. 그러나 v2.1.x에서 v2.4.17로 업그레이드하기 전에 메타데이터를 마이그레이션해야 합니다.

                                                                                                                                                                                                                                                                                                                                                  이미지를 변경하여 Milvus 업그레이드하기

                                                                                                                                                                                                                                                                                                                                                • 다음 명령을 실행하여 업그레이드를 수행합니다.

                                                                                                                                                                                                                                                                                                                                                  docker compose down
                                                                                                                                                                                                                                                                                                                                                  @@ -105,7 +105,7 @@ cmd:
                                                                                                                                                                                                                                                                                                                                                     runWithBackup: true
                                                                                                                                                                                                                                                                                                                                                   config:
                                                                                                                                                                                                                                                                                                                                                     sourceVersion: 2.1.4   # Specify your milvus version
                                                                                                                                                                                                                                                                                                                                                  -  targetVersion: 2.4.15
                                                                                                                                                                                                                                                                                                                                                  +  targetVersion: 2.4.17
                                                                                                                                                                                                                                                                                                                                                     backupFilePath: /tmp/migration.bak
                                                                                                                                                                                                                                                                                                                                                   metastore:
                                                                                                                                                                                                                                                                                                                                                     type: etcd
                                                                                                                                                                                                                                                                                                                                                  diff --git a/localization/v2.4.x/site/ko/adminGuide/upgrade_milvus_cluster-helm.json b/localization/v2.4.x/site/ko/adminGuide/upgrade_milvus_cluster-helm.json
                                                                                                                                                                                                                                                                                                                                                  index 6fb54ca8b..ff4d8f23b 100644
                                                                                                                                                                                                                                                                                                                                                  --- a/localization/v2.4.x/site/ko/adminGuide/upgrade_milvus_cluster-helm.json
                                                                                                                                                                                                                                                                                                                                                  +++ b/localization/v2.4.x/site/ko/adminGuide/upgrade_milvus_cluster-helm.json
                                                                                                                                                                                                                                                                                                                                                  @@ -1 +1 @@
                                                                                                                                                                                                                                                                                                                                                  -{"codeList":["$ helm repo update\n$ helm search repo zilliztech/milvus --versions\n","helm repo add zilliztech https://zilliztech.github.io/milvus-helm\nhelm repo update\n# upgrade existing helm release\nhelm upgrade my-release zilliztech/milvus\n","NAME                    CHART VERSION   APP VERSION             DESCRIPTION                                       \nzilliztech/milvus       4.1.34          2.4.5                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.33          2.4.4                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.32          2.4.3                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.31          2.4.1                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.30          2.4.1                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.29          2.4.0                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.24          2.3.11                  Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.23          2.3.10                  Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.22          2.3.10                  Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.21          2.3.10                  Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.20          2.3.10                  Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.18          2.3.10                  Milvus is an open-source vector database built ... \nzilliztech/milvus       4.1.18          2.3.9                   Milvus is an open-source vector database built ...                                       \nzilliztech/milvus       4.1.17          2.3.8                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.16          2.3.7                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.15          2.3.5                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.14          2.3.6                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.13          2.3.5                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.12          2.3.5                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.11          2.3.4                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.10          2.3.3                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.9           2.3.3                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.8           2.3.2                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.7           2.3.2                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.6           2.3.1                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.5           2.3.1                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.4           2.3.1                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.3           2.3.1                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.2           2.3.1                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.1           2.3.0                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.0           2.3.0                   Milvus is an open-source vector database built ...\n","sh rollingUpdate.sh -n default -i my-release -o update -t 2.4.15 -w 'milvusdb/milvus:v2.4.15'\n","helm repo update\nhelm upgrade my-release zilliztech/milvus --reuse-values --version=4.1.24 # use the helm chart version here\n","NAME                NAMESPACE   REVISION    UPDATED                                 STATUS      CHART           APP VERSION    \nnew-release         default     1           2022-11-21 15:41:25.51539 +0800 CST     deployed    milvus-3.2.18   2.1.4 \n","NAME                                             READY   STATUS      RESTARTS   AGE\nmy-release-etcd-0                               1/1     Running     0          21m\nmy-release-etcd-1                               1/1     Running     0          21m\nmy-release-etcd-2                               1/1     Running     0          21m\nmy-release-milvus-datacoord-664c58798d-fl75s    1/1     Running     0          21m\nmy-release-milvus-datanode-5f75686c55-xfg2r     1/1     Running     0          21m\nmy-release-milvus-indexcoord-5f98b97589-2l48r   1/1     Running     0          21m\nmy-release-milvus-indexnode-857b4ddf98-vmd75    1/1     Running     0          21m\nmy-release-milvus-proxy-6c548f787f-scspp        1/1     Running     0          21m\nmy-release-milvus-querycoord-c454f44cd-dwmwq    1/1     Running     0          21m\nmy-release-milvus-querynode-76bb4946d-lbrz6     1/1     Running     0          21m\nmy-release-milvus-rootcoord-7764c5b686-62msm    1/1     Running     0          21m\nmy-release-minio-0                              1/1     Running     0          21m\nmy-release-minio-1                              1/1     Running     0          21m\nmy-release-minio-2                              1/1     Running     0          21m\nmy-release-minio-3                              1/1     Running     0          21m\nmy-release-pulsar-bookie-0                      1/1     Running     0          21m\nmy-release-pulsar-bookie-1                      1/1     Running     0          21m\nmy-release-pulsar-bookie-2                      1/1     Running     0          21m\nmy-release-pulsar-bookie-init-tjxpj             0/1     Completed   0          21m\nmy-release-pulsar-broker-0                      1/1     Running     0          21m\nmy-release-pulsar-proxy-0                       1/1     Running     0          21m\nmy-release-pulsar-pulsar-init-c8vvc             0/1     Completed   0          21m\nmy-release-pulsar-recovery-0                    1/1     Running     0          21m\nmy-release-pulsar-zookeeper-0                   1/1     Running     0          21m\nmy-release-pulsar-zookeeper-1                   1/1     Running     0          20m\nmy-release-pulsar-zookeeper-2                   1/1     Running     0          20m\n","$ kubectl get pods my-release-milvus-proxy-6c548f787f-scspp -o=jsonpath='{$.spec.containers[0].image}'\n# milvusdb/milvus:v2.1.4\n","./migrate.sh -i my-release -s 2.1.4 -t 2.2.0\n","./migrate.sh -i my-release -n milvus -s 2.1.4 -t 2.2.0\n","./migrate.sh -i my-release -n milvus -s 2.1.4 -t 2.2.0 -r by-dev\n","./migrate.sh -i my-release -n milvus -s 2.1.4 -t 2.2.0 -r by-dev -w milvusdb/milvus:v2.2.0\n","./migrate.sh -i my-release -n milvus -s 2.1.4 -t 2.2.0 -w milvusdb/milvus:v2.2.0 -d true\n","./migrate.sh -i my-release -n milvus -s 2.1.4 -t 2.2.0 -r by-dev -o rollback -w milvusdb/milvus:v2.1.4\n./migrate.sh -i my-release -n milvus -s 2.1.4 -t 2.2.0 -r by-dev -o migrate -w milvusdb/milvus:v2.2.0\n"],"headingContent":"Upgrade Milvus Cluster with Helm Chart","anchorList":[{"label":"헬름 차트로 Milvus 클러스터 업그레이드하기","href":"Upgrade-Milvus-Cluster-with-Helm-Chart","type":1,"isActive":false},{"label":"밀버스 헬름 차트 확인","href":"Check-Milvus-Helm-Chart","type":2,"isActive":false},{"label":"롤링 업그레이드 수행","href":"Conduct-a-rolling-upgrade","type":2,"isActive":false},{"label":"헬름을 사용하여 밀버스 업그레이드","href":"Upgrade-Milvus-using-Helm","type":2,"isActive":false},{"label":"메타데이터 마이그레이션","href":"Migrate-the-metadata","type":2,"isActive":false}]}
                                                                                                                                                                                                                                                                                                                                                  \ No newline at end of file
                                                                                                                                                                                                                                                                                                                                                  +{"codeList":["$ helm repo update zilliztech\n$ helm search repo zilliztech/milvus --versions\n","helm repo add zilliztech https://zilliztech.github.io/milvus-helm\nhelm repo update\n# upgrade existing helm release\nhelm upgrade my-release zilliztech/milvus --reset-then-reuse-values\n","NAME                    CHART VERSION   APP VERSION             DESCRIPTION                                       \nzilliztech/milvus       4.1.34          2.4.5                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.33          2.4.4                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.32          2.4.3                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.31          2.4.1                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.30          2.4.1                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.29          2.4.0                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.24          2.3.11                  Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.23          2.3.10                  Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.22          2.3.10                  Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.21          2.3.10                  Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.20          2.3.10                  Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.18          2.3.10                  Milvus is an open-source vector database built ... \nzilliztech/milvus       4.1.18          2.3.9                   Milvus is an open-source vector database built ...                                       \nzilliztech/milvus       4.1.17          2.3.8                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.16          2.3.7                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.15          2.3.5                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.14          2.3.6                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.13          2.3.5                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.12          2.3.5                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.11          2.3.4                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.10          2.3.3                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.9           2.3.3                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.8           2.3.2                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.7           2.3.2                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.6           2.3.1                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.5           2.3.1                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.4           2.3.1                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.3           2.3.1                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.2           2.3.1                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.1           2.3.0                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.0           2.3.0                   Milvus is an open-source vector database built ...\n","sh rollingUpdate.sh -n default -i my-release -o update -t 2.4.17 -w 'milvusdb/milvus:v2.4.17'\n","helm repo update zilliztech\nhelm upgrade my-release zilliztech/milvus --reset-then-reuse-values --version=4.1.24 # use the helm chart version here\n","NAME                NAMESPACE   REVISION    UPDATED                                 STATUS      CHART           APP VERSION    \nnew-release         default     1           2022-11-21 15:41:25.51539 +0800 CST     deployed    milvus-3.2.18   2.1.4 \n","NAME                                             READY   STATUS      RESTARTS   AGE\nmy-release-etcd-0                               1/1     Running     0          21m\nmy-release-etcd-1                               1/1     Running     0          21m\nmy-release-etcd-2                               1/1     Running     0          21m\nmy-release-milvus-datacoord-664c58798d-fl75s    1/1     Running     0          21m\nmy-release-milvus-datanode-5f75686c55-xfg2r     1/1     Running     0          21m\nmy-release-milvus-indexcoord-5f98b97589-2l48r   1/1     Running     0          21m\nmy-release-milvus-indexnode-857b4ddf98-vmd75    1/1     Running     0          21m\nmy-release-milvus-proxy-6c548f787f-scspp        1/1     Running     0          21m\nmy-release-milvus-querycoord-c454f44cd-dwmwq    1/1     Running     0          21m\nmy-release-milvus-querynode-76bb4946d-lbrz6     1/1     Running     0          21m\nmy-release-milvus-rootcoord-7764c5b686-62msm    1/1     Running     0          21m\nmy-release-minio-0                              1/1     Running     0          21m\nmy-release-minio-1                              1/1     Running     0          21m\nmy-release-minio-2                              1/1     Running     0          21m\nmy-release-minio-3                              1/1     Running     0          21m\nmy-release-pulsar-bookie-0                      1/1     Running     0          21m\nmy-release-pulsar-bookie-1                      1/1     Running     0          21m\nmy-release-pulsar-bookie-2                      1/1     Running     0          21m\nmy-release-pulsar-bookie-init-tjxpj             0/1     Completed   0          21m\nmy-release-pulsar-broker-0                      1/1     Running     0          21m\nmy-release-pulsar-proxy-0                       1/1     Running     0          21m\nmy-release-pulsar-pulsar-init-c8vvc             0/1     Completed   0          21m\nmy-release-pulsar-recovery-0                    1/1     Running     0          21m\nmy-release-pulsar-zookeeper-0                   1/1     Running     0          21m\nmy-release-pulsar-zookeeper-1                   1/1     Running     0          20m\nmy-release-pulsar-zookeeper-2                   1/1     Running     0          20m\n","$ kubectl get pods my-release-milvus-proxy-6c548f787f-scspp -o=jsonpath='{$.spec.containers[0].image}'\n# milvusdb/milvus:v2.1.4\n","./migrate.sh -i my-release -s 2.1.4 -t 2.2.0\n","./migrate.sh -i my-release -n milvus -s 2.1.4 -t 2.2.0\n","./migrate.sh -i my-release -n milvus -s 2.1.4 -t 2.2.0 -r by-dev\n","./migrate.sh -i my-release -n milvus -s 2.1.4 -t 2.2.0 -r by-dev -w milvusdb/milvus:v2.2.0\n","./migrate.sh -i my-release -n milvus -s 2.1.4 -t 2.2.0 -w milvusdb/milvus:v2.2.0 -d true\n","./migrate.sh -i my-release -n milvus -s 2.1.4 -t 2.2.0 -r by-dev -o rollback -w milvusdb/milvus:v2.1.4\n./migrate.sh -i my-release -n milvus -s 2.1.4 -t 2.2.0 -r by-dev -o migrate -w milvusdb/milvus:v2.2.0\n"],"headingContent":"Upgrade Milvus Cluster with Helm Chart","anchorList":[{"label":"헬름 차트로 Milvus 클러스터 업그레이드하기","href":"Upgrade-Milvus-Cluster-with-Helm-Chart","type":1,"isActive":false},{"label":"전제 조건","href":"Prerequisites","type":2,"isActive":false},{"label":"밀버스 헬름 차트 확인","href":"Check-Milvus-Helm-Chart","type":2,"isActive":false},{"label":"롤링 업그레이드 수행","href":"Conduct-a-rolling-upgrade","type":2,"isActive":false},{"label":"헬름을 사용하여 밀버스 업그레이드","href":"Upgrade-Milvus-using-Helm","type":2,"isActive":false},{"label":"메타데이터 마이그레이션","href":"Migrate-the-metadata","type":2,"isActive":false}]}
                                                                                                                                                                                                                                                                                                                                                  \ No newline at end of file
                                                                                                                                                                                                                                                                                                                                                  diff --git a/localization/v2.4.x/site/ko/adminGuide/upgrade_milvus_cluster-helm.md b/localization/v2.4.x/site/ko/adminGuide/upgrade_milvus_cluster-helm.md
                                                                                                                                                                                                                                                                                                                                                  index 942d7af5a..148b54ea2 100644
                                                                                                                                                                                                                                                                                                                                                  --- a/localization/v2.4.x/site/ko/adminGuide/upgrade_milvus_cluster-helm.md
                                                                                                                                                                                                                                                                                                                                                  +++ b/localization/v2.4.x/site/ko/adminGuide/upgrade_milvus_cluster-helm.md
                                                                                                                                                                                                                                                                                                                                                  @@ -23,7 +23,29 @@ title: 헬름 차트로 Milvus 클러스터 업그레이드하기
                                                                                                                                                                                                                                                                                                                                                             d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
                                                                                                                                                                                                                                                                                                                                                           >
                                                                                                                                                                                                                                                                                                                                                         
                                                                                                                                                                                                                                                                                                                                                  -    

                                                                                                                                                                                                                                                                                                                                                  이 가이드는 밀버스 헬름 차트를 사용하여 밀버스 클러스터를 업그레이드하는 방법을 설명합니다.

                                                                                                                                                                                                                                                                                                                                                  +

                                                                                                                                                                                                                                                                                                                                                  이 가이드는 Milvus 헬름 차트를 사용하여 Milvus 클러스터를 업그레이드하는 방법을 설명합니다.

                                                                                                                                                                                                                                                                                                                                                  +

                                                                                                                                                                                                                                                                                                                                                  전제 조건

                                                                                                                                                                                                                                                                                                                                                    +
                                                                                                                                                                                                                                                                                                                                                  • 헬름 버전 >= 3.14.0
                                                                                                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                                                                                                  • 쿠버네티스 버전 >= 1.20.0
                                                                                                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                                                                                                  +
                                                                                                                                                                                                                                                                                                                                                  +

                                                                                                                                                                                                                                                                                                                                                  Milvus-Helm 차트 버전 4.2.21부터 pulsar-v3.x 차트를 종속성으로 도입했습니다. 이전 버전과의 호환성을 위해 헬름을 v3.14 이상 버전으로 업그레이드하고 helm upgrade 을 사용할 때마다 --reset-then-reuse-values 옵션을 추가하시기 바랍니다.

                                                                                                                                                                                                                                                                                                                                                  +

                                                                                                                                                                                                                                                                                                                                                  밀버스 헬름 차트 확인

                                                                                                                                                                                                                                                                                                                                                  다음 명령어를 실행하여 새로운 Milvus 버전을 확인합니다.

                                                                                                                                                                                                                                                                                                                                                  -
                                                                                                                                                                                                                                                                                                                                                  $ helm repo update
                                                                                                                                                                                                                                                                                                                                                  +    

                                                                                                                                                                                                                                                                                                                                                  다음 명령어를 실행하여 새로운 밀버스 버전을 확인한다.

                                                                                                                                                                                                                                                                                                                                                  +
                                                                                                                                                                                                                                                                                                                                                  $ helm repo update zilliztech
                                                                                                                                                                                                                                                                                                                                                   $ helm search repo zilliztech/milvus --versions
                                                                                                                                                                                                                                                                                                                                                   
                                                                                                                                                                                                                                                                                                                                                  @@ -48,7 +70,7 @@ $ helm search repo zilliztech/milvus --versions
                                                                                                                                                                                                                                                                                                                                                  helm repo add zilliztech https://zilliztech.github.io/milvus-helm
                                                                                                                                                                                                                                                                                                                                                   helm repo update
                                                                                                                                                                                                                                                                                                                                                   # upgrade existing helm release
                                                                                                                                                                                                                                                                                                                                                  -helm upgrade my-release zilliztech/milvus
                                                                                                                                                                                                                                                                                                                                                  +helm upgrade my-release zilliztech/milvus --reset-then-reuse-values
                                                                                                                                                                                                                                                                                                                                                   

                                                                                                                                                                                                                                                                                                                                                  보관된 리포지토리는 4.0.31까지의 차트에 대해 계속 사용할 수 있습니다. 이후 릴리스에서는 새 리포지토리를 사용하세요.

                                                                                                                                                                                                                                                                                                                                                  @@ -86,10 +108,10 @@ zilliztech/milvus 4.1.1 2.3.0 Milvus is an ope zilliztech/milvus 4.1.0 2.3.0 Milvus is an open-source vector database built ...

                                                                                                                                                                                                                                                                                                                                                  Milvus의 업그레이드 경로는 다음과 같이 선택할 수 있습니다:

                                                                                                                                                                                                                                                                                                                                                  -
                                                                                                                                                                                                                                                                                                                                                  - 밀버스 v2.2.3 이상 릴리스에서 v2.4.15로 [롤링 업그레이드 수행](#conduct-a-rolling-upgrade).
                                                                                                                                                                                                                                                                                                                                                  +
                                                                                                                                                                                                                                                                                                                                                  - 밀버스 v2.2.3 이상 릴리스에서 v2.4.17로 [롤링 업그레이드 수행](#conduct-a-rolling-upgrade).

                                                                                                                                                                                                                                                                                                                                                  롤링 업그레이드 수행

                                                                                                                                                                                                                                                                                                                                                • メトリック・タイプメトリックの種類 インデックスの種類
                                                                                                                                                                                                                                                                                                                                                  メトリックタイプインデックス・タイプインデックスの種類
                                                                                                                                                                                                                                                                                                                                                  指定されたインデックス・タイプの微調整パラメータ。指定可能なキーと値の範囲の詳細については、In-memory Indexを参照してください。指定されたインデックス・タイプの微調整パラメータ。指定可能なキーと値の範囲の詳細は、In-memory Indexを参照してください。
                                                                                                                                                                                                                                                                                                                                                  collection_name
                                                                                                                                                                                                                                                                                                                                                  o작업updateFalse
                                                                                                                                                                                                                                                                                                                                                  -

                                                                                                                                                                                                                                                                                                                                                  Milvus 인스턴스의 모든 배포가 정상 상태에 있는지 확인했습니다. 다음 명령을 실행하여 Milvus 인스턴스를 2.4.15로 업그레이드할 수 있습니다.

                                                                                                                                                                                                                                                                                                                                                  -
                                                                                                                                                                                                                                                                                                                                                  sh rollingUpdate.sh -n default -i my-release -o update -t 2.4.15 -w 'milvusdb/milvus:v2.4.15'
                                                                                                                                                                                                                                                                                                                                                  +

                                                                                                                                                                                                                                                                                                                                                  Milvus 인스턴스의 모든 배포가 정상 상태에 있는지 확인했습니다. 다음 명령을 실행하여 Milvus 인스턴스를 2.4.17로 업그레이드할 수 있습니다.

                                                                                                                                                                                                                                                                                                                                                  +
                                                                                                                                                                                                                                                                                                                                                  sh rollingUpdate.sh -n default -i my-release -o update -t 2.4.17 -w 'milvusdb/milvus:v2.4.17'
                                                                                                                                                                                                                                                                                                                                                   
                                                                                                                                                                                                                                                                                                                                                    @@ -150,8 +172,8 @@ zilliztech/milvus 4.1.0 2.3.0 Milvus is an ope >

                                                                                                                                                                                                                                                                                                                                                    밀버스를 v2.2.3 이전의 마이너 릴리스에서 최신 버전으로 업그레이드하려면 다음 명령을 실행한다:

                                                                                                                                                                                                                                                                                                                                                    -
                                                                                                                                                                                                                                                                                                                                                    helm repo update
                                                                                                                                                                                                                                                                                                                                                    -helm upgrade my-release zilliztech/milvus --reuse-values --version=4.1.24 # use the helm chart version here
                                                                                                                                                                                                                                                                                                                                                    +
                                                                                                                                                                                                                                                                                                                                                    helm repo update zilliztech
                                                                                                                                                                                                                                                                                                                                                    +helm upgrade my-release zilliztech/milvus --reset-then-reuse-values --version=4.1.24 # use the helm chart version here
                                                                                                                                                                                                                                                                                                                                                     

                                                                                                                                                                                                                                                                                                                                                    앞의 명령에서 헬름 차트 버전을 사용한다. 헬름 차트 버전을 구하는 방법에 대한 자세한 내용은 Milvus 버전 확인을 참조한다.

                                                                                                                                                                                                                                                                                                                                                    메타데이터 마이그레이션

                                                                                                                                                                                                                                                                                                                                                  2. Milvus를 v2.1.x에서 2.2.0으로 업그레이드합니다.

                                                                                                                                                                                                                                                                                                                                                  다음 명령은 Milvus를 v2.1.4에서 2.2.0으로 업그레이드한다고 가정합니다. 필요에 맞는 버전으로 변경하세요.

                                                                                                                                                                                                                                                                                                                                                    -
                                                                                                                                                                                                                                                                                                                                                  1. 밀버스 인스턴스 이름, 소스 밀버스 버전, 대상 밀버스 버전을 지정합니다.

                                                                                                                                                                                                                                                                                                                                                    +
                                                                                                                                                                                                                                                                                                                                                  2. Milvus 인스턴스 이름, 소스 Milvus 버전, 대상 Milvus 버전을 지정합니다.

                                                                                                                                                                                                                                                                                                                                                    ./migrate.sh -i my-release -s 2.1.4 -t 2.2.0
                                                                                                                                                                                                                                                                                                                                                     
                                                                                                                                                                                                                                                                                                                                                  3. Milvus가 기본 K8s 네임스페이스에 설치되지 않은 경우 -n 로 네임스페이스를 지정합니다.

                                                                                                                                                                                                                                                                                                                                                    diff --git a/localization/v2.4.x/site/ko/adminGuide/upgrade_milvus_cluster-operator.json b/localization/v2.4.x/site/ko/adminGuide/upgrade_milvus_cluster-operator.json index fdfe92071..ed87aa67d 100644 --- a/localization/v2.4.x/site/ko/adminGuide/upgrade_milvus_cluster-operator.json +++ b/localization/v2.4.x/site/ko/adminGuide/upgrade_milvus_cluster-operator.json @@ -1 +1 @@ -{"codeList":["helm repo add zilliztech-milvus-operator https://zilliztech.github.io/milvus-operator/\nhelm repo update zilliztech-milvus-operator\nhelm -n milvus-operator upgrade milvus-operator zilliztech-milvus-operator/milvus-operator\n","apiVersion: milvus.io/v1beta1\nkind: Milvus\nmetadata:\n name: my-release\nspec:\n components:\n enableRollingUpdate: true\n imageUpdateMode: rollingUpgrade # Default value, can be omitted\n image: milvusdb/milvus:v2.4.15\n","apiVersion: milvus.io/v1beta1\nkind: Milvus\nmetadata:\n name: my-release\nspec:\n components:\n enableRollingUpdate: true\n imageUpdateMode: all\n image: milvusdb/milvus:v2.4.15\n","apiVersion: milvus.io/v1beta1\nkind: Milvus\nmetadata:\n name: my-release\nspec:\n components:\n enableRollingUpdate: true\n imageUpdateMode: rollingDowngrade\n image: milvusdb/milvus:\n","kubectl apply -f milvusupgrade.yml\n","apiVersion: milvus.io/v1beta1\nkind: Milvus\nmetadata:\n name: my-release\nspec:\n # Omit other fields ...\n components:\n image: milvusdb/milvus:v2.4.15\n","kubectl apply -f milvusupgrade.yaml\n","apiVersion: milvus.io/v1beta1\nkind: MilvusUpgrade\nmetadata:\n name: my-release-upgrade\nspec:\n milvus:\n namespace: default\n name: my-release\n sourceVersion: \"v2.1.4\"\n targetVersion: \"v2.4.15\"\n # below are some omit default values:\n # targetImage: \"milvusdb/milvus:v2.4.15\"\n # toolImage: \"milvusdb/meta-migration:v2.2.0\"\n # operation: upgrade\n # rollbackIfFailed: true\n # backupPVC: \"\"\n # maxRetry: 3\n","$ kubectl apply -f https://github.com/zilliztech/milvus-operator/blob/main/config/samples/beta/milvusupgrade.yaml\n","kubectl describe milvus release-name\n"],"headingContent":"Upgrade Milvus Cluster with Milvus Operator","anchorList":[{"label":"밀버스 오퍼레이터로 밀버스 클러스터 업그레이드하기","href":"Upgrade-Milvus-Cluster-with-Milvus-Operator","type":1,"isActive":false},{"label":"Milvus 오퍼레이터 업그레이드","href":"Upgrade-your-Milvus-operator","type":2,"isActive":false},{"label":"롤링 업그레이드 수행","href":"Conduct-a-rolling-upgrade","type":2,"isActive":false},{"label":"이미지를 변경하여 Milvus 업그레이드하기","href":"Upgrade-Milvus-by-changing-its-image","type":2,"isActive":false},{"label":"메타데이터 마이그레이션","href":"Migrate-the-metadata","type":2,"isActive":false}]} \ No newline at end of file +{"codeList":["helm repo add zilliztech-milvus-operator https://zilliztech.github.io/milvus-operator/\nhelm repo update zilliztech-milvus-operator\nhelm -n milvus-operator upgrade milvus-operator zilliztech-milvus-operator/milvus-operator\n","apiVersion: milvus.io/v1beta1\nkind: Milvus\nmetadata:\n name: my-release\nspec:\n components:\n enableRollingUpdate: true\n imageUpdateMode: rollingUpgrade # Default value, can be omitted\n image: milvusdb/milvus:v2.4.17\n","apiVersion: milvus.io/v1beta1\nkind: Milvus\nmetadata:\n name: my-release\nspec:\n components:\n enableRollingUpdate: true\n imageUpdateMode: all\n image: milvusdb/milvus:v2.4.17\n","apiVersion: milvus.io/v1beta1\nkind: Milvus\nmetadata:\n name: my-release\nspec:\n components:\n enableRollingUpdate: true\n imageUpdateMode: rollingDowngrade\n image: milvusdb/milvus:\n","kubectl patch -f milvusupgrade.yml\n","apiVersion: milvus.io/v1beta1\nkind: Milvus\nmetadata:\n name: my-release\nspec:\n # Omit other fields ...\n components:\n image: milvusdb/milvus:v2.4.17\n","kubectl patch -f milvusupgrade.yaml\n","apiVersion: milvus.io/v1beta1\nkind: MilvusUpgrade\nmetadata:\n name: my-release-upgrade\nspec:\n milvus:\n namespace: default\n name: my-release\n sourceVersion: \"v2.1.4\"\n targetVersion: \"v2.4.17\"\n # below are some omit default values:\n # targetImage: \"milvusdb/milvus:v2.4.17\"\n # toolImage: \"milvusdb/meta-migration:v2.2.0\"\n # operation: upgrade\n # rollbackIfFailed: true\n # backupPVC: \"\"\n # maxRetry: 3\n","$ kubectl create -f https://github.com/zilliztech/milvus-operator/blob/main/config/samples/beta/milvusupgrade.yaml\n","kubectl describe milvus release-name\n"],"headingContent":"Upgrade Milvus Cluster with Milvus Operator","anchorList":[{"label":"밀버스 오퍼레이터로 밀버스 클러스터 업그레이드하기","href":"Upgrade-Milvus-Cluster-with-Milvus-Operator","type":1,"isActive":false},{"label":"Milvus 오퍼레이터 업그레이드","href":"Upgrade-your-Milvus-operator","type":2,"isActive":false},{"label":"롤링 업그레이드 수행","href":"Conduct-a-rolling-upgrade","type":2,"isActive":false},{"label":"이미지를 변경하여 Milvus 업그레이드","href":"Upgrade-Milvus-by-changing-its-image","type":2,"isActive":false},{"label":"메타데이터 마이그레이션","href":"Migrate-the-metadata","type":2,"isActive":false}]} \ No newline at end of file diff --git a/localization/v2.4.x/site/ko/adminGuide/upgrade_milvus_cluster-operator.md b/localization/v2.4.x/site/ko/adminGuide/upgrade_milvus_cluster-operator.md index 084bc7064..0947d1c27 100644 --- a/localization/v2.4.x/site/ko/adminGuide/upgrade_milvus_cluster-operator.md +++ b/localization/v2.4.x/site/ko/adminGuide/upgrade_milvus_cluster-operator.md @@ -46,9 +46,9 @@ helm -n milvus-operator upgrade milvus-

                                                                                                                                                                                                                                                                                                                                                  Milvus 운영자를 최신 버전으로 업그레이드한 후에는 다음과 같은 옵션을 선택할 수 있습니다:

                                                                                                                                                                                                                                                                                                                                                  롤링 업그레이드 수행

                                                                                                                                                                                                                                                                                                                                                  위의 구성 파일에서 spec.components.enableRollingUpdatetrue 으로 설정하고 spec.components.image 을 원하는 Milvus 버전으로 설정합니다.

                                                                                                                                                                                                                                                                                                                                                  기본적으로 Milvus는 코디네이터에 대한 롤링 업그레이드를 수행하여 코디네이터 포드 이미지를 차례로 교체하는 순서대로 진행합니다. 업그레이드 시간을 줄이려면 spec.components.imageUpdateModeall 으로 설정하여 Milvus가 모든 포드 이미지를 동시에 교체하도록 하세요.

                                                                                                                                                                                                                                                                                                                                                  @@ -88,7 +88,7 @@ spec: components: enableRollingUpdate: true imageUpdateMode: all - image: milvusdb/milvus:v2.4.15 + image: milvusdb/milvus:v2.4.17

                                                                                                                                                                                                                                                                                                                                                  spec.components.imageUpdateModerollingDowngrade 으로 설정하여 Milvus가 코디네이터 파드 이미지를 하위 버전으로 대체하도록 할 수 있습니다.

                                                                                                                                                                                                                                                                                                                                                  apiVersion: milvus.io/v1beta1
                                                                                                                                                                                                                                                                                                                                                  @@ -101,10 +101,10 @@ spec:
                                                                                                                                                                                                                                                                                                                                                       imageUpdateMode: rollingDowngrade
                                                                                                                                                                                                                                                                                                                                                       image: milvusdb/milvus:<some-old-version>
                                                                                                                                                                                                                                                                                                                                                   
                                                                                                                                                                                                                                                                                                                                                  -

                                                                                                                                                                                                                                                                                                                                                  그런 다음 구성을 YAML 파일(예: milvusupgrade.yml)로 저장하고 다음과 같이 이 구성 파일을 Milvus 인스턴스에 적용합니다:

                                                                                                                                                                                                                                                                                                                                                  -
                                                                                                                                                                                                                                                                                                                                                  kubectl apply -f milvusupgrade.yml
                                                                                                                                                                                                                                                                                                                                                  +

                                                                                                                                                                                                                                                                                                                                                  그런 다음 구성을 YAML 파일(예: milvusupgrade.yml)로 저장하고 다음과 같이 이 구성 파일을 Milvus 인스턴스에 패치합니다:

                                                                                                                                                                                                                                                                                                                                                  +
                                                                                                                                                                                                                                                                                                                                                  kubectl patch -f milvusupgrade.yml
                                                                                                                                                                                                                                                                                                                                                   
                                                                                                                                                                                                                                                                                                                                                  -

                                                                                                                                                                                                                                                                                                                                                  이미지를 변경하여 Milvus 업그레이드하기

                                                                                                                                                                                                                                                                                                                                                  그런 다음 다음을 실행하여 업그레이드를 수행합니다:

                                                                                                                                                                                                                                                                                                                                                  -
                                                                                                                                                                                                                                                                                                                                                  kubectl apply -f milvusupgrade.yaml
                                                                                                                                                                                                                                                                                                                                                  +
                                                                                                                                                                                                                                                                                                                                                  kubectl patch -f milvusupgrade.yaml
                                                                                                                                                                                                                                                                                                                                                   

                                                                                                                                                                                                                                                                                                                                                  메타데이터 마이그레이션

                                                                                                                                                                                                                                                                                                                                                  Milvus 2.2.0부터는 메타데이터가 이전 릴리즈의 메타데이터와 호환되지 않습니다. 다음 예제 코드 조각은 Milvus 2.1.4에서 Milvus 2.4.15로 업그레이드하는 경우를 가정합니다.

                                                                                                                                                                                                                                                                                                                                                  -

                                                                                                                                                                                                                                                                                                                                                  1. 메타데이터 마이그레이션을 위한 .yaml 파일 만들기

                                                                                                                                                                                                                                                                                                                                                  메타데이터 마이그레이션 파일을 만듭니다. 다음은 예시입니다. 구성 파일에 name, sourceVersion, targetVersion 을 지정해야 합니다. 다음 예에서는 namemy-release-upgrade 으로 , sourceVersionv2.1.4 으로 , targetVersionv2.4.15 으로 설정합니다. 즉, Milvus 클러스터가 v2.1.4에서 v2.4.15로 업그레이드됩니다.

                                                                                                                                                                                                                                                                                                                                                  +

                                                                                                                                                                                                                                                                                                                                                  Milvus 2.2.0부터는 메타데이터가 이전 릴리즈의 메타데이터와 호환되지 않습니다. 다음 예제 코드 조각은 Milvus 2.1.4에서 Milvus 2.4.17로 업그레이드하는 경우를 가정합니다.

                                                                                                                                                                                                                                                                                                                                                  +

                                                                                                                                                                                                                                                                                                                                                  1. 메타데이터 마이그레이션을 위한 .yaml 파일 만들기

                                                                                                                                                                                                                                                                                                                                                  메타데이터 마이그레이션 파일을 만듭니다. 다음은 예시입니다. 구성 파일에 name, sourceVersion, targetVersion 을 지정해야 합니다. 다음 예에서는 namemy-release-upgrade 으로 , sourceVersionv2.1.4 으로 , targetVersionv2.4.17 으로 설정합니다. 즉, Milvus 클러스터가 v2.1.4에서 v2.4.17로 업그레이드됩니다.

                                                                                                                                                                                                                                                                                                                                                  apiVersion: milvus.io/v1beta1
                                                                                                                                                                                                                                                                                                                                                   kind: MilvusUpgrade
                                                                                                                                                                                                                                                                                                                                                   metadata:
                                                                                                                                                                                                                                                                                                                                                  @@ -159,17 +159,17 @@ spec:
                                                                                                                                                                                                                                                                                                                                                       namespace: default
                                                                                                                                                                                                                                                                                                                                                       name: my-release
                                                                                                                                                                                                                                                                                                                                                     sourceVersion: "v2.1.4"
                                                                                                                                                                                                                                                                                                                                                  -  targetVersion: "v2.4.15"
                                                                                                                                                                                                                                                                                                                                                  +  targetVersion: "v2.4.17"
                                                                                                                                                                                                                                                                                                                                                     # below are some omit default values:
                                                                                                                                                                                                                                                                                                                                                  -  # targetImage: "milvusdb/milvus:v2.4.15"
                                                                                                                                                                                                                                                                                                                                                  +  # targetImage: "milvusdb/milvus:v2.4.17"
                                                                                                                                                                                                                                                                                                                                                     # toolImage: "milvusdb/meta-migration:v2.2.0"
                                                                                                                                                                                                                                                                                                                                                     # operation: upgrade
                                                                                                                                                                                                                                                                                                                                                     # rollbackIfFailed: true
                                                                                                                                                                                                                                                                                                                                                     # backupPVC: ""
                                                                                                                                                                                                                                                                                                                                                     # maxRetry: 3
                                                                                                                                                                                                                                                                                                                                                   
                                                                                                                                                                                                                                                                                                                                                  -

                                                                                                                                                                                                                                                                                                                                                  2. 새 구성 적용

                                                                                                                                                                                                                                                                                                                                                  다음 명령을 실행하여 새 구성을 적용합니다.

                                                                                                                                                                                                                                                                                                                                                  -
                                                                                                                                                                                                                                                                                                                                                  $ kubectl apply -f https://github.com/zilliztech/milvus-operator/blob/main/config/samples/beta/milvusupgrade.yaml
                                                                                                                                                                                                                                                                                                                                                  +

                                                                                                                                                                                                                                                                                                                                                  2. 새 구성 적용

                                                                                                                                                                                                                                                                                                                                                  다음 명령을 실행하여 새 구성을 생성합니다.

                                                                                                                                                                                                                                                                                                                                                  +
                                                                                                                                                                                                                                                                                                                                                  $ kubectl create -f https://github.com/zilliztech/milvus-operator/blob/main/config/samples/beta/milvusupgrade.yaml
                                                                                                                                                                                                                                                                                                                                                   

                                                                                                                                                                                                                                                                                                                                                  3. 메타데이터 마이그레이션 상태 확인

                                                                                                                                                                                                                                                                                                                                                  다음 명령을 실행하여 메타데이터 마이그레이션 상태를 확인합니다.

                                                                                                                                                                                                                                                                                                                                                  kubectl describe milvus release-name
                                                                                                                                                                                                                                                                                                                                                  diff --git a/localization/v2.4.x/site/ko/adminGuide/upgrade_milvus_standalone-docker.json b/localization/v2.4.x/site/ko/adminGuide/upgrade_milvus_standalone-docker.json
                                                                                                                                                                                                                                                                                                                                                  index dfb885de6..d24aa2387 100644
                                                                                                                                                                                                                                                                                                                                                  --- a/localization/v2.4.x/site/ko/adminGuide/upgrade_milvus_standalone-docker.json
                                                                                                                                                                                                                                                                                                                                                  +++ b/localization/v2.4.x/site/ko/adminGuide/upgrade_milvus_standalone-docker.json
                                                                                                                                                                                                                                                                                                                                                  @@ -1 +1 @@
                                                                                                                                                                                                                                                                                                                                                  -{"codeList":["...\nstandalone:\n  container_name: milvus-standalone\n  image: milvusdb/milvus:v2.4.15\n","docker compose down\ndocker compose up -d\n","docker stop \n","# migration.yaml\ncmd:\n  # Option: run/backup/rollback\n  type: run\n  runWithBackup: true\nconfig:\n  sourceVersion: 2.1.4   # Specify your milvus version\n  targetVersion: 2.4.15\n  backupFilePath: /tmp/migration.bak\nmetastore:\n  type: etcd\netcd:\n  endpoints:\n    - milvus-etcd:2379  # Use the etcd container name\n  rootPath: by-dev # The root path where data is stored in etcd\n  metaSubPath: meta\n  kvSubPath: kv\n","# Suppose your docker-compose run with the default milvus network,\n# and you put migration.yaml in the same directory with docker-compose.yaml.\ndocker run --rm -it --network milvus -v $(pwd)/migration.yaml:/milvus/configs/migration.yaml milvusdb/meta-migration:v2.2.0 /milvus/bin/meta-migration -config=/milvus/configs/migration.yaml\n","// Run the following only after update the milvus image tag in the docker-compose.yaml\ndocker compose down\ndocker compose up -d\n"],"headingContent":"Upgrade Milvus Standalone with Docker Compose","anchorList":[{"label":"Docker Compose로 Milvus 독립형 업그레이드하기","href":"Upgrade-Milvus-Standalone-with-Docker-Compose","type":1,"isActive":false},{"label":"이미지를 변경하여 Milvus 업그레이드","href":"Upgrade-Milvus-by-changing-its-image","type":2,"isActive":false},{"label":"메타데이터 마이그레이션","href":"Migrate-the-metadata","type":2,"isActive":false},{"label":"다음 단계","href":"Whats-next","type":2,"isActive":false}]}
                                                                                                                                                                                                                                                                                                                                                  \ No newline at end of file
                                                                                                                                                                                                                                                                                                                                                  +{"codeList":["...\nstandalone:\n  container_name: milvus-standalone\n  image: milvusdb/milvus:v2.4.17\n","docker compose down\ndocker compose up -d\n","docker stop \n","# migration.yaml\ncmd:\n  # Option: run/backup/rollback\n  type: run\n  runWithBackup: true\nconfig:\n  sourceVersion: 2.1.4   # Specify your milvus version\n  targetVersion: 2.4.17\n  backupFilePath: /tmp/migration.bak\nmetastore:\n  type: etcd\netcd:\n  endpoints:\n    - milvus-etcd:2379  # Use the etcd container name\n  rootPath: by-dev # The root path where data is stored in etcd\n  metaSubPath: meta\n  kvSubPath: kv\n","# Suppose your docker-compose run with the default milvus network,\n# and you put migration.yaml in the same directory with docker-compose.yaml.\ndocker run --rm -it --network milvus -v $(pwd)/migration.yaml:/milvus/configs/migration.yaml milvusdb/meta-migration:v2.2.0 /milvus/bin/meta-migration -config=/milvus/configs/migration.yaml\n","// Run the following only after update the milvus image tag in the docker-compose.yaml\ndocker compose down\ndocker compose up -d\n"],"headingContent":"Upgrade Milvus Standalone with Docker Compose","anchorList":[{"label":"Docker Compose로 Milvus 독립형 업그레이드하기","href":"Upgrade-Milvus-Standalone-with-Docker-Compose","type":1,"isActive":false},{"label":"이미지를 변경하여 Milvus 업그레이드","href":"Upgrade-Milvus-by-changing-its-image","type":2,"isActive":false},{"label":"메타데이터 마이그레이션","href":"Migrate-the-metadata","type":2,"isActive":false},{"label":"다음 단계","href":"Whats-next","type":2,"isActive":false}]}
                                                                                                                                                                                                                                                                                                                                                  \ No newline at end of file
                                                                                                                                                                                                                                                                                                                                                  diff --git a/localization/v2.4.x/site/ko/adminGuide/upgrade_milvus_standalone-docker.md b/localization/v2.4.x/site/ko/adminGuide/upgrade_milvus_standalone-docker.md
                                                                                                                                                                                                                                                                                                                                                  index f40c5bbbe..383b8cbed 100644
                                                                                                                                                                                                                                                                                                                                                  --- a/localization/v2.4.x/site/ko/adminGuide/upgrade_milvus_standalone-docker.md
                                                                                                                                                                                                                                                                                                                                                  +++ b/localization/v2.4.x/site/ko/adminGuide/upgrade_milvus_standalone-docker.md
                                                                                                                                                                                                                                                                                                                                                  @@ -24,7 +24,7 @@ title: Docker Compose로 Milvus 독립형 업그레이드하기
                                                                                                                                                                                                                                                                                                                                                           >
                                                                                                                                                                                                                                                                                                                                                         
                                                                                                                                                                                                                                                                                                                                                       

                                                                                                                                                                                                                                                                                                                                                  이 항목에서는 Docker Compose를 사용하여 Milvus를 업그레이드하는 방법을 설명합니다.

                                                                                                                                                                                                                                                                                                                                                  -

                                                                                                                                                                                                                                                                                                                                                  일반적인 경우, Milvus의 이미지를 변경하여 업그레이드할 수 있습니다. 그러나 v2.1.x에서 v2.4.15로 업그레이드하기 전에 메타데이터를 마이그레이션해야 합니다.

                                                                                                                                                                                                                                                                                                                                                  +

                                                                                                                                                                                                                                                                                                                                                  일반적인 경우에는 이미지를 변경하여 Milvus를 업그레이드할 수 있습니다. 그러나 v2.1.x에서 v2.4.17로 업그레이드하기 전에 메타데이터를 마이그레이션해야 합니다.

                                                                                                                                                                                                                                                                                                                                                  보안 문제로 인해 Milvus는 v2.2.5 릴리스와 함께 MinIO를 RELEASE.2023-03-20T20-16-18Z로 업그레이드합니다. Docker Compose를 사용하여 설치된 이전 Milvus 독립 실행형 릴리스에서 업그레이드하기 전에 단일 노드 단일 드라이브 MinIO 배포를 생성하고 기존 MinIO 설정 및 콘텐츠를 새 배포로 마이그레이션해야 합니다. 자세한 내용은 이 가이드를 참조하세요.

                                                                                                                                                                                                                                                                                                                                                  @@ -49,7 +49,7 @@ title: Docker Compose로 Milvus 독립형 업그레이드하기
                                                                                                                                                                                                                                                                                                                                                  ...
                                                                                                                                                                                                                                                                                                                                                   standalone:
                                                                                                                                                                                                                                                                                                                                                     container_name: milvus-standalone
                                                                                                                                                                                                                                                                                                                                                  -  image: milvusdb/milvus:v2.4.15
                                                                                                                                                                                                                                                                                                                                                  +  image: milvusdb/milvus:v2.4.17
                                                                                                                                                                                                                                                                                                                                                   
                                                                                                                                                                                                                                                                                                                                                • 다음 명령을 실행하여 업그레이드를 수행합니다.

                                                                                                                                                                                                                                                                                                                                                  docker compose down
                                                                                                                                                                                                                                                                                                                                                  @@ -83,7 +83,7 @@ cmd:
                                                                                                                                                                                                                                                                                                                                                     runWithBackup: true
                                                                                                                                                                                                                                                                                                                                                   config:
                                                                                                                                                                                                                                                                                                                                                     sourceVersion: 2.1.4   # Specify your milvus version
                                                                                                                                                                                                                                                                                                                                                  -  targetVersion: 2.4.15
                                                                                                                                                                                                                                                                                                                                                  +  targetVersion: 2.4.17
                                                                                                                                                                                                                                                                                                                                                     backupFilePath: /tmp/migration.bak
                                                                                                                                                                                                                                                                                                                                                   metastore:
                                                                                                                                                                                                                                                                                                                                                     type: etcd
                                                                                                                                                                                                                                                                                                                                                  diff --git a/localization/v2.4.x/site/ko/adminGuide/upgrade_milvus_standalone-helm.json b/localization/v2.4.x/site/ko/adminGuide/upgrade_milvus_standalone-helm.json
                                                                                                                                                                                                                                                                                                                                                  index 91655fce5..3ad7a67b7 100644
                                                                                                                                                                                                                                                                                                                                                  --- a/localization/v2.4.x/site/ko/adminGuide/upgrade_milvus_standalone-helm.json
                                                                                                                                                                                                                                                                                                                                                  +++ b/localization/v2.4.x/site/ko/adminGuide/upgrade_milvus_standalone-helm.json
                                                                                                                                                                                                                                                                                                                                                  @@ -1 +1 @@
                                                                                                                                                                                                                                                                                                                                                  -{"codeList":["$ helm repo update\n$ helm search repo zilliztech/milvus --versions\n","helm repo add zilliztech https://zilliztech.github.io/milvus-helm\nhelm repo update\n# upgrade existing helm release\nhelm upgrade my-release zilliztech/milvus\n","NAME                    CHART VERSION   APP VERSION             DESCRIPTION                                       \nzilliztech/milvus       4.1.34          2.4.5                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.33          2.4.4                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.32          2.4.3                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.31          2.4.1                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.30          2.4.1                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.29          2.4.0                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.24          2.3.11                  Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.23          2.3.10                  Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.22          2.3.10                  Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.21          2.3.10                  Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.20          2.3.10                  Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.18          2.3.10                  Milvus is an open-source vector database built ... \nzilliztech/milvus       4.1.18          2.3.9                   Milvus is an open-source vector database built ...                                       \nzilliztech/milvus       4.1.17          2.3.8                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.16          2.3.7                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.15          2.3.5                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.14          2.3.6                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.13          2.3.5                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.12          2.3.5                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.11          2.3.4                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.10          2.3.3                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.9           2.3.3                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.8           2.3.2                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.7           2.3.2                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.6           2.3.1                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.5           2.3.1                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.4           2.3.1                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.3           2.3.1                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.2           2.3.1                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.1           2.3.0                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.0           2.3.0                   Milvus is an open-source vector database built ...\n","sh rollingUpdate.sh -n default -i my-release -o update -t 2.4.15 -w 'milvusdb/milvus:v2.4.15'\n","helm repo update\nhelm upgrade my-release milvus/milvus --reuse-values --version=4.1.24 # use the helm chart version here\n","NAME                NAMESPACE   REVISION    UPDATED                                 STATUS      CHART           APP VERSION     \nmy-release          default     1           2022-11-21 15:41:25.51539 +0800 CST     deployed    milvus-3.2.18   2.1.4\n","NAME                                            READY   STATUS    RESTARTS   AGE\nmy-release-etcd-0                               1/1     Running   0          84s\nmy-release-milvus-standalone-75c599fffc-6rwlj   1/1     Running   0          84s\nmy-release-minio-744dd9586f-qngzv               1/1     Running   0          84s\n","$ kubectl get pods my-release-milvus-proxy-6c548f787f-scspp -o=jsonpath='{$.spec.containers[0].image}'\n# milvusdb/milvus:v2.1.4\n","./migrate.sh -i my-release -s 2.1.4 -t 2.4.15\n","./migrate.sh -i my-release -n milvus -s 2.1.4 -t 2.4.15\n","./migrate.sh -i my-release -n milvus -s 2.1.4 -t 2.4.15 -r by-dev\n","./migrate.sh -i my-release -n milvus -s 2.1.4 -t 2.4.15 -r by-dev -w milvusdb/milvus:v2.4.15\n","./migrate.sh -i my-release -n milvus -s 2.1.4 -t 2.4.15 -w milvusdb/milvus:v2.4.15 -d true\n","./migrate.sh -i my-release -n milvus -s 2.1.4 -t 2.4.15 -r by-dev -o rollback -w milvusdb/milvus:v2.1.1\n./migrate.sh -i my-release -n milvus -s 2.1.4 -t 2.4.15 -r by-dev -o migrate -w milvusdb/milvus:v2.4.15\n"],"headingContent":"Upgrade Milvus Standalone with Helm Chart","anchorList":[{"label":"헬름 차트로 Milvus 스탠드얼론 업그레이드하기","href":"Upgrade-Milvus-Standalone-with-Helm-Chart","type":1,"isActive":false},{"label":"Milvus 버전 확인","href":"Check-the-Milvus-version","type":2,"isActive":false},{"label":"롤링 업그레이드 수행","href":"Conduct-a-rolling-upgrade","type":2,"isActive":false},{"label":"헬름을 사용하여 밀버스 업그레이드","href":"Upgrade-Milvus-using-Helm","type":2,"isActive":false},{"label":"메타데이터 마이그레이션","href":"Migrate-the-metadata","type":2,"isActive":false}]}
                                                                                                                                                                                                                                                                                                                                                  \ No newline at end of file
                                                                                                                                                                                                                                                                                                                                                  +{"codeList":["$ helm repo update\n$ helm search repo zilliztech/milvus --versions\n","helm repo add zilliztech https://zilliztech.github.io/milvus-helm\nhelm repo update zilliztech\n# upgrade existing helm release\nhelm upgrade my-release zilliztech/milvus --reset-then-reuse-values\n","NAME                    CHART VERSION   APP VERSION             DESCRIPTION                                       \nzilliztech/milvus       4.1.34          2.4.5                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.33          2.4.4                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.32          2.4.3                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.31          2.4.1                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.30          2.4.1                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.29          2.4.0                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.24          2.3.11                  Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.23          2.3.10                  Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.22          2.3.10                  Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.21          2.3.10                  Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.20          2.3.10                  Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.18          2.3.10                  Milvus is an open-source vector database built ... \nzilliztech/milvus       4.1.18          2.3.9                   Milvus is an open-source vector database built ...                                       \nzilliztech/milvus       4.1.17          2.3.8                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.16          2.3.7                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.15          2.3.5                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.14          2.3.6                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.13          2.3.5                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.12          2.3.5                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.11          2.3.4                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.10          2.3.3                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.9           2.3.3                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.8           2.3.2                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.7           2.3.2                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.6           2.3.1                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.5           2.3.1                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.4           2.3.1                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.3           2.3.1                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.2           2.3.1                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.1           2.3.0                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.0           2.3.0                   Milvus is an open-source vector database built ...\n","sh rollingUpdate.sh -n default -i my-release -o update -t 2.4.17 -w 'milvusdb/milvus:v2.4.17'\n","helm repo update\nhelm upgrade my-release milvus/milvus --reset-then-reuse-values --version=4.1.24 # use the helm chart version here\n","NAME                NAMESPACE   REVISION    UPDATED                                 STATUS      CHART           APP VERSION     \nmy-release          default     1           2022-11-21 15:41:25.51539 +0800 CST     deployed    milvus-3.2.18   2.1.4\n","NAME                                            READY   STATUS    RESTARTS   AGE\nmy-release-etcd-0                               1/1     Running   0          84s\nmy-release-milvus-standalone-75c599fffc-6rwlj   1/1     Running   0          84s\nmy-release-minio-744dd9586f-qngzv               1/1     Running   0          84s\n","$ kubectl get pods my-release-milvus-proxy-6c548f787f-scspp -o=jsonpath='{$.spec.containers[0].image}'\n# milvusdb/milvus:v2.1.4\n","./migrate.sh -i my-release -s 2.1.4 -t 2.4.17\n","./migrate.sh -i my-release -n milvus -s 2.1.4 -t 2.4.17\n","./migrate.sh -i my-release -n milvus -s 2.1.4 -t 2.4.17 -r by-dev\n","./migrate.sh -i my-release -n milvus -s 2.1.4 -t 2.4.17 -r by-dev -w milvusdb/milvus:v2.4.17\n","./migrate.sh -i my-release -n milvus -s 2.1.4 -t 2.4.17 -w milvusdb/milvus:v2.4.17 -d true\n","./migrate.sh -i my-release -n milvus -s 2.1.4 -t 2.4.17 -r by-dev -o rollback -w milvusdb/milvus:v2.1.1\n./migrate.sh -i my-release -n milvus -s 2.1.4 -t 2.4.17 -r by-dev -o migrate -w milvusdb/milvus:v2.4.17\n"],"headingContent":"Upgrade Milvus Standalone with Helm Chart","anchorList":[{"label":"헬름 차트로 Milvus 스탠드얼론 업그레이드하기","href":"Upgrade-Milvus-Standalone-with-Helm-Chart","type":1,"isActive":false},{"label":"전제 조건","href":"Prerequisites","type":2,"isActive":false},{"label":"Milvus 버전 확인","href":"Check-the-Milvus-version","type":2,"isActive":false},{"label":"롤링 업그레이드 수행","href":"Conduct-a-rolling-upgrade","type":2,"isActive":false},{"label":"헬름을 사용하여 밀버스 업그레이드","href":"Upgrade-Milvus-using-Helm","type":2,"isActive":false},{"label":"메타데이터 마이그레이션","href":"Migrate-the-metadata","type":2,"isActive":false}]}
                                                                                                                                                                                                                                                                                                                                                  \ No newline at end of file
                                                                                                                                                                                                                                                                                                                                                  diff --git a/localization/v2.4.x/site/ko/adminGuide/upgrade_milvus_standalone-helm.md b/localization/v2.4.x/site/ko/adminGuide/upgrade_milvus_standalone-helm.md
                                                                                                                                                                                                                                                                                                                                                  index f59fb055b..ace7277a1 100644
                                                                                                                                                                                                                                                                                                                                                  --- a/localization/v2.4.x/site/ko/adminGuide/upgrade_milvus_standalone-helm.md
                                                                                                                                                                                                                                                                                                                                                  +++ b/localization/v2.4.x/site/ko/adminGuide/upgrade_milvus_standalone-helm.md
                                                                                                                                                                                                                                                                                                                                                  @@ -24,6 +24,28 @@ title: 헬름 차트로 Milvus 스탠드얼론 업그레이드하기
                                                                                                                                                                                                                                                                                                                                                           >
                                                                                                                                                                                                                                                                                                                                                         
                                                                                                                                                                                                                                                                                                                                                       

                                                                                                                                                                                                                                                                                                                                                  이 가이드는 Milvus 헬름 차트를 사용하여 Milvus 스탠드얼론을 업그레이드하는 방법을 설명합니다.

                                                                                                                                                                                                                                                                                                                                                  +

                                                                                                                                                                                                                                                                                                                                                  전제 조건

                                                                                                                                                                                                                                                                                                                                                    +
                                                                                                                                                                                                                                                                                                                                                  • 헬름 버전 >= 3.14.0
                                                                                                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                                                                                                  • 쿠버네티스 버전 >= 1.20.0
                                                                                                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                                                                                                  +
                                                                                                                                                                                                                                                                                                                                                  +

                                                                                                                                                                                                                                                                                                                                                  밀버스-헬름 차트 버전 4.2.21부터 pulsar-v3.x 차트를 종속 요소로 도입했습니다. 이전 버전과의 호환성을 위해 헬름을 v3.14 이상 버전으로 업그레이드하고 helm upgrade 을 사용할 때마다 --reset-then-reuse-values 옵션을 추가해야 한다.

                                                                                                                                                                                                                                                                                                                                                  +

                                                                                                                                                                                                                                                                                                                                                  Milvus 버전 확인

                                                                                                                                                                                                                                                                                                                                                  다음 명령어를 실행하여 새로운 Milvus 버전을 확인합니다.

                                                                                                                                                                                                                                                                                                                                                  +

                                                                                                                                                                                                                                                                                                                                                  다음 명령을 실행하여 새로운 Milvus 버전을 확인합니다.

                                                                                                                                                                                                                                                                                                                                                  $ helm repo update
                                                                                                                                                                                                                                                                                                                                                   $ helm search repo zilliztech/milvus --versions
                                                                                                                                                                                                                                                                                                                                                   
                                                                                                                                                                                                                                                                                                                                                  -

                                                                                                                                                                                                                                                                                                                                                  Milvus 헬름 차트 리포지토리( https://milvus-io.github.io/milvus-helm/ )는 아카이브되었으며, 다음과 같이 https://zilliztech.github.io/milvus-helm/ 에서 추가 업데이트를 받을 수 있습니다:

                                                                                                                                                                                                                                                                                                                                                  +

                                                                                                                                                                                                                                                                                                                                                  Milvus 헬름 차트 리포지토리( https://milvus-io.github.io/milvus-helm/ )가 아카이브되었으며, 다음과 같이 https://zilliztech.github.io/milvus-helm/ 에서 추가 업데이트를 받을 수 있습니다:

                                                                                                                                                                                                                                                                                                                                                  helm repo add zilliztech https://zilliztech.github.io/milvus-helm
                                                                                                                                                                                                                                                                                                                                                  -helm repo update
                                                                                                                                                                                                                                                                                                                                                  +helm repo update zilliztech
                                                                                                                                                                                                                                                                                                                                                   # upgrade existing helm release
                                                                                                                                                                                                                                                                                                                                                  -helm upgrade my-release zilliztech/milvus
                                                                                                                                                                                                                                                                                                                                                  +helm upgrade my-release zilliztech/milvus --reset-then-reuse-values
                                                                                                                                                                                                                                                                                                                                                   

                                                                                                                                                                                                                                                                                                                                                  보관된 리포지토리는 4.0.31까지의 차트에 대해 계속 사용할 수 있습니다. 이후 릴리스에서는 새 리포지토리를 사용하세요.

                                                                                                                                                                                                                                                                                                                                                  @@ -86,10 +108,10 @@ zilliztech/milvus 4.1.1 2.3.0 Milvus is an ope zilliztech/milvus 4.1.0 2.3.0 Milvus is an open-source vector database built ...

                                                                                                                                                                                                                                                                                                                                                  Milvus의 업그레이드 경로는 다음과 같이 선택할 수 있습니다:

                                                                                                                                                                                                                                                                                                                                                  -
                                                                                                                                                                                                                                                                                                                                                  - 밀버스 v2.2.3 이상 릴리스에서 v2.4.15로 [롤링 업그레이드 수행](#conduct-a-rolling-upgrade).
                                                                                                                                                                                                                                                                                                                                                  +
                                                                                                                                                                                                                                                                                                                                                  - 밀버스 v2.2.3 이상 릴리스에서 v2.4.17로 [롤링 업그레이드 수행](#conduct-a-rolling-upgrade).

                                                                                                                                                                                                                                                                                                                                                  롤링 업그레이드 수행

                                                                                                                                                                                                                                                                                                                                                  1. @@ -152,7 +174,7 @@ zilliztech/milvus 4.1.0 2.3.0 Milvus is an ope

                                                                                                                                                                                                                                                                                                                                                    밀버스를 v2.2.3 이전의 마이너 릴리스에서 최신 버전으로 업그레이드하려면 다음 명령을 실행한다:

                                                                                                                                                                                                                                                                                                                                                    helm repo update
                                                                                                                                                                                                                                                                                                                                                    -helm upgrade my-release milvus/milvus --reuse-values --version=4.1.24 # use the helm chart version here
                                                                                                                                                                                                                                                                                                                                                    +helm upgrade my-release milvus/milvus --reset-then-reuse-values --version=4.1.24 # use the helm chart version here
                                                                                                                                                                                                                                                                                                                                                     

                                                                                                                                                                                                                                                                                                                                                    앞의 명령에서 헬름 차트 버전을 사용한다. 헬름 차트 버전을 구하는 방법에 대한 자세한 내용은 Milvus 버전 확인을 참조한다.

                                                                                                                                                                                                                                                                                                                                                    메타데이터 마이그레이션

                                                                                                                                                                                                                                                                                                                                                  -

                                                                                                                                                                                                                                                                                                                                                  2. Milvus를 v2.1.x에서 2.4.15로 업그레이드합니다.

                                                                                                                                                                                                                                                                                                                                                  다음 명령은 Milvus를 v2.1.4에서 2.4.15로 업그레이드한다고 가정합니다. 필요에 맞는 버전으로 변경하세요.

                                                                                                                                                                                                                                                                                                                                                  +

                                                                                                                                                                                                                                                                                                                                                  2. Milvus를 v2.1.x에서 2.4.17로 업그레이드합니다.

                                                                                                                                                                                                                                                                                                                                                  다음 명령은 Milvus를 v2.1.4에서 2.4.17로 업그레이드한다고 가정합니다. 필요에 맞는 버전으로 변경하세요.

                                                                                                                                                                                                                                                                                                                                                  1. Milvus 인스턴스 이름, 소스 Milvus 버전, 대상 Milvus 버전을 지정합니다.

                                                                                                                                                                                                                                                                                                                                                    -
                                                                                                                                                                                                                                                                                                                                                    ./migrate.sh -i my-release -s 2.1.4 -t 2.4.15
                                                                                                                                                                                                                                                                                                                                                    +
                                                                                                                                                                                                                                                                                                                                                    ./migrate.sh -i my-release -s 2.1.4 -t 2.4.17
                                                                                                                                                                                                                                                                                                                                                     
                                                                                                                                                                                                                                                                                                                                                  2. Milvus가 기본 K8s 네임스페이스에 설치되지 않은 경우 -n 로 네임스페이스를 지정합니다.

                                                                                                                                                                                                                                                                                                                                                    -
                                                                                                                                                                                                                                                                                                                                                    ./migrate.sh -i my-release -n milvus -s 2.1.4 -t 2.4.15
                                                                                                                                                                                                                                                                                                                                                    +
                                                                                                                                                                                                                                                                                                                                                    ./migrate.sh -i my-release -n milvus -s 2.1.4 -t 2.4.17
                                                                                                                                                                                                                                                                                                                                                     
                                                                                                                                                                                                                                                                                                                                                  3. Milvus가 사용자 지정 rootpath 과 함께 설치된 경우 -r 으로 루트 경로를 지정합니다.

                                                                                                                                                                                                                                                                                                                                                    -
                                                                                                                                                                                                                                                                                                                                                    ./migrate.sh -i my-release -n milvus -s 2.1.4 -t 2.4.15 -r by-dev
                                                                                                                                                                                                                                                                                                                                                    +
                                                                                                                                                                                                                                                                                                                                                    ./migrate.sh -i my-release -n milvus -s 2.1.4 -t 2.4.17 -r by-dev
                                                                                                                                                                                                                                                                                                                                                     
                                                                                                                                                                                                                                                                                                                                                  4. Milvus가 사용자 지정 image 과 함께 설치된 경우 이미지 태그를 -w 으로 지정합니다.

                                                                                                                                                                                                                                                                                                                                                    -
                                                                                                                                                                                                                                                                                                                                                    ./migrate.sh -i my-release -n milvus -s 2.1.4 -t 2.4.15 -r by-dev -w milvusdb/milvus:v2.4.15
                                                                                                                                                                                                                                                                                                                                                    +
                                                                                                                                                                                                                                                                                                                                                    ./migrate.sh -i my-release -n milvus -s 2.1.4 -t 2.4.17 -r by-dev -w milvusdb/milvus:v2.4.17
                                                                                                                                                                                                                                                                                                                                                     
                                                                                                                                                                                                                                                                                                                                                  5. 마이그레이션이 완료된 후 마이그레이션 파드를 자동으로 제거하려면 -d true 을 설정합니다.

                                                                                                                                                                                                                                                                                                                                                    -
                                                                                                                                                                                                                                                                                                                                                    ./migrate.sh -i my-release -n milvus -s 2.1.4 -t 2.4.15 -w milvusdb/milvus:v2.4.15 -d true
                                                                                                                                                                                                                                                                                                                                                    +
                                                                                                                                                                                                                                                                                                                                                    ./migrate.sh -i my-release -n milvus -s 2.1.4 -t 2.4.17 -w milvusdb/milvus:v2.4.17 -d true
                                                                                                                                                                                                                                                                                                                                                     
                                                                                                                                                                                                                                                                                                                                                  6. 마이그레이션이 실패하면 롤백하고 다시 마이그레이션하세요.

                                                                                                                                                                                                                                                                                                                                                    -
                                                                                                                                                                                                                                                                                                                                                    ./migrate.sh -i my-release -n milvus -s 2.1.4 -t 2.4.15 -r by-dev -o rollback -w milvusdb/milvus:v2.1.1
                                                                                                                                                                                                                                                                                                                                                    -./migrate.sh -i my-release -n milvus -s 2.1.4 -t 2.4.15 -r by-dev -o migrate -w milvusdb/milvus:v2.4.15
                                                                                                                                                                                                                                                                                                                                                    +
                                                                                                                                                                                                                                                                                                                                                    ./migrate.sh -i my-release -n milvus -s 2.1.4 -t 2.4.17 -r by-dev -o rollback -w milvusdb/milvus:v2.1.1
                                                                                                                                                                                                                                                                                                                                                    +./migrate.sh -i my-release -n milvus -s 2.1.4 -t 2.4.17 -r by-dev -o migrate -w milvusdb/milvus:v2.4.17
                                                                                                                                                                                                                                                                                                                                                     
                                                                                                                                                                                                                                                                                                                                                  diff --git a/localization/v2.4.x/site/ko/adminGuide/upgrade_milvus_standalone-operator.json b/localization/v2.4.x/site/ko/adminGuide/upgrade_milvus_standalone-operator.json index d28e70320..0758f5f11 100644 --- a/localization/v2.4.x/site/ko/adminGuide/upgrade_milvus_standalone-operator.json +++ b/localization/v2.4.x/site/ko/adminGuide/upgrade_milvus_standalone-operator.json @@ -1 +1 @@ -{"codeList":["helm repo add zilliztech-milvus-operator https://zilliztech.github.io/milvus-operator/\nhelm repo update zilliztech-milvus-operator\nhelm -n milvus-operator upgrade milvus-operator zilliztech-milvus-operator/milvus-operator\n","apiVersion: milvus.io/v1beta1\nkind: Milvus\nmetadata:\n name: my-release\nspec:\n components:\n enableRollingUpdate: true\n imageUpdateMode: rollingUpgrade # Default value, can be omitted\n image: milvusdb/milvus:v2.4.15\n","apiVersion: milvus.io/v1beta1\nkind: Milvus\nmetadata:\n name: my-release\nspec:\n components:\n enableRollingUpdate: true\n imageUpdateMode: all\n image: milvusdb/milvus:v2.4.15\n","apiVersion: milvus.io/v1beta1\nkind: Milvus\nmetadata:\n name: my-release\nspec:\n components:\n enableRollingUpdate: true\n imageUpdateMode: rollingDowngrade\n image: milvusdb/milvus:\n","kubectl apply -f milvusupgrade.yml\n","apiVersion: milvus.io/v1beta1\nkind: Milvus\nmetadata:\n name: my-release\nlabels:\n app: milvus\nspec:\n # Omit other fields ...\n components:\n image: milvusdb/milvus:v2.4.15\n","kubectl apply -f milvusupgrade.yaml\n","apiVersion: milvus.io/v1beta1\nkind: MilvusUpgrade\nmetadata:\n name: my-release-upgrade\nspec:\n milvus:\n namespace: default\n name: my-release\n sourceVersion: \"v2.1.4\"\n targetVersion: \"v2.4.15\"\n # below are some omit default values:\n # targetImage: \"milvusdb/milvus:v2.4.15\"\n # toolImage: \"milvusdb/meta-migration:v2.2.0\"\n # operation: upgrade\n # rollbackIfFailed: true\n # backupPVC: \"\"\n # maxRetry: 3\n","$ kubectl apply -f https://raw.githubusercontent.com/zilliztech/milvus-operator/main/config/samples/milvusupgrade.yaml\n","kubectl describe milvus release-name\n"],"headingContent":"Upgrade Milvus Standalone with Milvus Operator","anchorList":[{"label":"Milvus 오퍼레이터로 Milvus 스탠드얼론 업그레이드하기","href":"Upgrade-Milvus-Standalone-with-Milvus-Operator","type":1,"isActive":false},{"label":"Milvus 오퍼레이터 업그레이드","href":"Upgrade-your-Milvus-operator","type":2,"isActive":false},{"label":"롤링 업그레이드 수행","href":"Conduct-a-rolling-upgrade","type":2,"isActive":false},{"label":"이미지를 변경하여 Milvus 업그레이드하기","href":"Upgrade-Milvus-by-changing-its-image","type":2,"isActive":false},{"label":"메타데이터 마이그레이션","href":"Migrate-the-metadata","type":2,"isActive":false}]} \ No newline at end of file +{"codeList":["helm repo add zilliztech-milvus-operator https://zilliztech.github.io/milvus-operator/\nhelm repo update zilliztech-milvus-operator\nhelm -n milvus-operator upgrade milvus-operator zilliztech-milvus-operator/milvus-operator\n","apiVersion: milvus.io/v1beta1\nkind: Milvus\nmetadata:\n name: my-release\nspec:\n components:\n enableRollingUpdate: true\n imageUpdateMode: rollingUpgrade # Default value, can be omitted\n image: milvusdb/milvus:v2.4.17\n","apiVersion: milvus.io/v1beta1\nkind: Milvus\nmetadata:\n name: my-release\nspec:\n components:\n enableRollingUpdate: true\n imageUpdateMode: all\n image: milvusdb/milvus:v2.4.17\n","apiVersion: milvus.io/v1beta1\nkind: Milvus\nmetadata:\n name: my-release\nspec:\n components:\n enableRollingUpdate: true\n imageUpdateMode: rollingDowngrade\n image: milvusdb/milvus:\n","kubectl patch -f milvusupgrade.yml\n","apiVersion: milvus.io/v1beta1\nkind: Milvus\nmetadata:\n name: my-release\nlabels:\n app: milvus\nspec:\n # Omit other fields ...\n components:\n image: milvusdb/milvus:v2.4.17\n","kubectl patch -f milvusupgrade.yaml\n","apiVersion: milvus.io/v1beta1\nkind: MilvusUpgrade\nmetadata:\n name: my-release-upgrade\nspec:\n milvus:\n namespace: default\n name: my-release\n sourceVersion: \"v2.1.4\"\n targetVersion: \"v2.4.17\"\n # below are some omit default values:\n # targetImage: \"milvusdb/milvus:v2.4.17\"\n # toolImage: \"milvusdb/meta-migration:v2.2.0\"\n # operation: upgrade\n # rollbackIfFailed: true\n # backupPVC: \"\"\n # maxRetry: 3\n","$ kubectl create -f https://raw.githubusercontent.com/zilliztech/milvus-operator/main/config/samples/milvusupgrade.yaml\n","kubectl describe milvus release-name\n"],"headingContent":"Upgrade Milvus Standalone with Milvus Operator","anchorList":[{"label":"Milvus 오퍼레이터로 Milvus 스탠드얼론 업그레이드하기","href":"Upgrade-Milvus-Standalone-with-Milvus-Operator","type":1,"isActive":false},{"label":"Milvus 오퍼레이터 업그레이드","href":"Upgrade-your-Milvus-operator","type":2,"isActive":false},{"label":"롤링 업그레이드 수행","href":"Conduct-a-rolling-upgrade","type":2,"isActive":false},{"label":"이미지를 변경하여 Milvus 업그레이드","href":"Upgrade-Milvus-by-changing-its-image","type":2,"isActive":false},{"label":"메타데이터 마이그레이션","href":"Migrate-the-metadata","type":2,"isActive":false}]} \ No newline at end of file diff --git a/localization/v2.4.x/site/ko/adminGuide/upgrade_milvus_standalone-operator.md b/localization/v2.4.x/site/ko/adminGuide/upgrade_milvus_standalone-operator.md index a7f495f64..65b337c13 100644 --- a/localization/v2.4.x/site/ko/adminGuide/upgrade_milvus_standalone-operator.md +++ b/localization/v2.4.x/site/ko/adminGuide/upgrade_milvus_standalone-operator.md @@ -23,7 +23,7 @@ title: Milvus 오퍼레이터로 Milvus 스탠드얼론 업그레이드하기 d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z" > -

                                                                                                                                                                                                                                                                                                                                                  이 가이드는 Milvus 오퍼레이터로 Milvus 스탠드얼론을 업그레이드하는 방법을 설명합니다.

                                                                                                                                                                                                                                                                                                                                                  +

                                                                                                                                                                                                                                                                                                                                                  이 가이드는 Milvus 운영자를 사용하여 Milvus 스탠드얼론을 업그레이드하는 방법을 설명합니다.

                                                                                                                                                                                                                                                                                                                                                  Milvus 오퍼레이터 업그레이드

                                                                                                                                                                                                                                                                                                                                                  Milvus 운영자를 최신 버전으로 업그레이드한 후에는 다음과 같은 옵션을 선택할 수 있습니다:

                                                                                                                                                                                                                                                                                                                                                  롤링 업그레이드 수행

                                                                                                                                                                                                                                                                                                                                                  위의 구성 파일에서 spec.components.enableRollingUpdatetrue 으로 설정하고 spec.components.image 을 원하는 Milvus 버전으로 설정합니다.

                                                                                                                                                                                                                                                                                                                                                  기본적으로 Milvus는 코디네이터에 대해 순차적으로 롤링 업그레이드를 수행하여 코디네이터 포드 이미지를 차례로 교체합니다. 업그레이드 시간을 줄이려면 spec.components.imageUpdateModeall 으로 설정하여 Milvus가 모든 포드 이미지를 동시에 교체하도록 하세요.

                                                                                                                                                                                                                                                                                                                                                  @@ -88,7 +88,7 @@ spec: components: enableRollingUpdate: true imageUpdateMode: all - image: milvusdb/milvus:v2.4.15 + image: milvusdb/milvus:v2.4.17

                                                                                                                                                                                                                                                                                                                                                  spec.components.imageUpdateModerollingDowngrade 으로 설정하여 Milvus가 코디네이터 파드 이미지를 하위 버전으로 대체하도록 할 수 있습니다.

                                                                                                                                                                                                                                                                                                                                                  apiVersion: milvus.io/v1beta1
                                                                                                                                                                                                                                                                                                                                                  @@ -101,10 +101,10 @@ spec:
                                                                                                                                                                                                                                                                                                                                                       imageUpdateMode: rollingDowngrade
                                                                                                                                                                                                                                                                                                                                                       image: milvusdb/milvus:<some-older-version>
                                                                                                                                                                                                                                                                                                                                                   
                                                                                                                                                                                                                                                                                                                                                  -

                                                                                                                                                                                                                                                                                                                                                  그런 다음 구성을 YAML 파일(예: milvusupgrade.yml)로 저장하고 다음과 같이 이 구성 파일을 Milvus 인스턴스에 적용합니다:

                                                                                                                                                                                                                                                                                                                                                  -
                                                                                                                                                                                                                                                                                                                                                  kubectl apply -f milvusupgrade.yml
                                                                                                                                                                                                                                                                                                                                                  +

                                                                                                                                                                                                                                                                                                                                                  그런 다음 구성을 YAML 파일(예: milvusupgrade.yml)로 저장하고 다음과 같이 이 구성 파일을 Milvus 인스턴스에 패치합니다:

                                                                                                                                                                                                                                                                                                                                                  +
                                                                                                                                                                                                                                                                                                                                                  kubectl patch -f milvusupgrade.yml
                                                                                                                                                                                                                                                                                                                                                   
                                                                                                                                                                                                                                                                                                                                                  -

                                                                                                                                                                                                                                                                                                                                                  이미지를 변경하여 Milvus 업그레이드하기

                                                                                                                                                                                                                                                                                                                                                  그런 다음 다음을 실행하여 업그레이드를 수행합니다:

                                                                                                                                                                                                                                                                                                                                                  -
                                                                                                                                                                                                                                                                                                                                                  kubectl apply -f milvusupgrade.yaml
                                                                                                                                                                                                                                                                                                                                                  +
                                                                                                                                                                                                                                                                                                                                                  kubectl patch -f milvusupgrade.yaml
                                                                                                                                                                                                                                                                                                                                                   

                                                                                                                                                                                                                                                                                                                                                  메타데이터 마이그레이션

                                                                                                                                                                                                                                                                                                                                                  Milvus 2.2.0부터는 메타데이터가 이전 릴리즈의 메타데이터와 호환되지 않습니다. 다음 예제 코드 조각은 Milvus 2.1.4에서 Milvus v2.4.15로 업그레이드하는 경우를 가정합니다.

                                                                                                                                                                                                                                                                                                                                                  -

                                                                                                                                                                                                                                                                                                                                                  1. 메타데이터 마이그레이션을 위한 .yaml 파일 만들기

                                                                                                                                                                                                                                                                                                                                                  메타데이터 마이그레이션 파일을 만듭니다. 다음은 예시입니다. 설정 파일에 name, sourceVersion, targetVersion 을 지정해야 합니다. 다음 예에서는 namemy-release-upgrade 으로 , sourceVersionv2.1.4 으로 , targetVersionv2.4.15 으로 설정합니다. 즉, Milvus 인스턴스가 v2.1.4에서 v2.4.15로 업그레이드됩니다.

                                                                                                                                                                                                                                                                                                                                                  +

                                                                                                                                                                                                                                                                                                                                                  Milvus 2.2.0부터는 메타데이터가 이전 릴리즈의 메타데이터와 호환되지 않습니다. 다음 예제 코드 조각은 Milvus 2.1.4에서 Milvus v2.4.17로 업그레이드하는 경우를 가정합니다.

                                                                                                                                                                                                                                                                                                                                                  +

                                                                                                                                                                                                                                                                                                                                                  1. 메타데이터 마이그레이션을 위한 .yaml 파일 만들기

                                                                                                                                                                                                                                                                                                                                                  메타데이터 마이그레이션 파일을 만듭니다. 다음은 예시입니다. 설정 파일에 name, sourceVersion, targetVersion 을 지정해야 합니다. 다음 예에서는 namemy-release-upgrade 으로 , sourceVersionv2.1.4 으로 , targetVersionv2.4.17 으로 설정합니다. 즉, Milvus 인스턴스가 v2.1.4에서 v2.4.17로 업그레이드됩니다.

                                                                                                                                                                                                                                                                                                                                                  apiVersion: milvus.io/v1beta1
                                                                                                                                                                                                                                                                                                                                                   kind: MilvusUpgrade
                                                                                                                                                                                                                                                                                                                                                   metadata:
                                                                                                                                                                                                                                                                                                                                                  @@ -161,9 +161,9 @@ spec:
                                                                                                                                                                                                                                                                                                                                                       namespace: default
                                                                                                                                                                                                                                                                                                                                                       name: my-release
                                                                                                                                                                                                                                                                                                                                                     sourceVersion: "v2.1.4"
                                                                                                                                                                                                                                                                                                                                                  -  targetVersion: "v2.4.15"
                                                                                                                                                                                                                                                                                                                                                  +  targetVersion: "v2.4.17"
                                                                                                                                                                                                                                                                                                                                                     # below are some omit default values:
                                                                                                                                                                                                                                                                                                                                                  -  # targetImage: "milvusdb/milvus:v2.4.15"
                                                                                                                                                                                                                                                                                                                                                  +  # targetImage: "milvusdb/milvus:v2.4.17"
                                                                                                                                                                                                                                                                                                                                                     # toolImage: "milvusdb/meta-migration:v2.2.0"
                                                                                                                                                                                                                                                                                                                                                     # operation: upgrade
                                                                                                                                                                                                                                                                                                                                                     # rollbackIfFailed: true
                                                                                                                                                                                                                                                                                                                                                  @@ -171,7 +171,7 @@ spec:
                                                                                                                                                                                                                                                                                                                                                     # maxRetry: 3
                                                                                                                                                                                                                                                                                                                                                   

                                                                                                                                                                                                                                                                                                                                                  2. 새 구성 적용

                                                                                                                                                                                                                                                                                                                                                  다음 명령을 실행하여 새 구성을 적용합니다.

                                                                                                                                                                                                                                                                                                                                                  -
                                                                                                                                                                                                                                                                                                                                                  $ kubectl apply -f https://raw.githubusercontent.com/zilliztech/milvus-operator/main/config/samples/milvusupgrade.yaml
                                                                                                                                                                                                                                                                                                                                                  +
                                                                                                                                                                                                                                                                                                                                                  $ kubectl create -f https://raw.githubusercontent.com/zilliztech/milvus-operator/main/config/samples/milvusupgrade.yaml
                                                                                                                                                                                                                                                                                                                                                   

                                                                                                                                                                                                                                                                                                                                                  3. 메타데이터 마이그레이션 상태 확인

                                                                                                                                                                                                                                                                                                                                                  다음 명령을 실행하여 메타데이터 마이그레이션 상태를 확인합니다.

                                                                                                                                                                                                                                                                                                                                                  kubectl describe milvus release-name
                                                                                                                                                                                                                                                                                                                                                  diff --git a/localization/v2.4.x/site/ko/getstarted/run-milvus-docker/install_standalone-docker-compose.json b/localization/v2.4.x/site/ko/getstarted/run-milvus-docker/install_standalone-docker-compose.json
                                                                                                                                                                                                                                                                                                                                                  index f48094551..8a66c2460 100644
                                                                                                                                                                                                                                                                                                                                                  --- a/localization/v2.4.x/site/ko/getstarted/run-milvus-docker/install_standalone-docker-compose.json
                                                                                                                                                                                                                                                                                                                                                  +++ b/localization/v2.4.x/site/ko/getstarted/run-milvus-docker/install_standalone-docker-compose.json
                                                                                                                                                                                                                                                                                                                                                  @@ -1 +1 @@
                                                                                                                                                                                                                                                                                                                                                  -{"codeList":["# Download the configuration file\n$ wget https://github.com/milvus-io/milvus/releases/download/v2.4.15/milvus-standalone-docker-compose.yml -O docker-compose.yml\n\n# Start Milvus\n$ sudo docker-compose up -d\n\nCreating milvus-etcd  ... done\nCreating milvus-minio ... done\nCreating milvus-standalone ... done\n","$ sudo docker-compose ps\n\n      Name                     Command                  State                            Ports\n--------------------------------------------------------------------------------------------------------------------\nmilvus-etcd         etcd -advertise-client-url ...   Up             2379/tcp, 2380/tcp\nmilvus-minio        /usr/bin/docker-entrypoint ...   Up (healthy)   9000/tcp\nmilvus-standalone   /tini -- milvus run standalone   Up             0.0.0.0:19530->19530/tcp, 0.0.0.0:9091->9091/tcp\n","# Stop Milvus\n$ sudo docker-compose down\n\n# Delete service data\n$ sudo rm -rf volumes\n"],"headingContent":"Run Milvus with Docker Compose","anchorList":[{"label":"Docker Compose로 Milvus 실행하기","href":"Run-Milvus-with-Docker-Compose","type":1,"isActive":false},{"label":"전제 조건","href":"Prerequisites","type":2,"isActive":false},{"label":"Milvus 설치","href":"Install-Milvus","type":2,"isActive":false},{"label":"다음 단계","href":"Whats-next","type":2,"isActive":false}]}
                                                                                                                                                                                                                                                                                                                                                  \ No newline at end of file
                                                                                                                                                                                                                                                                                                                                                  +{"codeList":["# Download the configuration file\n$ wget https://github.com/milvus-io/milvus/releases/download/v2.4.17/milvus-standalone-docker-compose.yml -O docker-compose.yml\n\n# Start Milvus\n$ sudo docker-compose up -d\n\nCreating milvus-etcd  ... done\nCreating milvus-minio ... done\nCreating milvus-standalone ... done\n","$ sudo docker-compose ps\n\n      Name                     Command                  State                            Ports\n--------------------------------------------------------------------------------------------------------------------\nmilvus-etcd         etcd -advertise-client-url ...   Up             2379/tcp, 2380/tcp\nmilvus-minio        /usr/bin/docker-entrypoint ...   Up (healthy)   9000/tcp\nmilvus-standalone   /tini -- milvus run standalone   Up             0.0.0.0:19530->19530/tcp, 0.0.0.0:9091->9091/tcp\n","# Stop Milvus\n$ sudo docker-compose down\n\n# Delete service data\n$ sudo rm -rf volumes\n"],"headingContent":"Run Milvus with Docker Compose","anchorList":[{"label":"Docker Compose로 Milvus 실행하기","href":"Run-Milvus-with-Docker-Compose","type":1,"isActive":false},{"label":"전제 조건","href":"Prerequisites","type":2,"isActive":false},{"label":"Milvus 설치","href":"Install-Milvus","type":2,"isActive":false},{"label":"다음 단계","href":"Whats-next","type":2,"isActive":false}]}
                                                                                                                                                                                                                                                                                                                                                  \ No newline at end of file
                                                                                                                                                                                                                                                                                                                                                  diff --git a/localization/v2.4.x/site/ko/getstarted/run-milvus-docker/install_standalone-docker-compose.md b/localization/v2.4.x/site/ko/getstarted/run-milvus-docker/install_standalone-docker-compose.md
                                                                                                                                                                                                                                                                                                                                                  index 68a1367ef..86bcb6c22 100644
                                                                                                                                                                                                                                                                                                                                                  --- a/localization/v2.4.x/site/ko/getstarted/run-milvus-docker/install_standalone-docker-compose.md
                                                                                                                                                                                                                                                                                                                                                  +++ b/localization/v2.4.x/site/ko/getstarted/run-milvus-docker/install_standalone-docker-compose.md
                                                                                                                                                                                                                                                                                                                                                  @@ -57,7 +57,7 @@ title: Docker Compose로 Milvus 실행하기
                                                                                                                                                                                                                                                                                                                                                         
                                                                                                                                                                                                                                                                                                                                                       

                                                                                                                                                                                                                                                                                                                                                  Milvus는 Milvus 리포지토리에 Docker Compose 구성 파일을 제공합니다. Docker Compose를 사용하여 Milvus를 설치하려면 다음을 실행하세요.

                                                                                                                                                                                                                                                                                                                                                  # Download the configuration file
                                                                                                                                                                                                                                                                                                                                                  -$ wget https://github.com/milvus-io/milvus/releases/download/v2.4.15/milvus-standalone-docker-compose.yml -O docker-compose.yml
                                                                                                                                                                                                                                                                                                                                                  +$ wget https://github.com/milvus-io/milvus/releases/download/v2.4.17/milvus-standalone-docker-compose.yml -O docker-compose.yml
                                                                                                                                                                                                                                                                                                                                                   
                                                                                                                                                                                                                                                                                                                                                   # Start Milvus
                                                                                                                                                                                                                                                                                                                                                   $ sudo docker-compose up -d
                                                                                                                                                                                                                                                                                                                                                  @@ -134,5 +134,5 @@ $ sudo rm
                                                                                                                                                                                                                                                                                                                                                   
                                                                                                                                                                                                                                                                                                                                                • Milvus 데이터 백업을 위한 오픈 소스 도구인 Milvus Backup을 살펴보세요.

                                                                                                                                                                                                                                                                                                                                                • Milvus 디버깅 및 동적 구성 업데이트를 위한 오픈 소스 도구인 Birdwatcher를 살펴보세요.

                                                                                                                                                                                                                                                                                                                                                • 직관적인 Milvus 관리를 위한 오픈 소스 GUI 도구인 Attu를 살펴보세요.

                                                                                                                                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                                                                                                                                • Prometheus로 Milvus 모니터링하기.

                                                                                                                                                                                                                                                                                                                                                • +
                                                                                                                                                                                                                                                                                                                                                • Prometheus로 Milvus 모니터링.

                                                                                                                                                                                                                                                                                                                                                diff --git a/localization/v2.4.x/site/ko/getstarted/run-milvus-gpu/install_standalone-docker-compose-gpu.json b/localization/v2.4.x/site/ko/getstarted/run-milvus-gpu/install_standalone-docker-compose-gpu.json index d0e004398..b23715587 100644 --- a/localization/v2.4.x/site/ko/getstarted/run-milvus-gpu/install_standalone-docker-compose-gpu.json +++ b/localization/v2.4.x/site/ko/getstarted/run-milvus-gpu/install_standalone-docker-compose-gpu.json @@ -1 +1 @@ -{"codeList":["$ wget https://github.com/milvus-io/milvus/releases/download/v2.4.15/milvus-standalone-docker-compose-gpu.yml -O docker-compose.yml\n","...\nstandalone:\n ...\n deploy:\n resources:\n reservations:\n devices:\n - driver: nvidia\n capabilities: [\"gpu\"]\n device_ids: [\"0\"]\n...\n","...\nstandalone:\n ...\n deploy:\n resources:\n reservations:\n devices:\n - driver: nvidia\n capabilities: [\"gpu\"]\n device_ids: ['0', '1']\n...\n","$ sudo docker compose up -d\n\nCreating milvus-etcd ... done\nCreating milvus-minio ... done\nCreating milvus-standalone ... done\n","$ sudo docker compose ps\n\n Name Command State Ports\n--------------------------------------------------------------------------------------------------------------------\nmilvus-etcd etcd -advertise-client-url ... Up 2379/tcp, 2380/tcp\nmilvus-minio /usr/bin/docker-entrypoint ... Up (healthy) 9000/tcp\nmilvus-standalone /tini -- milvus run standalone Up 0.0.0.0:19530->19530/tcp, 0.0.0.0:9091->9091/tcp\n","$ CUDA_VISIBLE_DEVICES=0 ./milvus run standalone\n","$ CUDA_VISIBLE_DEVICES=0,1 ./milvus run standalone\n","# Stop Milvus\n$ sudo docker compose down\n\n# Delete service data\n$ sudo rm -rf volumes\n","docker cp :/milvus/configs/milvus.yaml milvus.yaml\n","vim milvus.yaml\n","...\ngpu:\n initMemSize: 0\n maxMemSize: 0\n...\n","docker cp milvus.yaml :/milvus/configs/milvus.yaml\n","docker stop \ndocker start \n"],"headingContent":"Run Milvus with GPU Support Using Docker Compose","anchorList":[{"label":"도커 컴포즈를 사용하여 GPU 지원으로 Milvus 실행하기","href":"Run-Milvus-with-GPU-Support-Using-Docker-Compose","type":1,"isActive":false},{"label":"전제 조건","href":"Prerequisites","type":2,"isActive":false},{"label":"Milvus 설치하기","href":"Install-Milvus","type":2,"isActive":false},{"label":"메모리 풀 구성","href":"Configure-memory-pool","type":2,"isActive":false},{"label":"다음 단계","href":"Whats-next","type":2,"isActive":false}]} \ No newline at end of file +{"codeList":["$ wget https://github.com/milvus-io/milvus/releases/download/v2.4.17/milvus-standalone-docker-compose-gpu.yml -O docker-compose.yml\n","...\nstandalone:\n ...\n deploy:\n resources:\n reservations:\n devices:\n - driver: nvidia\n capabilities: [\"gpu\"]\n device_ids: [\"0\"]\n...\n","...\nstandalone:\n ...\n deploy:\n resources:\n reservations:\n devices:\n - driver: nvidia\n capabilities: [\"gpu\"]\n device_ids: ['0', '1']\n...\n","$ sudo docker compose up -d\n\nCreating milvus-etcd ... done\nCreating milvus-minio ... done\nCreating milvus-standalone ... done\n","$ sudo docker compose ps\n\n Name Command State Ports\n--------------------------------------------------------------------------------------------------------------------\nmilvus-etcd etcd -advertise-client-url ... Up 2379/tcp, 2380/tcp\nmilvus-minio /usr/bin/docker-entrypoint ... Up (healthy) 9000/tcp\nmilvus-standalone /tini -- milvus run standalone Up 0.0.0.0:19530->19530/tcp, 0.0.0.0:9091->9091/tcp\n","$ CUDA_VISIBLE_DEVICES=0 ./milvus run standalone\n","$ CUDA_VISIBLE_DEVICES=0,1 ./milvus run standalone\n","# Stop Milvus\n$ sudo docker compose down\n\n# Delete service data\n$ sudo rm -rf volumes\n","docker cp :/milvus/configs/milvus.yaml milvus.yaml\n","vim milvus.yaml\n","...\ngpu:\n initMemSize: 0\n maxMemSize: 0\n...\n","docker cp milvus.yaml :/milvus/configs/milvus.yaml\n","docker stop \ndocker start \n"],"headingContent":"Run Milvus with GPU Support Using Docker Compose","anchorList":[{"label":"도커 컴포즈를 사용하여 GPU 지원으로 Milvus 실행하기","href":"Run-Milvus-with-GPU-Support-Using-Docker-Compose","type":1,"isActive":false},{"label":"전제 조건","href":"Prerequisites","type":2,"isActive":false},{"label":"Milvus 설치하기","href":"Install-Milvus","type":2,"isActive":false},{"label":"메모리 풀 구성","href":"Configure-memory-pool","type":2,"isActive":false},{"label":"다음 단계","href":"Whats-next","type":2,"isActive":false}]} \ No newline at end of file diff --git a/localization/v2.4.x/site/ko/getstarted/run-milvus-gpu/install_standalone-docker-compose-gpu.md b/localization/v2.4.x/site/ko/getstarted/run-milvus-gpu/install_standalone-docker-compose-gpu.md index 24615f9ac..edb26c202 100644 --- a/localization/v2.4.x/site/ko/getstarted/run-milvus-gpu/install_standalone-docker-compose-gpu.md +++ b/localization/v2.4.x/site/ko/getstarted/run-milvus-gpu/install_standalone-docker-compose-gpu.md @@ -59,8 +59,8 @@ title: 도커 컴포즈를 사용하여 GPU 지원으로 Milvus 실행하기 >

                                                                                                                                                                                                                                                                                                                                                Docker Compose를 사용하여 GPU를 지원하는 Milvus를 설치하려면 다음 단계를 따르세요.

                                                                                                                                                                                                                                                                                                                                                -

                                                                                                                                                                                                                                                                                                                                                1. YAML 파일 다운로드 및 구성

                                                                                                                                                                                                                                                                                                                                                다운로드 milvus-standalone-docker-compose-gpu.yml 를 클릭하고 수동으로 또는 다음 명령을 사용하여 docker-compose.yml로 저장합니다.

                                                                                                                                                                                                                                                                                                                                                -
                                                                                                                                                                                                                                                                                                                                                $ wget https://github.com/milvus-io/milvus/releases/download/v2.4.15/milvus-standalone-docker-compose-gpu.yml -O docker-compose.yml
                                                                                                                                                                                                                                                                                                                                                +

                                                                                                                                                                                                                                                                                                                                                1. YAML 파일 다운로드 및 구성

                                                                                                                                                                                                                                                                                                                                                다운로드 milvus-standalone-docker-compose-gpu.yml 를 클릭하고 수동으로 또는 다음 명령을 사용하여 docker-compose.yml로 저장합니다.

                                                                                                                                                                                                                                                                                                                                                +
                                                                                                                                                                                                                                                                                                                                                $ wget https://github.com/milvus-io/milvus/releases/download/v2.4.17/milvus-standalone-docker-compose-gpu.yml -O docker-compose.yml
                                                                                                                                                                                                                                                                                                                                                 

                                                                                                                                                                                                                                                                                                                                                YAML 파일에서 독립형 서비스의 환경 변수를 다음과 같이 몇 가지 변경해야 합니다:

                                                                                                                                                                                                                                                                                                                                                  @@ -119,7 +119,7 @@ milvus-etcd etcd -advertise-client-url ... Up 2379/tcp, 23 milvus-minio /usr/bin/docker-entrypoint ... Up (healthy) 9000/tcp milvus-standalone /tini -- milvus run standalone Up 0.0.0.0:19530->19530/tcp, 0.0.0.0:9091->9091/tcp
                                                                                                                                                                                                                                                                                                                                                -

                                                                                                                                                                                                                                                                                                                                                docker-compose.yml에서 Milvus에 여러 GPU 장치를 할당했다면, 어떤 GPU 장치를 표시하거나 사용할 수 있는지 지정할 수 있습니다.

                                                                                                                                                                                                                                                                                                                                                +

                                                                                                                                                                                                                                                                                                                                                docker-compose.yml에서 Milvus에 여러 GPU 장치를 할당했다면 어떤 GPU 장치를 표시하거나 사용할 수 있는지 지정할 수 있습니다.

                                                                                                                                                                                                                                                                                                                                                Milvus에 GPU 장치 0 를 표시하도록 설정합니다:

                                                                                                                                                                                                                                                                                                                                                $ CUDA_VISIBLE_DEVICES=0 ./milvus run standalone
                                                                                                                                                                                                                                                                                                                                                 
                                                                                                                                                                                                                                                                                                                                                diff --git a/localization/v2.4.x/site/ko/menuStructure/ko.json b/localization/v2.4.x/site/ko/menuStructure/ko.json index 72f16f47d..370d74e8c 100644 --- a/localization/v2.4.x/site/ko/menuStructure/ko.json +++ b/localization/v2.4.x/site/ko/menuStructure/ko.json @@ -285,7 +285,7 @@ "children": [] }, { - "label": "GPU 인덱스", + "label": "GPU 색인", "id": "gpu_index.md", "order": 2, "children": [] diff --git a/localization/v2.4.x/site/ko/reference/index.md b/localization/v2.4.x/site/ko/reference/index.md index e06f33118..f14a6f224 100644 --- a/localization/v2.4.x/site/ko/reference/index.md +++ b/localization/v2.4.x/site/ko/reference/index.md @@ -56,11 +56,11 @@ title: 인메모리 인덱스 d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z" > -

                                                                                                                                                                                                                                                                                                                                                Milvus는 처리하는 임베딩 유형에 따라 부동 소수점, 이진, 스파스 등 다양한 인덱스 유형을 지원합니다.

                                                                                                                                                                                                                                                                                                                                                +

                                                                                                                                                                                                                                                                                                                                                Milvus는 처리하는 벡터 임베딩 유형에 따라 부동 소수점 임베딩(부동 소수점 벡터 또는 고밀도 벡터라고도 함), 이진 임베딩 (이진 벡터라고도 함), 스파스 임베딩 (스파스 벡터라고도 함)으로 분류되는 다양한 인덱스 유형을 지원합니다.

                                                                                                                                                                                                                                                                                                                                                -

                                                                                                                                                                                                                                                                                                                                                부동 소수점 임베딩용 인덱스

                                                                                                                                                                                                                                                                                                                                                128차원 부동 소수점 임베딩의 경우, 임베딩이 차지하는 저장 공간은 128 * 부동 소수점 크기 = 512바이트입니다. 그리고 부동 소수점 임베딩에 사용되는 거리 메트릭은 유클리드 거리(L2)와 내적 곱(IP)입니다.

                                                                                                                                                                                                                                                                                                                                                +

                                                                                                                                                                                                                                                                                                                                                부동 소수점 임베딩의 인덱스

                                                                                                                                                                                                                                                                                                                                                128차원 부동 소수점 임베딩(벡터)의 경우, 임베딩이 차지하는 저장 공간은 128*플로트 크기 = 512바이트입니다. 그리고 부동 소수점 임베딩에 사용되는 거리 메트릭은 유클리드 거리(L2)와 내적 곱(IP)입니다.

                                                                                                                                                                                                                                                                                                                                                이러한 유형의 인덱스에는 FLAT, IVF_FLAT, IVF_PQ, IVF_SQ8, HNSW, SCANN 등이 있습니다.

                                                                                                                                                                                                                                                                                                                                                diff --git a/localization/v2.4.x/site/ko/reference/metric.json b/localization/v2.4.x/site/ko/reference/metric.json index 674c6c7a3..abe20aeef 100644 --- a/localization/v2.4.x/site/ko/reference/metric.json +++ b/localization/v2.4.x/site/ko/reference/metric.json @@ -1 +1 @@ -{"codeList":[],"headingContent":"","anchorList":[{"label":"유사성 메트릭","href":"Similarity-Metrics","type":1,"isActive":false},{"label":"FAQ","href":"FAQ","type":2,"isActive":false},{"label":"다음 단계","href":"Whats-next","type":2,"isActive":false}]} \ No newline at end of file +{"codeList":[],"headingContent":"Similarity Metrics","anchorList":[{"label":"유사성 메트릭","href":"Similarity-Metrics","type":1,"isActive":false},{"label":"FAQ","href":"FAQ","type":2,"isActive":false},{"label":"다음 단계","href":"Whats-next","type":2,"isActive":false}]} \ No newline at end of file diff --git a/localization/v2.4.x/site/ko/reference/metric.md b/localization/v2.4.x/site/ko/reference/metric.md index 7cb091459..ea5b7969a 100644 --- a/localization/v2.4.x/site/ko/reference/metric.md +++ b/localization/v2.4.x/site/ko/reference/metric.md @@ -19,7 +19,7 @@ title: 유사성 메트릭 >

                                                                                                                                                                                                                                                                                                                                                Milvus에서 유사성 메트릭은 벡터 간의 유사성을 측정하는 데 사용됩니다. 좋은 거리 메트릭을 선택하면 분류 및 클러스터링 성능을 크게 향상시키는 데 도움이 됩니다.

                                                                                                                                                                                                                                                                                                                                                -

                                                                                                                                                                                                                                                                                                                                                다음 표는 널리 사용되는 이러한 유사성 메트릭이 다양한 입력 데이터 형식과 Milvus 인덱스에 어떻게 적용되는지 보여줍니다.

                                                                                                                                                                                                                                                                                                                                                +

                                                                                                                                                                                                                                                                                                                                                다음 표는 널리 사용되는 유사도 메트릭이 다양한 입력 데이터 양식과 Milvus 인덱스에 어떻게 적용되는지 보여줍니다. 현재 Milvus는 부동 소수점 임베딩(부동 소수점 벡터 또는 고밀도 벡터라고도 함), 이진 임베딩(이진 벡터라고도 함), 스파스 임베딩(스파스 벡터라고도 함)을 포함한 다양한 유형의 데이터를 지원합니다.

                                                                                                                                                                                                                                                                                                                                                @@ -80,7 +80,7 @@ title: 유사성 메트릭

                                                                                                                                                                                                                                                                                                                                                가장 일반적으로 사용되는 거리 측정법으로 데이터가 연속적인 경우 매우 유용합니다.

                                                                                                                                                                                                                                                                                                                                                밀버스는 유클리드 거리를 거리 측정값으로 선택한 경우 제곱근을 적용하기 전의 값만 계산합니다.
                                                                                                                                                                                                                                                                                                                                                -

                                                                                                                                                                                                                                                                                                                                                내부 제품(IP)

                                                                                                                                                                                                                                                                                                                                                두 임베딩 사이의 IP 거리는 다음과 같이 정의됩니다:

                                                                                                                                                                                                                                                                                                                                                +

                                                                                                                                                                                                                                                                                                                                                내부 곱(IP)

                                                                                                                                                                                                                                                                                                                                                두 벡터 임베딩 사이의 IP 거리는 다음과 같이 정의됩니다:

                                                                                                                                                                                                                                                                                                                                                ip @@ -100,7 +100,7 @@ title: 유사성 메트릭 normalization 정규화

                                                                                                                                                                                                                                                                                                                                                코사인 유사도

                                                                                                                                                                                                                                                                                                                                                코사인 유사도는 두 벡터 세트 사이의 각도의 코사인을 사용하여 얼마나 유사한지 측정합니다. 두 벡터 세트는 같은 원점([0,0,...])에서 시작하지만 서로 다른 방향을 가리키는 두 개의 선분으로 생각할 수 있습니다.

                                                                                                                                                                                                                                                                                                                                                -

                                                                                                                                                                                                                                                                                                                                                두 벡터 집합 A = (a0, a1,...,an-1)B = (b0, b1,..., bn-1 ) 사이의 코사인 유사도를 계산하려면 다음 공식을 사용합니다:

                                                                                                                                                                                                                                                                                                                                                +

                                                                                                                                                                                                                                                                                                                                                두 벡터 집합 A = (a0, a1,...,an-1)B = (b0, b1,..., bn-1) 사이의 코사인 유사도를 계산하려면 다음 공식을 사용합니다:

                                                                                                                                                                                                                                                                                                                                                cosine_similarity @@ -121,7 +121,7 @@ title: 유사성 메트릭

                                                                                                                                                                                                                                                                                                                                                예를 들어 1101 1001과 1001 1101이라는 두 문자열이 있다고 가정해 보겠습니다.

                                                                                                                                                                                                                                                                                                                                                11011001 ⊕ 10011101 = 01000100. 여기에는 두 개의 1이 포함되어 있으므로 해밍 거리는 d(11011001, 10011101) = 2입니다.

                                                                                                                                                                                                                                                                                                                                                구조적 유사성

                                                                                                                                                                                                                                                                                                                                                어떤 화학 구조가 더 큰 화학 구조의 일부로 존재하는 경우 전자를 하부 구조라고 하고 후자를 상부 구조라고 합니다. 예를 들어 에탄올은 아세트산의 하부 구조이고 아세트산은 에탄올의 상부 구조입니다.

                                                                                                                                                                                                                                                                                                                                                -

                                                                                                                                                                                                                                                                                                                                                구조 유사성은 두 화학식이 서로 유사한지 여부를 판단하는 데 사용되며, 한 화학식이 다른 화학식의 상부 구조인지 또는 하부 구조인지 판단하는 데 사용됩니다.

                                                                                                                                                                                                                                                                                                                                                +

                                                                                                                                                                                                                                                                                                                                                구조 유사성은 두 화학식이 서로 유사한지 여부를 판단하는 데 사용되며, 한 화학식이 다른 화학식의 상부 구조인지 하부 구조인지 판단하는 데 사용됩니다.

                                                                                                                                                                                                                                                                                                                                                A가 B의 상부 구조인지 확인하려면 다음 공식을 사용하세요:

                                                                                                                                                                                                                                                                                                                                                diff --git a/localization/v2.4.x/site/ko/release_notes.json b/localization/v2.4.x/site/ko/release_notes.json index 8dd70e318..e63f897bc 100644 --- a/localization/v2.4.x/site/ko/release_notes.json +++ b/localization/v2.4.x/site/ko/release_notes.json @@ -1 +1 @@ -{"codeList":[],"headingContent":"Release Notes","anchorList":[{"label":"릴리스 노트","href":"Release-Notes","type":1,"isActive":false},{"label":"v2.4.15","href":"v2415","type":2,"isActive":false},{"label":"v2.4.14","href":"v2414","type":2,"isActive":false},{"label":"v2.4.13-hotfix","href":"v2413-hotfix","type":2,"isActive":false},{"label":"[사용 중단됨] v2.4.13","href":"Deprecated-v2413","type":2,"isActive":false},{"label":"v2.4.12","href":"v2412","type":2,"isActive":false},{"label":"v2.4.11","href":"v2411","type":2,"isActive":false},{"label":"v2.4.10","href":"v2410","type":2,"isActive":false},{"label":"v2.4.9","href":"v249","type":2,"isActive":false},{"label":"v2.4.8","href":"v248","type":2,"isActive":false},{"label":"v2.4.6","href":"v246","type":2,"isActive":false},{"label":"v2.4.5","href":"v245","type":2,"isActive":false},{"label":"v2.4.4","href":"v244","type":2,"isActive":false},{"label":"v2.4.3","href":"v243","type":2,"isActive":false},{"label":"v2.4.1","href":"v241","type":2,"isActive":false},{"label":"v2.4.0","href":"v240","type":2,"isActive":false},{"label":"v2.4.0-rc.1","href":"v240-rc1","type":2,"isActive":false}]} \ No newline at end of file +{"codeList":[],"headingContent":"Release Notes","anchorList":[{"label":"Release Notes","href":"Release-Notes","type":1,"isActive":false},{"label":"v2.4.17","href":"v2417","type":2,"isActive":false},{"label":"v2.4.15","href":"v2415","type":2,"isActive":false},{"label":"v2.4.14","href":"v2414","type":2,"isActive":false},{"label":"v2.4.13-hotfix","href":"v2413-hotfix","type":2,"isActive":false},{"label":"[Deprecated] v2.4.13","href":"Deprecated-v2413","type":2,"isActive":false},{"label":"v2.4.12","href":"v2412","type":2,"isActive":false},{"label":"v2.4.11","href":"v2411","type":2,"isActive":false},{"label":"v2.4.10","href":"v2410","type":2,"isActive":false},{"label":"v2.4.9","href":"v249","type":2,"isActive":false},{"label":"v2.4.8","href":"v248","type":2,"isActive":false},{"label":"v2.4.6","href":"v246","type":2,"isActive":false},{"label":"v2.4.5","href":"v245","type":2,"isActive":false},{"label":"v2.4.4","href":"v244","type":2,"isActive":false},{"label":"v2.4.3","href":"v243","type":2,"isActive":false},{"label":"v2.4.1","href":"v241","type":2,"isActive":false},{"label":"v2.4.0","href":"v240","type":2,"isActive":false},{"label":"v2.4.0-rc.1","href":"v240-rc1","type":2,"isActive":false}]} \ No newline at end of file diff --git a/localization/v2.4.x/site/ko/release_notes.md b/localization/v2.4.x/site/ko/release_notes.md index e4dd8d692..7ab40771d 100644 --- a/localization/v2.4.x/site/ko/release_notes.md +++ b/localization/v2.4.x/site/ko/release_notes.md @@ -1,9 +1,9 @@ --- id: release_notes.md summary: Milvus 릴리스 노트 -title: 릴리스 노트 +title: Release Notes --- -

                                                                                                                                                                                                                                                                                                                                                릴리스 노트

                                                                                                                                                                                                                                                                                                                                                Milvus의 새로운 기능을 알아보세요! 이 페이지에는 각 릴리스의 새로운 기능, 개선 사항, 알려진 문제 및 버그 수정 사항이 요약되어 있습니다. 이 섹션에서 v2.4.0 이후 출시된 각 버전에 대한 릴리스 노트를 확인할 수 있습니다. 이 페이지를 정기적으로 방문하여 업데이트에 대해 알아보는 것이 좋습니다.

                                                                                                                                                                                                                                                                                                                                                +

                                                                                                                                                                                                                                                                                                                                                Find out what’s new in Milvus! This page summarizes new features, improvements, known issues, and bug fixes in each release. You can find the release notes for each released version after v2.4.0 in this section. We suggest that you regularly visit this page to learn about updates.

                                                                                                                                                                                                                                                                                                                                                +

                                                                                                                                                                                                                                                                                                                                                v2.4.17

                                                                                                                                                                                                                                                                                                                                                Release Date: November 22, 2024

                                                                                                                                                                                                                                                                                                                                                + + + + + + + +
                                                                                                                                                                                                                                                                                                                                                Milvus versionPython SDK versionJava SDK versionNode.js SDK version
                                                                                                                                                                                                                                                                                                                                                2.4.172.4.92.4.82.4.9
                                                                                                                                                                                                                                                                                                                                                +

                                                                                                                                                                                                                                                                                                                                                Milvus 2.4.17 was a minor release aimed at critical stability enhancements. This version addressed various bugs and implemented performance optimizations to bolster system reliability.

                                                                                                                                                                                                                                                                                                                                                +

                                                                                                                                                                                                                                                                                                                                                Improvements

                                                                                                                                                                                                                                                                                                                                                  +
                                                                                                                                                                                                                                                                                                                                                • Enhanced: [2.4] Prevented the generation of “null” search parameters (#37811).
                                                                                                                                                                                                                                                                                                                                                • +
                                                                                                                                                                                                                                                                                                                                                • Enhanced: [2.4] Removed unnecessary segment clone updates in distribution (#37797) (#37833).
                                                                                                                                                                                                                                                                                                                                                • +
                                                                                                                                                                                                                                                                                                                                                • Enhanced: [2.4] Provided secondary index criteria for filtering leaderview (#37777) (#37802).
                                                                                                                                                                                                                                                                                                                                                • +
                                                                                                                                                                                                                                                                                                                                                • Used batch processing to speed up listing collections from meta kv (#37752).
                                                                                                                                                                                                                                                                                                                                                • +
                                                                                                                                                                                                                                                                                                                                                • Removed collection queryable checks from health checks (#37731).
                                                                                                                                                                                                                                                                                                                                                • +
                                                                                                                                                                                                                                                                                                                                                • [2.4] Removed segment-level tags from monitoring metrics (#37737).
                                                                                                                                                                                                                                                                                                                                                • +
                                                                                                                                                                                                                                                                                                                                                • [2.4] Removed unnecessary cloning in setstate (#37736).
                                                                                                                                                                                                                                                                                                                                                • +
                                                                                                                                                                                                                                                                                                                                                • Added search parameters to search requests in RESTful API (#37673).
                                                                                                                                                                                                                                                                                                                                                • +
                                                                                                                                                                                                                                                                                                                                                • Made Milvus images with AddressSanitizer (ASAN) available (#37682).
                                                                                                                                                                                                                                                                                                                                                • +
                                                                                                                                                                                                                                                                                                                                                • [cp24] Tidied compaction logs (#37647).
                                                                                                                                                                                                                                                                                                                                                • +
                                                                                                                                                                                                                                                                                                                                                • [2.4] Invalidated the collection cache when releasing collections (#37628).
                                                                                                                                                                                                                                                                                                                                                • +
                                                                                                                                                                                                                                                                                                                                                • [2.4] Added CGO call metrics for load/write APIs (#37627).
                                                                                                                                                                                                                                                                                                                                                • +
                                                                                                                                                                                                                                                                                                                                                • Enabled node assignment policies in resource groups (#37588).
                                                                                                                                                                                                                                                                                                                                                • +
                                                                                                                                                                                                                                                                                                                                                • Optimized describe collection and index operations (#37605).
                                                                                                                                                                                                                                                                                                                                                • +
                                                                                                                                                                                                                                                                                                                                                • [2.4] Handled legacy proxy load fields requests (#37569).
                                                                                                                                                                                                                                                                                                                                                • +
                                                                                                                                                                                                                                                                                                                                                • [2.4] Added context tracing for query coordination queryable checks (#37534).
                                                                                                                                                                                                                                                                                                                                                • +
                                                                                                                                                                                                                                                                                                                                                • [2.4] Improved root coordination task scheduling policies (#37523).
                                                                                                                                                                                                                                                                                                                                                • +
                                                                                                                                                                                                                                                                                                                                                • Refactored createindex in the RESTful API (#37237).
                                                                                                                                                                                                                                                                                                                                                • +
                                                                                                                                                                                                                                                                                                                                                • [2.4] Used cancel labels for context-canceled storage operations (#37491).
                                                                                                                                                                                                                                                                                                                                                • +
                                                                                                                                                                                                                                                                                                                                                • [2.4] Updated the template expression proto to improve transmission efficiency (#37485).
                                                                                                                                                                                                                                                                                                                                                • +
                                                                                                                                                                                                                                                                                                                                                +

                                                                                                                                                                                                                                                                                                                                                Bug fixes

                                                                                                                                                                                                                                                                                                                                                  +
                                                                                                                                                                                                                                                                                                                                                • Supported upsert with autoid=true in the RESTful API and fixed associated bugs (#37766).
                                                                                                                                                                                                                                                                                                                                                • +
                                                                                                                                                                                                                                                                                                                                                • Ensured L0 segments were loaded to workers during channel balancing (#37758).
                                                                                                                                                                                                                                                                                                                                                • +
                                                                                                                                                                                                                                                                                                                                                • Fixed delegator stuck in unserviceable status (#37702).
                                                                                                                                                                                                                                                                                                                                                • +
                                                                                                                                                                                                                                                                                                                                                • [2.4] Stored default values when errkeynotfound was returned (#37705).
                                                                                                                                                                                                                                                                                                                                                • +
                                                                                                                                                                                                                                                                                                                                                • [cp24] Changed memory check from write lock to read lock (#37526).
                                                                                                                                                                                                                                                                                                                                                • +
                                                                                                                                                                                                                                                                                                                                                • Ensured getshardleaders retried only on retriable errors (#37687).
                                                                                                                                                                                                                                                                                                                                                • +
                                                                                                                                                                                                                                                                                                                                                • [cp24] Corrected varchar primary key size calculations (#37619).
                                                                                                                                                                                                                                                                                                                                                • +
                                                                                                                                                                                                                                                                                                                                                • Fixed channel balancing that could get stuck when increasing replica numbers (#37642).
                                                                                                                                                                                                                                                                                                                                                • +
                                                                                                                                                                                                                                                                                                                                                • Addressed issues where searches returned fewer results after query node recovery (#37610).
                                                                                                                                                                                                                                                                                                                                                • +
                                                                                                                                                                                                                                                                                                                                                • [2.4] Fixed bugs retrieving data from the wrong field for L0 segments (#37599).
                                                                                                                                                                                                                                                                                                                                                • +
                                                                                                                                                                                                                                                                                                                                                • Recovered loading collection’s updateTS after query coordination restarts (#37580).
                                                                                                                                                                                                                                                                                                                                                • +
                                                                                                                                                                                                                                                                                                                                                • [2.4] Added IP address validation to paramtable (#37500).
                                                                                                                                                                                                                                                                                                                                                • +
                                                                                                                                                                                                                                                                                                                                                • Fixed search/query failures caused by segments not being loaded (#37544).
                                                                                                                                                                                                                                                                                                                                                • +
                                                                                                                                                                                                                                                                                                                                                • Resolved watch channel issues due to timer reset misuse (#37542).
                                                                                                                                                                                                                                                                                                                                                • +
                                                                                                                                                                                                                                                                                                                                                • Fixed subscription leaks (#37541).
                                                                                                                                                                                                                                                                                                                                                • +
                                                                                                                                                                                                                                                                                                                                                • Resolved issues with excessively growing segments (#37540).
                                                                                                                                                                                                                                                                                                                                                • +
                                                                                                                                                                                                                                                                                                                                                • [cp24] Corrected dropped segment metrics (#37471).
                                                                                                                                                                                                                                                                                                                                                • +
                                                                                                                                                                                                                                                                                                                                                • Fixed repeated error codes in Milvus and Segcore (#37449).
                                                                                                                                                                                                                                                                                                                                                • +
                                                                                                                                                                                                                                                                                                                                                • [cp24] Separated L0 and mixed trigger intervals (#37319).
                                                                                                                                                                                                                                                                                                                                                • +

                                                                                                                                                                                                                                                                                                                                                v2.4.15

                                                                                                                                                                                                                                                                                                                                                릴리스 날짜: 2024년 11월 5일

                                                                                                                                                                                                                                                                                                                                                +

                                                                                                                                                                                                                                                                                                                                                Release Date: November 5, 2024

                                                                                                                                                                                                                                                                                                                                                - +
                                                                                                                                                                                                                                                                                                                                                Milvus 버전Python SDK 버전Java SDK 버전Node.js SDK 버전
                                                                                                                                                                                                                                                                                                                                                Milvus versionPython SDK versionJava SDK versionNode.js SDK version
                                                                                                                                                                                                                                                                                                                                                2.4.152.4.92.4.82.4.9
                                                                                                                                                                                                                                                                                                                                                -

                                                                                                                                                                                                                                                                                                                                                Milvus 2.4.15는 시스템 안정성, 성능 및 호환성 향상에 중점을 둔 중요한 버그 수정 릴리스입니다. 이 버전에서는 쿼리노드 충돌 시 발생할 수 있는 주요 교착 상태 문제를 해결하고 백업 도구와 데이터베이스 기능의 호환성 업데이트를 도입했습니다. 또한 Milvus 2.4.15는 L0 처리의 대폭적인 최적화를 통해 삭제 성능과 안정성을 개선했습니다. 이러한 중요한 개선 사항의 혜택을 누리시려면 2.4.15 버전으로 업그레이드하실 것을 강력히 권장합니다.

                                                                                                                                                                                                                                                                                                                                                -

                                                                                                                                                                                                                                                                                                                                                중요한 버그 수정

                                                                                                                                                                                                                                                                                                                                                  -
                                                                                                                                                                                                                                                                                                                                                • 샤드 클라이언트 초기화 중 쿼리 노드가 충돌하는 경우 교착 상태 문제를 해결했습니다(#37354).
                                                                                                                                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                                                                                                                                • 대량 삽입을 위해 데이터베이스를 지원하도록 개선 사항을 되돌렸습니다(#37421).
                                                                                                                                                                                                                                                                                                                                                • +

                                                                                                                                                                                                                                                                                                                                                  Milvus 2.4.15 was a critical bug-fix release focused on enhancing system stability, performance, and compatibility. This version addressed a major deadlock issue that could occur during QueryNode crashes and introduced compatibility updates for the backup tool with the database feature. Additionally, Milvus 2.4.15 improved delete performance and stability through significant optimizations in L0 handling. Upgrading to v2.4.15 was strongly recommended to benefit from these critical enhancements.

                                                                                                                                                                                                                                                                                                                                                  +

                                                                                                                                                                                                                                                                                                                                                  Critical bug fixes

                                                                                                                                                                                                                                                                                                                                                    +
                                                                                                                                                                                                                                                                                                                                                  • Resolved a deadlock issue if the QueryNode crashed during shard client initialization (#37354).
                                                                                                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                                                                                                  • Reverted the enhancement to support databases for bulk insert (#37421).
                                                                                                                                                                                                                                                                                                                                                  -

                                                                                                                                                                                                                                                                                                                                                  버그 수정

                                                                                                                                                                                                                                                                                                                                                    -
                                                                                                                                                                                                                                                                                                                                                  • 특정 표현식이 값을 올바르게 구문 분석하지 않는 버그를 수정했습니다(#37342).
                                                                                                                                                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                                                                                                                                                  • 프록시가 언로드된 컬렉션에서 샤드 리더를 다시 가져오도록 개선했습니다(#37326).
                                                                                                                                                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                                                                                                                                                  • L0 행 수 메트릭 값이 항상 비어 있던 문제를 수정했습니다(#37307).
                                                                                                                                                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                                                                                                                                                  • 혼합 및 L0 압축 시나리오에서 압축 시간 초과 표시를 건너뛰었습니다(#37194).
                                                                                                                                                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                                                                                                                                                  • 오프셋 정렬 배열의 포함 로직을 수정했습니다(#37309).
                                                                                                                                                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                                                                                                                                                  • 델타 로그를 로드할 때 리소스 확인을 추가했습니다(#37263).
                                                                                                                                                                                                                                                                                                                                                  • +

                                                                                                                                                                                                                                                                                                                                                    Bug fixes

                                                                                                                                                                                                                                                                                                                                                      +
                                                                                                                                                                                                                                                                                                                                                    • Fixed a bug where certain expressions did not correctly parse values (#37342).
                                                                                                                                                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                                                                                                                                                    • Enhanced the Proxy to retry getting the shard leader on unloaded collections (#37326).
                                                                                                                                                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                                                                                                                                                    • Corrected an issue where the L0 row count metrics value was always empty (#37307).
                                                                                                                                                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                                                                                                                                                    • Skipped marking compaction timeout for mixed and L0 compaction scenarios (#37194).
                                                                                                                                                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                                                                                                                                                    • Rectified the containment logic of OffsetOrderedArray (#37309).
                                                                                                                                                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                                                                                                                                                    • Added a check for resources when loading delta logs (#37263).
                                                                                                                                                                                                                                                                                                                                                    -

                                                                                                                                                                                                                                                                                                                                                    개선 사항

                                                                                                                                                                                                                                                                                                                                                      -
                                                                                                                                                                                                                                                                                                                                                    • 성능 향상을 위해 L0 로직을 델타 잠금 외부로 이동했습니다(#37340).
                                                                                                                                                                                                                                                                                                                                                    • -
                                                                                                                                                                                                                                                                                                                                                    • 삭제된 목록에 있는 경우 압축된 성장 세그먼트 해제(#37266).
                                                                                                                                                                                                                                                                                                                                                    • -
                                                                                                                                                                                                                                                                                                                                                    • RESTful V2 입력/출력 RPC 통계를 모니터링하는 미들웨어 도입(#37224, #37440).
                                                                                                                                                                                                                                                                                                                                                    • +

                                                                                                                                                                                                                                                                                                                                                      Improvements

                                                                                                                                                                                                                                                                                                                                                        +
                                                                                                                                                                                                                                                                                                                                                      • Moved L0 logic outside of the delta lock for better performance (#37340).
                                                                                                                                                                                                                                                                                                                                                      • +
                                                                                                                                                                                                                                                                                                                                                      • Released compacted growing segments if present in the dropped list (#37266).
                                                                                                                                                                                                                                                                                                                                                      • +
                                                                                                                                                                                                                                                                                                                                                      • Introduced middleware to monitor RESTful V2 input/output RPC stats (#37224, #37440).

                                                                                                                                                                                                                                                                                                                                                      v2.4.14

                                                                                                                                                                                                                                                                                                                                                      릴리스 날짜: 2024년 10월 31일

                                                                                                                                                                                                                                                                                                                                                      +

                                                                                                                                                                                                                                                                                                                                                      Release Date: October 31, 2024

                                                                                                                                                                                                                                                                                                                                                      - +
                                                                                                                                                                                                                                                                                                                                                      Milvus 버전Python SDK 버전Java SDK 버전Node.js SDK 버전
                                                                                                                                                                                                                                                                                                                                                      Milvus versionPython SDK versionJava SDK versionNode.js SDK version
                                                                                                                                                                                                                                                                                                                                                      2.4.142.4.92.4.72.4.9
                                                                                                                                                                                                                                                                                                                                                      -

                                                                                                                                                                                                                                                                                                                                                      Milvus 2.4.14는 snapshotKV 가비지 수집 후 수집 정보가 손실될 수 있는 버전 2.4.13의 중요한 문제를 해결합니다. 또한 몇 가지 리소스 누수도 수정되었습니다. 또한 이번 릴리스에는 대규모 삭제 작업의 안정성과 압축 성능 개선에 중점을 둔 다양한 개선 사항이 포함되어 있습니다.

                                                                                                                                                                                                                                                                                                                                                      -

                                                                                                                                                                                                                                                                                                                                                      주요 기능

                                                                                                                                                                                                                                                                                                                                                        -
                                                                                                                                                                                                                                                                                                                                                      • 메모리 모드 청크 캐시 지원(#35836)
                                                                                                                                                                                                                                                                                                                                                      • -
                                                                                                                                                                                                                                                                                                                                                      • bulkinsert에 지원되는 DB(#37017)
                                                                                                                                                                                                                                                                                                                                                      • +

                                                                                                                                                                                                                                                                                                                                                        Milvus 2.4.14 addresses a critical issue from version 2.4.13 that could cause collection information to be lost after snapshotKV garbage collection. It also fixed a couple of resource leaks. Additionally, this release includes numerous enhancements focused on improving stability in large-scale delete operations and compaction performance.

                                                                                                                                                                                                                                                                                                                                                        +

                                                                                                                                                                                                                                                                                                                                                        Features

                                                                                                                                                                                                                                                                                                                                                          +
                                                                                                                                                                                                                                                                                                                                                        • Supported memory mode chunk cache (#35836)
                                                                                                                                                                                                                                                                                                                                                        • +
                                                                                                                                                                                                                                                                                                                                                        • Supported db for bulkinsert (#37017)
                                                                                                                                                                                                                                                                                                                                                        -

                                                                                                                                                                                                                                                                                                                                                        개선 사항

                                                                                                                                                                                                                                                                                                                                                          -
                                                                                                                                                                                                                                                                                                                                                        • 삭제/압축 최적화
                                                                                                                                                                                                                                                                                                                                                            -
                                                                                                                                                                                                                                                                                                                                                          • l0 압축의 병렬 실행 활성화(#36985)
                                                                                                                                                                                                                                                                                                                                                          • -
                                                                                                                                                                                                                                                                                                                                                          • 직접 전달 사용 시 일괄 전달 삭제(#37107)
                                                                                                                                                                                                                                                                                                                                                          • -
                                                                                                                                                                                                                                                                                                                                                          • 원격 로드를 사용할 때 델리게이터에서 델타 데이터 로드 건너뛰기(#37112)
                                                                                                                                                                                                                                                                                                                                                          • -
                                                                                                                                                                                                                                                                                                                                                          • L0 세그먼트를 제외한 직접 전달 델타(#36914)
                                                                                                                                                                                                                                                                                                                                                          • -
                                                                                                                                                                                                                                                                                                                                                          • DataCoord에서 압축 작업의 우선순위 지정 추가(#36979)
                                                                                                                                                                                                                                                                                                                                                          • -
                                                                                                                                                                                                                                                                                                                                                          • 복잡한 삭제율 추적(#36958)
                                                                                                                                                                                                                                                                                                                                                          • +

                                                                                                                                                                                                                                                                                                                                                            Improvements

                                                                                                                                                                                                                                                                                                                                                              +
                                                                                                                                                                                                                                                                                                                                                            • Delete/Compaction Optimization +
                                                                                                                                                                                                                                                                                                                                                                +
                                                                                                                                                                                                                                                                                                                                                              • Enabled parallel execution of l0 compactions (#36985)
                                                                                                                                                                                                                                                                                                                                                              • +
                                                                                                                                                                                                                                                                                                                                                              • Batched forward delete when using direct forward (#37107)
                                                                                                                                                                                                                                                                                                                                                              • +
                                                                                                                                                                                                                                                                                                                                                              • Skipped loading delta data in delegater when using remoteload (#37112)
                                                                                                                                                                                                                                                                                                                                                              • +
                                                                                                                                                                                                                                                                                                                                                              • Directly forwarded delta excluding l0 segments (#36914)
                                                                                                                                                                                                                                                                                                                                                              • +
                                                                                                                                                                                                                                                                                                                                                              • Added prioritization of compaction tasks in DataCoord (#36979)
                                                                                                                                                                                                                                                                                                                                                              • +
                                                                                                                                                                                                                                                                                                                                                              • Tracked complex delete rates (#36958)
                                                                                                                                                                                                                                                                                                                                                            • -
                                                                                                                                                                                                                                                                                                                                                            • RESTFul API에서 CreateCollection 리팩터링(#36885)
                                                                                                                                                                                                                                                                                                                                                            • -
                                                                                                                                                                                                                                                                                                                                                            • 여러 개의 'and' 및 'or' 연산을 단일 연산으로 통합(#36973)
                                                                                                                                                                                                                                                                                                                                                            • -
                                                                                                                                                                                                                                                                                                                                                            • 모든 브랜치에서 로드 건너뛰기가 작동하도록 함(#37161).
                                                                                                                                                                                                                                                                                                                                                            • -
                                                                                                                                                                                                                                                                                                                                                            • EKS 파드 아이덴티티를 지원하도록 미니오 종속성 업그레이드(#37089).
                                                                                                                                                                                                                                                                                                                                                            • -
                                                                                                                                                                                                                                                                                                                                                            • 가져오기 옵션 정리(#37078).
                                                                                                                                                                                                                                                                                                                                                            • -
                                                                                                                                                                                                                                                                                                                                                            • 최대 가져오기 작업 수 제한(#36892)
                                                                                                                                                                                                                                                                                                                                                            • -
                                                                                                                                                                                                                                                                                                                                                            • 메모리 재할당을 방지하기 위해 데이터 슬라이스 사전 할당(#37044).
                                                                                                                                                                                                                                                                                                                                                            • -
                                                                                                                                                                                                                                                                                                                                                            • 데이터 노드가 bf를 로드하지 못하도록 방지(#37027)
                                                                                                                                                                                                                                                                                                                                                            • -
                                                                                                                                                                                                                                                                                                                                                            • ddl 작업을 반복적으로 제한하지 않도록 함(#37011)
                                                                                                                                                                                                                                                                                                                                                            • -
                                                                                                                                                                                                                                                                                                                                                            • 구성 항목 datanode.import.maxconcurrenttasknum 동적으로 조정 가능(#37103)
                                                                                                                                                                                                                                                                                                                                                            • -
                                                                                                                                                                                                                                                                                                                                                            • 중간 인덱스의 동작을 제어하기 위해 queryNode.mmap.growingMmapEnabled 사용(#36391)
                                                                                                                                                                                                                                                                                                                                                            • -
                                                                                                                                                                                                                                                                                                                                                            • 증가하는 세그먼트의 segmentLoadInfo에 LevelStartPosition 필드 채우기(#36911).
                                                                                                                                                                                                                                                                                                                                                            • -
                                                                                                                                                                                                                                                                                                                                                            • 드롭 수집 메시지를 수신할 때 버퍼 메시지를 강제로 중지하도록 함(#36917).
                                                                                                                                                                                                                                                                                                                                                            • -
                                                                                                                                                                                                                                                                                                                                                            • 쿼리 노드 삭제 버퍼 정보에 대한 메트릭 추가(#37097).
                                                                                                                                                                                                                                                                                                                                                            • -
                                                                                                                                                                                                                                                                                                                                                            • 일부 메트릭에 대한 수집 이름 레이블 추가(#37159)
                                                                                                                                                                                                                                                                                                                                                            • -
                                                                                                                                                                                                                                                                                                                                                            • 미들웨어를 사용하여 RESTful v2 인/아웃 rpc 통계 관찰(#37224).
                                                                                                                                                                                                                                                                                                                                                            • -
                                                                                                                                                                                                                                                                                                                                                            • GPU 기본 메모리 풀 크기 변경(#36969)
                                                                                                                                                                                                                                                                                                                                                            • -
                                                                                                                                                                                                                                                                                                                                                            • Knowhere 버전 2.3.12로 업데이트(#37132)
                                                                                                                                                                                                                                                                                                                                                            • -
                                                                                                                                                                                                                                                                                                                                                            • 디스크 할당량 소진 시 데이터 삭제 허용(#37139)
                                                                                                                                                                                                                                                                                                                                                            • +
                                                                                                                                                                                                                                                                                                                                                            • Refactored CreateCollection in RESTFul API (#36885)
                                                                                                                                                                                                                                                                                                                                                            • +
                                                                                                                                                                                                                                                                                                                                                            • Fused multiple ‘and’ and ‘or’ operations into a single op (#36973)
                                                                                                                                                                                                                                                                                                                                                            • +
                                                                                                                                                                                                                                                                                                                                                            • Made skip load work for all branches (#37161)
                                                                                                                                                                                                                                                                                                                                                            • +
                                                                                                                                                                                                                                                                                                                                                            • Upgraded Minio dependency to support EKS Pod Identities (#37089)
                                                                                                                                                                                                                                                                                                                                                            • +
                                                                                                                                                                                                                                                                                                                                                            • Tidied import options (#37078)
                                                                                                                                                                                                                                                                                                                                                            • +
                                                                                                                                                                                                                                                                                                                                                            • Limited maximum number of import jobs (#36892)
                                                                                                                                                                                                                                                                                                                                                            • +
                                                                                                                                                                                                                                                                                                                                                            • Preallocated data slice to avoid re-allocating memory (#37044)
                                                                                                                                                                                                                                                                                                                                                            • +
                                                                                                                                                                                                                                                                                                                                                            • Prevented DataNode from loading the bf (#37027)
                                                                                                                                                                                                                                                                                                                                                            • +
                                                                                                                                                                                                                                                                                                                                                            • Avoided limiting ddl operations repeatedly (#37011)
                                                                                                                                                                                                                                                                                                                                                            • +
                                                                                                                                                                                                                                                                                                                                                            • Made the configuration item datanode.import.maxconcurrenttasknum dynamically adjustable (#37103)
                                                                                                                                                                                                                                                                                                                                                            • +
                                                                                                                                                                                                                                                                                                                                                            • Used queryNode.mmap.growingMmapEnabled to control the behavior of interim index (#36391)
                                                                                                                                                                                                                                                                                                                                                            • +
                                                                                                                                                                                                                                                                                                                                                            • Populated the Level and StartPosition fields in segmentLoadInfo of growing segment (#36911)
                                                                                                                                                                                                                                                                                                                                                            • +
                                                                                                                                                                                                                                                                                                                                                            • Forced to stop buffer messages when receiving the drop collection message (#36917)
                                                                                                                                                                                                                                                                                                                                                            • +
                                                                                                                                                                                                                                                                                                                                                            • Added metrics for querynode delete buffer info (#37097)
                                                                                                                                                                                                                                                                                                                                                            • +
                                                                                                                                                                                                                                                                                                                                                            • Added collection name label for some metric (#37159)
                                                                                                                                                                                                                                                                                                                                                            • +
                                                                                                                                                                                                                                                                                                                                                            • Used middleware to observe RESTful v2 in/out rpc stats (#37224)
                                                                                                                                                                                                                                                                                                                                                            • +
                                                                                                                                                                                                                                                                                                                                                            • Changed GPU default memory pool size (#36969)
                                                                                                                                                                                                                                                                                                                                                            • +
                                                                                                                                                                                                                                                                                                                                                            • Updated Knowhere version to 2.3.12 (#37132)
                                                                                                                                                                                                                                                                                                                                                            • +
                                                                                                                                                                                                                                                                                                                                                            • Allowed deleting data when disk quota exhausted (#37139)
                                                                                                                                                                                                                                                                                                                                                            -

                                                                                                                                                                                                                                                                                                                                                            버그 수정

                                                                                                                                                                                                                                                                                                                                                              -
                                                                                                                                                                                                                                                                                                                                                            • 모든 스냅샷이 가비지 수집된 경우 재시작 후 metakv에서 복구할 수 없는 수집 정보 수정(#36950).
                                                                                                                                                                                                                                                                                                                                                            • -
                                                                                                                                                                                                                                                                                                                                                            • 클라이언트에서 유효하지 않은 재시도를 방지하기 위해 rpc 오류 코드를 수정했습니다(#37025).
                                                                                                                                                                                                                                                                                                                                                            • -
                                                                                                                                                                                                                                                                                                                                                            • 할당량 센터에서 DB를 찾을 수 없음 오류 무시(#36850)
                                                                                                                                                                                                                                                                                                                                                            • -
                                                                                                                                                                                                                                                                                                                                                            • 싱글톤 삭제 풀을 사용하여 쿼리노드에서 고루틴 누수 수정(#37225).
                                                                                                                                                                                                                                                                                                                                                            • -
                                                                                                                                                                                                                                                                                                                                                            • 쿼리노드에서 수집 누수 수정(#37079)
                                                                                                                                                                                                                                                                                                                                                            • -
                                                                                                                                                                                                                                                                                                                                                            • 클러스터링 압축 작업의 누수 수정(#36803)
                                                                                                                                                                                                                                                                                                                                                            • -
                                                                                                                                                                                                                                                                                                                                                            • 별칭이 있는 컬렉션의 이름 변경 금지(#37208)
                                                                                                                                                                                                                                                                                                                                                            • -
                                                                                                                                                                                                                                                                                                                                                            • 별칭이 캐시되었는지 확인(#36808)
                                                                                                                                                                                                                                                                                                                                                            • -
                                                                                                                                                                                                                                                                                                                                                            • 위임자 캐시를 업데이트하는 동안 검색/쿼리가 실패할 수 있음(#37174).
                                                                                                                                                                                                                                                                                                                                                            • -
                                                                                                                                                                                                                                                                                                                                                            • 클러스터링 실행 중 l0 압축 제외(#37142)
                                                                                                                                                                                                                                                                                                                                                            • -
                                                                                                                                                                                                                                                                                                                                                            • l0 세그먼트 메타만 로드할 때 참조된 컬렉션 메타(#37179)
                                                                                                                                                                                                                                                                                                                                                            • -
                                                                                                                                                                                                                                                                                                                                                            • 쿼리코드 재시작 후 위임자가 서비스 불가능해질 수 있음(#37100)
                                                                                                                                                                                                                                                                                                                                                            • -
                                                                                                                                                                                                                                                                                                                                                            • 동적 릴리스 파티션에서 검색/쿼리가 실패할 수 있음(#37099)
                                                                                                                                                                                                                                                                                                                                                            • -
                                                                                                                                                                                                                                                                                                                                                            • 삭제 버퍼 행 수 할당량 값 수정(#37068)
                                                                                                                                                                                                                                                                                                                                                            • -
                                                                                                                                                                                                                                                                                                                                                            • 부분 로드 활성화 시 전체 필드 목록 전달(#37063)
                                                                                                                                                                                                                                                                                                                                                            • -
                                                                                                                                                                                                                                                                                                                                                            • 작업자에게 rpc를 보내는 동안 쿼리 노드 패닉 발생(#36988)
                                                                                                                                                                                                                                                                                                                                                            • -
                                                                                                                                                                                                                                                                                                                                                            • 데이터코드가 진행을 멈출 때 멈췄던 문제(#36961)
                                                                                                                                                                                                                                                                                                                                                            • -
                                                                                                                                                                                                                                                                                                                                                            • 원시 데이터가 중간 인덱스로 대체될 때 증가하는 세그먼트에서 아웃오브바운드 액세스를 수정했습니다(#36938).
                                                                                                                                                                                                                                                                                                                                                            • -
                                                                                                                                                                                                                                                                                                                                                            • 루트코드가 점진적 진행 중지 시 멈췄던 문제(#36881)
                                                                                                                                                                                                                                                                                                                                                            • +

                                                                                                                                                                                                                                                                                                                                                              Bug fixes

                                                                                                                                                                                                                                                                                                                                                                +
                                                                                                                                                                                                                                                                                                                                                              • Fixed collection info that could not be recovered from metakv after restart if all snapshots were garbage collected (#36950)
                                                                                                                                                                                                                                                                                                                                                              • +
                                                                                                                                                                                                                                                                                                                                                              • Corrected the rpc error code to avoid invalid retry in client (#37025)
                                                                                                                                                                                                                                                                                                                                                              • +
                                                                                                                                                                                                                                                                                                                                                              • Ignored db not found error in quota center (#36850)
                                                                                                                                                                                                                                                                                                                                                              • +
                                                                                                                                                                                                                                                                                                                                                              • Fixed goroutine leakage in QueryNode by using singleton delete pool (#37225)
                                                                                                                                                                                                                                                                                                                                                              • +
                                                                                                                                                                                                                                                                                                                                                              • Fixed collection leak in querynode (#37079)
                                                                                                                                                                                                                                                                                                                                                              • +
                                                                                                                                                                                                                                                                                                                                                              • Fixed leakage of clustering compaction task (#36803)
                                                                                                                                                                                                                                                                                                                                                              • +
                                                                                                                                                                                                                                                                                                                                                              • Prohibited renaming a collection that had an alias (#37208)
                                                                                                                                                                                                                                                                                                                                                              • +
                                                                                                                                                                                                                                                                                                                                                              • Made sure alias was cached (#36808)
                                                                                                                                                                                                                                                                                                                                                              • +
                                                                                                                                                                                                                                                                                                                                                              • Search/query could have failed during updating delegator cache (#37174)
                                                                                                                                                                                                                                                                                                                                                              • +
                                                                                                                                                                                                                                                                                                                                                              • Excluded l0 compaction when clustering was executing (#37142)
                                                                                                                                                                                                                                                                                                                                                              • +
                                                                                                                                                                                                                                                                                                                                                              • Referenced collection meta when loading l0 segment meta only (#37179)
                                                                                                                                                                                                                                                                                                                                                              • +
                                                                                                                                                                                                                                                                                                                                                              • Delegator might have become unserviceable after querycoord restart (#37100)
                                                                                                                                                                                                                                                                                                                                                              • +
                                                                                                                                                                                                                                                                                                                                                              • Dynamic release partition might have failed search/query (#37099)
                                                                                                                                                                                                                                                                                                                                                              • +
                                                                                                                                                                                                                                                                                                                                                              • Rectified delete buffer row count quota value (#37068)
                                                                                                                                                                                                                                                                                                                                                              • +
                                                                                                                                                                                                                                                                                                                                                              • Passed full field list when partial load enabled (#37063)
                                                                                                                                                                                                                                                                                                                                                              • +
                                                                                                                                                                                                                                                                                                                                                              • Query node panic occurred during sending rpc to worker (#36988)
                                                                                                                                                                                                                                                                                                                                                              • +
                                                                                                                                                                                                                                                                                                                                                              • Datacoord got stuck at stopping progress (#36961)
                                                                                                                                                                                                                                                                                                                                                              • +
                                                                                                                                                                                                                                                                                                                                                              • Fixed the out-of-bounds access in the growing segment when raw data was replaced by interim index (#36938)
                                                                                                                                                                                                                                                                                                                                                              • +
                                                                                                                                                                                                                                                                                                                                                              • Rootcoord got stuck at graceful stop progress (#36881)

                                                                                                                                                                                                                                                                                                                                                              v2.4.13-hotfix

                                                                                                                                                                                                                                                                                                                                                              릴리스 날짜: 10월 17, 2024

                                                                                                                                                                                                                                                                                                                                                              +

                                                                                                                                                                                                                                                                                                                                                              Release Date: October 17, 2024

                                                                                                                                                                                                                                                                                                                                                              - + - +
                                                                                                                                                                                                                                                                                                                                                              Milvus 버전Python SDK 버전Java SDK 버전Node.js SDK 버전
                                                                                                                                                                                                                                                                                                                                                              Milvus versionPython SDK versionJava SDK versionNode.js SDK version
                                                                                                                                                                                                                                                                                                                                                              2.4.13 핫픽스2.4.82.4.52.4.9
                                                                                                                                                                                                                                                                                                                                                              2.4.13-hotfix2.4.82.4.52.4.9
                                                                                                                                                                                                                                                                                                                                                              -

                                                                                                                                                                                                                                                                                                                                                              Milvus v2.4.13-hotfix는 모든 MetaKV 스냅샷이 가비지 수집된 경우 재시작 후 수집 정보를 검색하지 못할 수 있는 v2.4.13과 관련된 중요한 문제를 해결합니다(#36933). 현재 v2.4.13을 실행 중인 사용자는 잠재적인 중단을 피하기 위해 가능한 한 빨리 v2.4.13 핫픽스로 업그레이드하는 것이 좋습니다.

                                                                                                                                                                                                                                                                                                                                                              -

                                                                                                                                                                                                                                                                                                                                                              중요 수정 사항

                                                                                                                                                                                                                                                                                                                                                                -
                                                                                                                                                                                                                                                                                                                                                              • 타임스탬프가 MaxTimestamp인 경우 원본 키 로드(#36935)
                                                                                                                                                                                                                                                                                                                                                              • +

                                                                                                                                                                                                                                                                                                                                                                Milvus v2.4.13-hotfix addresses a critical issue specific to v2.4.13, where Milvus may fail to retrieve collection information after a restart if all MetaKV snapshots were garbage-collected (#36933). Users currently running v2.4.13 are advised to upgrade to v2.4.13-hotfix at the earliest opportunity to avoid potential disruptions.

                                                                                                                                                                                                                                                                                                                                                                +

                                                                                                                                                                                                                                                                                                                                                                Critical fixes

                                                                                                                                                                                                                                                                                                                                                                  +
                                                                                                                                                                                                                                                                                                                                                                • Load original key if timestamp is MaxTimestamp (#36935)
                                                                                                                                                                                                                                                                                                                                                                -

                                                                                                                                                                                                                                                                                                                                                                [사용 중단됨] v2.4.13

                                                                                                                                                                                                                                                                                                                                                                릴리스 날짜: 2024년 10월 12일

                                                                                                                                                                                                                                                                                                                                                                +

                                                                                                                                                                                                                                                                                                                                                                Release Date: October 12, 2024

                                                                                                                                                                                                                                                                                                                                                                - +
                                                                                                                                                                                                                                                                                                                                                                Milvus 버전Python SDK 버전Java SDK 버전Node.js SDK 버전
                                                                                                                                                                                                                                                                                                                                                                Milvus versionPython SDK versionJava SDK versionNode.js SDK version
                                                                                                                                                                                                                                                                                                                                                                2.4.132.4.82.4.52.4.9
                                                                                                                                                                                                                                                                                                                                                                -

                                                                                                                                                                                                                                                                                                                                                                Milvus 2.4.13은 동적 복제본 로드를 도입하여 사용자가 컬렉션을 해제하고 다시 로드할 필요 없이 컬렉션 복제본의 수를 조정할 수 있도록 합니다. 이 버전은 또한 대량 가져오기, 표현식 구문 분석, 로드 밸런싱 및 장애 복구와 관련된 몇 가지 중요한 버그를 해결합니다. 또한 MMAP 리소스 사용량과 가져오기 성능이 크게 개선되어 전반적인 시스템 효율성이 향상되었습니다. 더 나은 성능과 안정성을 위해 이 릴리스로 업그레이드하는 것을 적극 권장합니다.

                                                                                                                                                                                                                                                                                                                                                                -

                                                                                                                                                                                                                                                                                                                                                                주요 기능

                                                                                                                                                                                                                                                                                                                                                                  -
                                                                                                                                                                                                                                                                                                                                                                • 로드된 컬렉션에 대한 동적 복제본 조정(#36417)
                                                                                                                                                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                                                                                                                                                • 증가하는 세그먼트 유형에서 스파스 벡터 MMAP(#36565)
                                                                                                                                                                                                                                                                                                                                                                • +

                                                                                                                                                                                                                                                                                                                                                                  Milvus 2.4.13 introduces dynamic replica load, allowing users to adjust the number of collection replicas without needing to release and reload the collection. This version also addresses several critical bugs related to bulk importing, expression parsing, load balancing, and failure recovery. Additionally, significant improvements have been made to MMAP resource usage and import performance, enhancing overall system efficiency. We highly recommend upgrading to this release for better performance and stability.

                                                                                                                                                                                                                                                                                                                                                                  +

                                                                                                                                                                                                                                                                                                                                                                  Features

                                                                                                                                                                                                                                                                                                                                                                    +
                                                                                                                                                                                                                                                                                                                                                                  • Dynamic replica adjustment for loaded collections (#36417)
                                                                                                                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                                                                                                                  • Sparse vector MMAP in growing segment types (#36565)
                                                                                                                                                                                                                                                                                                                                                                  -

                                                                                                                                                                                                                                                                                                                                                                  버그 수정

                                                                                                                                                                                                                                                                                                                                                                    -
                                                                                                                                                                                                                                                                                                                                                                  • 플러시 성능 문제 수정(#36741)
                                                                                                                                                                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                                                                                                                                                                  • "[]"의 JSON 표현식 관련 버그 수정(#36722).
                                                                                                                                                                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                                                                                                                                                                  • 컴팩트 타겟이 인덱싱되지 않은 경우 이웃 제거(#36694).
                                                                                                                                                                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                                                                                                                                                                  • 채널이 꽉 찼을 때 Rocksmq의 성능 개선(#36618).
                                                                                                                                                                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                                                                                                                                                                  • 고정 해제 중 오류가 지연되지 않던 문제 수정(#36665).
                                                                                                                                                                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                                                                                                                                                                  • 세그먼트 매니저에서 가져온 세그먼트의 메모리 누수 문제 해결(#36631)
                                                                                                                                                                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                                                                                                                                                                  • 프록시에서 쿼리 노드에 대한 불필요한 상태 검사 생략(#36553).
                                                                                                                                                                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                                                                                                                                                                  • 용어 표현식의 오버플로 문제 수정(#36534)
                                                                                                                                                                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                                                                                                                                                                  • 작업 할당 전에 노드 ID를 기록하여 작업 오할당을 방지(#36493).
                                                                                                                                                                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                                                                                                                                                                  • 클러스터링 압축 시 데이터 경합 문제 해결(#36499)
                                                                                                                                                                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                                                                                                                                                                  • 유형 일치 후 문자열 배열 최대 길이 검사 추가(#36497).
                                                                                                                                                                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                                                                                                                                                                  • 혼합 또는 독립 실행형 모드에서 경쟁 조건 해결(#36459)
                                                                                                                                                                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                                                                                                                                                                  • 반복적인 로드 및 릴리스 작업 후 세그먼트 불균형 수정(#36543).
                                                                                                                                                                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                                                                                                                                                                  • 중지 노드에서 세그먼트를 이동할 수 없는 코너 케이스 수정(#36475).
                                                                                                                                                                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                                                                                                                                                                  • 일부 세그먼트가 누락된 경우에도 세그먼트 정보가 정상적으로 업데이트됨(#36729).
                                                                                                                                                                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                                                                                                                                                                  • etcd 트랜잭션이 스냅샷 KV의 최대 한도를 초과하지 않도록 수정(#36773).
                                                                                                                                                                                                                                                                                                                                                                  • +

                                                                                                                                                                                                                                                                                                                                                                    Bug fixes

                                                                                                                                                                                                                                                                                                                                                                      +
                                                                                                                                                                                                                                                                                                                                                                    • Fixed a flush performance issue (#36741)
                                                                                                                                                                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                                                                                                                                                                    • Fixed a bug with JSON expressions in "[]" (#36722)
                                                                                                                                                                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                                                                                                                                                                    • Removed neighbors if compact target is unindexed (#36694)
                                                                                                                                                                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                                                                                                                                                                    • Improved performance for Rocksmq when channel is full (#36618)
                                                                                                                                                                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                                                                                                                                                                    • Fixed an issue where errors during unpinning were not deferred (#36665)
                                                                                                                                                                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                                                                                                                                                                    • Resolved a memory leak for imported segments in the segment manager (#36631)
                                                                                                                                                                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                                                                                                                                                                    • Skipped unnecessary health checks for query nodes in the proxy (#36553)
                                                                                                                                                                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                                                                                                                                                                    • Fixed an overflow issue with term expressions (#36534)
                                                                                                                                                                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                                                                                                                                                                    • Recorded node ID before assigning tasks to prevent task misallocation (#36493)
                                                                                                                                                                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                                                                                                                                                                    • Resolved data race issues in clustering compaction (#36499)
                                                                                                                                                                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                                                                                                                                                                    • Added a check for string array max length after type matching (#36497)
                                                                                                                                                                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                                                                                                                                                                    • Addressed race conditions in mix or standalone mode (#36459)
                                                                                                                                                                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                                                                                                                                                                    • Fixed segment imbalance after repeated load and release operations (#36543)
                                                                                                                                                                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                                                                                                                                                                    • Corrected a corner case where segments couldn’t be moved from a stopping node (#36475)
                                                                                                                                                                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                                                                                                                                                                    • Updated segment info properly even if some segments were missing (#36729)
                                                                                                                                                                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                                                                                                                                                                    • Prevented etcd transactions from exceeding the max limit in snapshot KV (#36773)
                                                                                                                                                                                                                                                                                                                                                                    -

                                                                                                                                                                                                                                                                                                                                                                    개선 사항

                                                                                                                                                                                                                                                                                                                                                                      -
                                                                                                                                                                                                                                                                                                                                                                    • MMAP 리소스 추정 기능이 향상되었습니다:
                                                                                                                                                                                                                                                                                                                                                                        -
                                                                                                                                                                                                                                                                                                                                                                      • column.h의 MMAP 관련 코드 개선(#36521)
                                                                                                                                                                                                                                                                                                                                                                      • -
                                                                                                                                                                                                                                                                                                                                                                      • 컬렉션 로드 시 리소스 추정 개선(#36728)
                                                                                                                                                                                                                                                                                                                                                                      • +

                                                                                                                                                                                                                                                                                                                                                                        Improvements

                                                                                                                                                                                                                                                                                                                                                                          +
                                                                                                                                                                                                                                                                                                                                                                        • Enhanced MMAP resource estimation: +
                                                                                                                                                                                                                                                                                                                                                                            +
                                                                                                                                                                                                                                                                                                                                                                          • Improved MMAP-related code in column.h (#36521)
                                                                                                                                                                                                                                                                                                                                                                          • +
                                                                                                                                                                                                                                                                                                                                                                          • Refined resource estimation when loading collections (#36728)
                                                                                                                                                                                                                                                                                                                                                                        • -
                                                                                                                                                                                                                                                                                                                                                                        • 성능 개선:
                                                                                                                                                                                                                                                                                                                                                                            -
                                                                                                                                                                                                                                                                                                                                                                          • 유니코드를 ASCII로 변환하여 표현식 구문 분석 효율성 개선(#36676)
                                                                                                                                                                                                                                                                                                                                                                          • -
                                                                                                                                                                                                                                                                                                                                                                          • 여러 주제에 대한 메시지 병렬 생성 활성화(#36462)
                                                                                                                                                                                                                                                                                                                                                                          • -
                                                                                                                                                                                                                                                                                                                                                                          • 인덱스 파일 크기 계산 시 CPU 오버헤드 감소(#36580)
                                                                                                                                                                                                                                                                                                                                                                          • -
                                                                                                                                                                                                                                                                                                                                                                          • 헤더에서 메시지 유형을 검색하여 마샬링 해제 최소화(#36454)
                                                                                                                                                                                                                                                                                                                                                                          • -
                                                                                                                                                                                                                                                                                                                                                                          • 워크로드 기반 복제본 선택 정책 최적화(#36384)
                                                                                                                                                                                                                                                                                                                                                                          • +
                                                                                                                                                                                                                                                                                                                                                                          • Performance Enhancements: +
                                                                                                                                                                                                                                                                                                                                                                              +
                                                                                                                                                                                                                                                                                                                                                                            • Improved expression parsing efficiency by converting Unicode to ASCII (#36676)
                                                                                                                                                                                                                                                                                                                                                                            • +
                                                                                                                                                                                                                                                                                                                                                                            • Enabled parallel production of messages for multiple topics (#36462)
                                                                                                                                                                                                                                                                                                                                                                            • +
                                                                                                                                                                                                                                                                                                                                                                            • Reduced CPU overhead when calculating index file size (#36580)
                                                                                                                                                                                                                                                                                                                                                                            • +
                                                                                                                                                                                                                                                                                                                                                                            • Retrieved message type from header to minimize unmarshalling (#36454)
                                                                                                                                                                                                                                                                                                                                                                            • +
                                                                                                                                                                                                                                                                                                                                                                            • Optimized workload-based replica selection policy (#36384)
                                                                                                                                                                                                                                                                                                                                                                          • -
                                                                                                                                                                                                                                                                                                                                                                          • 최대 메시지 크기 제한에 맞게 삭제 작업 메시지 분할(#36574)
                                                                                                                                                                                                                                                                                                                                                                          • -
                                                                                                                                                                                                                                                                                                                                                                          • 가져오기 작업을 설명하는 새로운 RESTful URL 추가(#36754).
                                                                                                                                                                                                                                                                                                                                                                          • -
                                                                                                                                                                                                                                                                                                                                                                          • 가져오기 스케줄 최적화 및 시간 비용 메트릭 추가(#36684)
                                                                                                                                                                                                                                                                                                                                                                          • -
                                                                                                                                                                                                                                                                                                                                                                          • 쿼리 코디네이터 밸런서에 대한 잔액 보고서 로그 추가(#36749).
                                                                                                                                                                                                                                                                                                                                                                          • -
                                                                                                                                                                                                                                                                                                                                                                          • 공통 GC 구성 사용으로 전환(#36670)
                                                                                                                                                                                                                                                                                                                                                                          • -
                                                                                                                                                                                                                                                                                                                                                                          • 위임자에 대한 스트리밍 포워드 정책 스위치 추가(#36712).
                                                                                                                                                                                                                                                                                                                                                                          • -
                                                                                                                                                                                                                                                                                                                                                                          • 인덱스가 없는 컬렉션에 대한 수동 압축 활성화(#36581)
                                                                                                                                                                                                                                                                                                                                                                          • -
                                                                                                                                                                                                                                                                                                                                                                          • 다양한 메모리 용량을 가진 쿼리 노드에서 로드 밸런싱 활성화(#36625).
                                                                                                                                                                                                                                                                                                                                                                          • -
                                                                                                                                                                                                                                                                                                                                                                          • metrics.label을 사용하는 인바운드 레이블의 통합 케이스(#36616)
                                                                                                                                                                                                                                                                                                                                                                          • -
                                                                                                                                                                                                                                                                                                                                                                          • 전송 채널/세그먼트 작업을 비활성화(#36552).
                                                                                                                                                                                                                                                                                                                                                                          • -
                                                                                                                                                                                                                                                                                                                                                                          • 가져오기 처리량 및 가져온 행 수를 모니터링하는 메트릭 추가(#36588)
                                                                                                                                                                                                                                                                                                                                                                          • -
                                                                                                                                                                                                                                                                                                                                                                          • 대상에 여러 타이머 객체가 생성되는 것을 방지(#36573).
                                                                                                                                                                                                                                                                                                                                                                          • -
                                                                                                                                                                                                                                                                                                                                                                          • 표현식 버전 업데이트 및 표현식에 대한 형식화된 HTTP 응답(#36467)
                                                                                                                                                                                                                                                                                                                                                                          • -
                                                                                                                                                                                                                                                                                                                                                                          • 스냅샷 KV에서 향상된 가비지 수집(#36793)
                                                                                                                                                                                                                                                                                                                                                                          • -
                                                                                                                                                                                                                                                                                                                                                                          • 컨텍스트 매개변수가 있는 메서드 실행 지원 추가(#36798).
                                                                                                                                                                                                                                                                                                                                                                          • +
                                                                                                                                                                                                                                                                                                                                                                          • Split delete task messages to fit within max message size limits (#36574)
                                                                                                                                                                                                                                                                                                                                                                          • +
                                                                                                                                                                                                                                                                                                                                                                          • Added new RESTful URL to describe import jobs (#36754)
                                                                                                                                                                                                                                                                                                                                                                          • +
                                                                                                                                                                                                                                                                                                                                                                          • Optimized import scheduling and added a time cost metric (#36684)
                                                                                                                                                                                                                                                                                                                                                                          • +
                                                                                                                                                                                                                                                                                                                                                                          • Added balance report log for query coordinator balancer (#36749)
                                                                                                                                                                                                                                                                                                                                                                          • +
                                                                                                                                                                                                                                                                                                                                                                          • Switched to using common GC configuration (#36670)
                                                                                                                                                                                                                                                                                                                                                                          • +
                                                                                                                                                                                                                                                                                                                                                                          • Added streaming forward policy switch for delegator (#36712)
                                                                                                                                                                                                                                                                                                                                                                          • +
                                                                                                                                                                                                                                                                                                                                                                          • Enabled manual compaction for collections without indexes (#36581)
                                                                                                                                                                                                                                                                                                                                                                          • +
                                                                                                                                                                                                                                                                                                                                                                          • Enabled load balancing on query nodes with varying memory capacities (#36625)
                                                                                                                                                                                                                                                                                                                                                                          • +
                                                                                                                                                                                                                                                                                                                                                                          • Unified case for inbound labels using metrics.label (#36616)
                                                                                                                                                                                                                                                                                                                                                                          • +
                                                                                                                                                                                                                                                                                                                                                                          • Made transfer channel/segment operations idempotent (#36552)
                                                                                                                                                                                                                                                                                                                                                                          • +
                                                                                                                                                                                                                                                                                                                                                                          • Added metrics to monitor import throughput and imported row count (#36588)
                                                                                                                                                                                                                                                                                                                                                                          • +
                                                                                                                                                                                                                                                                                                                                                                          • Prevented creation of multiple timer objects in targets (#36573)
                                                                                                                                                                                                                                                                                                                                                                          • +
                                                                                                                                                                                                                                                                                                                                                                          • Updated expression version and formatted HTTP response for expressions (#36467)
                                                                                                                                                                                                                                                                                                                                                                          • +
                                                                                                                                                                                                                                                                                                                                                                          • Enhanced garbage collection in snapshot KV (#36793)
                                                                                                                                                                                                                                                                                                                                                                          • +
                                                                                                                                                                                                                                                                                                                                                                          • Added support to execute methods with context parameters (#36798)

                                                                                                                                                                                                                                                                                                                                                                          v2.4.12

                                                                                                                                                                                                                                                                                                                                                                          릴리스 날짜: 2024년 9월 26일

                                                                                                                                                                                                                                                                                                                                                                          +

                                                                                                                                                                                                                                                                                                                                                                          Release Date: September 26, 2024

                                                                                                                                                                                                                                                                                                                                                                          - +
                                                                                                                                                                                                                                                                                                                                                                          Milvus 버전Python SDK 버전Java SDK 버전Node.js SDK 버전
                                                                                                                                                                                                                                                                                                                                                                          Milvus versionPython SDK versionJava SDK versionNode.js SDK version
                                                                                                                                                                                                                                                                                                                                                                          2.4.122.4.72.4.42.4.9
                                                                                                                                                                                                                                                                                                                                                                          -

                                                                                                                                                                                                                                                                                                                                                                          Milvus 2.4.12에는 중요한 버그 수정과 중요한 개선 사항이 포함되어 있습니다. 이번 릴리스에서는 데이터 중복 문제를 해결하고 특히 대량의 삭제를 처리할 때 장애 복구 속도를 개선했습니다. 그러나 대량의 데이터를 삭제할 때 장애 복구 속도가 느려지는 알려진 문제가 여전히 남아 있습니다. 이 문제를 해결하기 위해 적극적으로 노력하고 있습니다.

                                                                                                                                                                                                                                                                                                                                                                          -

                                                                                                                                                                                                                                                                                                                                                                          개선 사항

                                                                                                                                                                                                                                                                                                                                                                            -
                                                                                                                                                                                                                                                                                                                                                                          • 플로우그래프 매니저에 대한 유예 중지 구현(#36358)
                                                                                                                                                                                                                                                                                                                                                                          • -
                                                                                                                                                                                                                                                                                                                                                                          • 로드되지 않은 벡터 필드에 대한 인덱스 검사 비활성화(#36280)
                                                                                                                                                                                                                                                                                                                                                                          • -
                                                                                                                                                                                                                                                                                                                                                                          • 델타 로드 중 히트되지 않은 삭제 레코드 필터링(#36272)
                                                                                                                                                                                                                                                                                                                                                                          • -
                                                                                                                                                                                                                                                                                                                                                                          • std::stoi 예외에 대한 오류 처리 개선(#36296)
                                                                                                                                                                                                                                                                                                                                                                          • -
                                                                                                                                                                                                                                                                                                                                                                          • 필드 이름 또는 동적 필드 이름으로 허용되지 않는 키워드(#36108)
                                                                                                                                                                                                                                                                                                                                                                          • -
                                                                                                                                                                                                                                                                                                                                                                          • L0 세그먼트에서 항목 삭제에 대한 메트릭 추가(#36227)
                                                                                                                                                                                                                                                                                                                                                                          • -
                                                                                                                                                                                                                                                                                                                                                                          • 원격 로딩을 지원하는 L0 포워드 정책 구현(#36208)
                                                                                                                                                                                                                                                                                                                                                                          • -
                                                                                                                                                                                                                                                                                                                                                                          • 프록시에서 ANN 필드 로드 확인 추가(#36194)
                                                                                                                                                                                                                                                                                                                                                                          • -
                                                                                                                                                                                                                                                                                                                                                                          • 빈 스파스 행 지원 활성화(#36061)
                                                                                                                                                                                                                                                                                                                                                                          • -
                                                                                                                                                                                                                                                                                                                                                                          • 보안 취약점 수정(#36156)
                                                                                                                                                                                                                                                                                                                                                                          • -
                                                                                                                                                                                                                                                                                                                                                                          • 요청/응답 크기 메트릭에 대한 통계 핸들러 구현(#36118)
                                                                                                                                                                                                                                                                                                                                                                          • -
                                                                                                                                                                                                                                                                                                                                                                          • 인코딩된 배열 데이터의 크기 추정 수정(#36379)
                                                                                                                                                                                                                                                                                                                                                                          • +

                                                                                                                                                                                                                                                                                                                                                                            Milvus 2.4.12 introduces significant enhancements and critical bug fixes. This release addresses data duplication issues and improves failure recovery speed, particularly when handling large numbers of deletions. However, a known issue persists where failure recovery can be slow when deleting massive amounts of data. We are actively working on resolving this issue.

                                                                                                                                                                                                                                                                                                                                                                            +

                                                                                                                                                                                                                                                                                                                                                                            Improvements

                                                                                                                                                                                                                                                                                                                                                                              +
                                                                                                                                                                                                                                                                                                                                                                            • Implemented graceful stop for flowgraph manager (#36358)
                                                                                                                                                                                                                                                                                                                                                                            • +
                                                                                                                                                                                                                                                                                                                                                                            • Disabled index checks for non-loaded vector fields (#36280)
                                                                                                                                                                                                                                                                                                                                                                            • +
                                                                                                                                                                                                                                                                                                                                                                            • Filtered out non-hit delete records during delta loading (#36272)
                                                                                                                                                                                                                                                                                                                                                                            • +
                                                                                                                                                                                                                                                                                                                                                                            • Improved error handling for std::stoi exceptions (#36296)
                                                                                                                                                                                                                                                                                                                                                                            • +
                                                                                                                                                                                                                                                                                                                                                                            • Disallowed keywords as field names or dynamic field names (#36108)
                                                                                                                                                                                                                                                                                                                                                                            • +
                                                                                                                                                                                                                                                                                                                                                                            • Added metrics for delete entries in L0 segments (#36227)
                                                                                                                                                                                                                                                                                                                                                                            • +
                                                                                                                                                                                                                                                                                                                                                                            • Implemented L0 forward policy to support remote loading (#36208)
                                                                                                                                                                                                                                                                                                                                                                            • +
                                                                                                                                                                                                                                                                                                                                                                            • Added ANN field loading check in proxy (#36194)
                                                                                                                                                                                                                                                                                                                                                                            • +
                                                                                                                                                                                                                                                                                                                                                                            • Enabled empty sparse row support (#36061)
                                                                                                                                                                                                                                                                                                                                                                            • +
                                                                                                                                                                                                                                                                                                                                                                            • Fixed a security vulnerability (#36156)
                                                                                                                                                                                                                                                                                                                                                                            • +
                                                                                                                                                                                                                                                                                                                                                                            • Implemented stats handler for request/response size metrics (#36118)
                                                                                                                                                                                                                                                                                                                                                                            • +
                                                                                                                                                                                                                                                                                                                                                                            • Corrected size estimation for encoded array data (#36379)
                                                                                                                                                                                                                                                                                                                                                                            -

                                                                                                                                                                                                                                                                                                                                                                            버그 수정

                                                                                                                                                                                                                                                                                                                                                                              -
                                                                                                                                                                                                                                                                                                                                                                            • 두 개의 벡터 필드가 있는 컬렉션의 메트릭 유형 오류 해결(#36473)
                                                                                                                                                                                                                                                                                                                                                                            • -
                                                                                                                                                                                                                                                                                                                                                                            • 메시지 큐 수신 실패를 유발하는 긴 버퍼링 문제 수정(#36425)
                                                                                                                                                                                                                                                                                                                                                                            • -
                                                                                                                                                                                                                                                                                                                                                                            • 분할 지원 후 적절한 압축-세그먼트 반환 구현(#36429).
                                                                                                                                                                                                                                                                                                                                                                            • -
                                                                                                                                                                                                                                                                                                                                                                            • 노드 ID 확인 고루틴의 데이터 경합 문제 해결(#36377).
                                                                                                                                                                                                                                                                                                                                                                            • -
                                                                                                                                                                                                                                                                                                                                                                            • 요소 유형 검사 제거(#36324)
                                                                                                                                                                                                                                                                                                                                                                            • -
                                                                                                                                                                                                                                                                                                                                                                            • 성장 및 봉인된 세그먼트의 동시 액세스 문제 수정(#36288).
                                                                                                                                                                                                                                                                                                                                                                            • -
                                                                                                                                                                                                                                                                                                                                                                            • 향후 스테이트풀 잠금 구현(#36333)
                                                                                                                                                                                                                                                                                                                                                                            • -
                                                                                                                                                                                                                                                                                                                                                                            • 하이브리드 검색에서 오프셋 사용 수정(#36287, #36253)
                                                                                                                                                                                                                                                                                                                                                                            • -
                                                                                                                                                                                                                                                                                                                                                                            • 쿼리 노드에서 더티 세그먼트/채널 누수 해결(#36259).
                                                                                                                                                                                                                                                                                                                                                                            • -
                                                                                                                                                                                                                                                                                                                                                                            • 기본 키 중복 처리 수정(#36274)
                                                                                                                                                                                                                                                                                                                                                                            • -
                                                                                                                                                                                                                                                                                                                                                                            • 검색 요청에서 메트릭 유형 설정 강제 적용(#36279)
                                                                                                                                                                                                                                                                                                                                                                            • -
                                                                                                                                                                                                                                                                                                                                                                            • 저장된 인덱스 파일 크기 메트릭 지우기 문제 수정(#36161)
                                                                                                                                                                                                                                                                                                                                                                            • -
                                                                                                                                                                                                                                                                                                                                                                            • 글로벌 API 액세스에 대한 읽기 쓰기 권한 그룹 동작 수정(#36145)
                                                                                                                                                                                                                                                                                                                                                                            • +

                                                                                                                                                                                                                                                                                                                                                                              Bug fixes

                                                                                                                                                                                                                                                                                                                                                                                +
                                                                                                                                                                                                                                                                                                                                                                              • Resolved metric type errors for collections with two vector fields (#36473)
                                                                                                                                                                                                                                                                                                                                                                              • +
                                                                                                                                                                                                                                                                                                                                                                              • Fixed long buffering issues causing message queue reception failures (#36425)
                                                                                                                                                                                                                                                                                                                                                                              • +
                                                                                                                                                                                                                                                                                                                                                                              • Implemented proper compact-to-segments return after split support (#36429)
                                                                                                                                                                                                                                                                                                                                                                              • +
                                                                                                                                                                                                                                                                                                                                                                              • Resolved data race issues with node ID check goroutine (#36377)
                                                                                                                                                                                                                                                                                                                                                                              • +
                                                                                                                                                                                                                                                                                                                                                                              • Removed element type check (#36324)
                                                                                                                                                                                                                                                                                                                                                                              • +
                                                                                                                                                                                                                                                                                                                                                                              • Fixed concurrent access issues for growing and sealed segments (#36288)
                                                                                                                                                                                                                                                                                                                                                                              • +
                                                                                                                                                                                                                                                                                                                                                                              • Implemented future stateful lock (#36333)
                                                                                                                                                                                                                                                                                                                                                                              • +
                                                                                                                                                                                                                                                                                                                                                                              • Corrected offset usage in HybridSearch (#36287, #36253)
                                                                                                                                                                                                                                                                                                                                                                              • +
                                                                                                                                                                                                                                                                                                                                                                              • Resolved dirty segment/channel leaks on QueryNode (#36259)
                                                                                                                                                                                                                                                                                                                                                                              • +
                                                                                                                                                                                                                                                                                                                                                                              • Fixed primary key duplication handling (#36274)
                                                                                                                                                                                                                                                                                                                                                                              • +
                                                                                                                                                                                                                                                                                                                                                                              • Enforced metric type setting in search requests (#36279)
                                                                                                                                                                                                                                                                                                                                                                              • +
                                                                                                                                                                                                                                                                                                                                                                              • Fixed stored_index_files_size metric clearing issue (#36161)
                                                                                                                                                                                                                                                                                                                                                                              • +
                                                                                                                                                                                                                                                                                                                                                                              • Corrected readwrite privilege group behavior for global API access (#36145)

                                                                                                                                                                                                                                                                                                                                                                              v2.4.11

                                                                                                                                                                                                                                                                                                                                                                              릴리스 날짜 2024년 9월 11일

                                                                                                                                                                                                                                                                                                                                                                              +

                                                                                                                                                                                                                                                                                                                                                                              Release Date: September 11, 2024

                                                                                                                                                                                                                                                                                                                                                                              - +
                                                                                                                                                                                                                                                                                                                                                                              Milvus 버전Python SDK 버전Java SDK 버전Node.js SDK 버전
                                                                                                                                                                                                                                                                                                                                                                              Milvus versionPython SDK versionJava SDK versionNode.js SDK version
                                                                                                                                                                                                                                                                                                                                                                              2.4.112.4.62.4.32.4.8
                                                                                                                                                                                                                                                                                                                                                                              -

                                                                                                                                                                                                                                                                                                                                                                              Milvus 2.4.11은 MARISA 트라이 인덱스, 압축 및 로딩 작업과 관련된 여러 가지 중요한 문제를 해결하는 버그 수정 릴리스입니다. 이 릴리스에는 표현식을 보고 삭제 안정성을 개선하는 새로운 기능이 도입되었습니다. 2.4.x 시리즈의 모든 사용자는 이 버전으로 업그레이드하여 이러한 개선 사항과 수정 사항을 활용하시기 바랍니다.

                                                                                                                                                                                                                                                                                                                                                                              -

                                                                                                                                                                                                                                                                                                                                                                              주요 기능

                                                                                                                                                                                                                                                                                                                                                                                -
                                                                                                                                                                                                                                                                                                                                                                              • 2.4에서 표현식에 대한 정적 보기 추가(#35954)
                                                                                                                                                                                                                                                                                                                                                                              • -
                                                                                                                                                                                                                                                                                                                                                                              • 버퍼 삭제 관련 할당량 로직 구현(#35997)
                                                                                                                                                                                                                                                                                                                                                                              • +

                                                                                                                                                                                                                                                                                                                                                                                Milvus 2.4.11 is a bug-fix release that addresses multiple critical issues related to the MARISA trie index, compaction, and loading operations. This release introduces new features to view expressions and improve delete stability. We recommend all users of the 2.4.x series to upgrade to this version to benefit from these improvements and fixes.

                                                                                                                                                                                                                                                                                                                                                                                +

                                                                                                                                                                                                                                                                                                                                                                                Features

                                                                                                                                                                                                                                                                                                                                                                                  +
                                                                                                                                                                                                                                                                                                                                                                                • Added static view for expressions in 2.4 (#35954)
                                                                                                                                                                                                                                                                                                                                                                                • +
                                                                                                                                                                                                                                                                                                                                                                                • Implemented delete buffer related quota logic (#35997)
                                                                                                                                                                                                                                                                                                                                                                                -

                                                                                                                                                                                                                                                                                                                                                                                버그 수정

                                                                                                                                                                                                                                                                                                                                                                                  -
                                                                                                                                                                                                                                                                                                                                                                                • GreaterThan 및 GreaterThanEqual 비교에 대한 Trie 인덱스 범위 연산 문제 해결(#36126)
                                                                                                                                                                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                                                                                                                                                                • 트라이 인덱스 구성에서 marisa_label_order 사용 수정(#36060)
                                                                                                                                                                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                                                                                                                                                                • trie.predictive_search 값 검사 개선(#35999)
                                                                                                                                                                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                                                                                                                                                                • 반전된 인덱스에서 이진 산술 표현식 지원 활성화(#36097).
                                                                                                                                                                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                                                                                                                                                                • 스킵인덱스로 인한 세그먼트 오류 수정(#35908)
                                                                                                                                                                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                                                                                                                                                                • 프록시 메타 캐시에서 메모리 누수 해결(#36076)
                                                                                                                                                                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                                                                                                                                                                • 디렉터리 충돌을 방지하기 위해 mmap 파일 경로 이름 변경(#35975)
                                                                                                                                                                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                                                                                                                                                                • 믹스 압축에서 실패/시간 초과 작업에 대한 로깅 및 정리 개선(#35967).
                                                                                                                                                                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                                                                                                                                                                • 위임자가 메모리를 많이 사용하는 동안 논리 교착 상태 해결(#36066).
                                                                                                                                                                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                                                                                                                                                                • 압축으로 모든 삽입이 삭제될 때 빈 세그먼트 생성 구현(#36045)
                                                                                                                                                                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                                                                                                                                                                • 2.4의 이전 버전 로드 정보에서 로드 필드 목록 채우기 수정(#36018)
                                                                                                                                                                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                                                                                                                                                                • 2.4에서 추적 구성 업데이트 로직 수정(#35998)
                                                                                                                                                                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                                                                                                                                                                • 동적 파티션 릴리스 중 검색/쿼리 요청 실패 해결(#36019)
                                                                                                                                                                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                                                                                                                                                                • 폴백 매개변수의 재정의 방지(#36006)
                                                                                                                                                                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                                                                                                                                                                • 유효성 검사를 위한 적절한 권한 그룹 등록 보장(#35938)
                                                                                                                                                                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                                                                                                                                                                • DB 리미터 노드의 잘못된 정리 방지(#35992)
                                                                                                                                                                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                                                                                                                                                                • 장애 복구 후 복제본이 쿼리에 참여하지 않는 문제 해결(#35925)
                                                                                                                                                                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                                                                                                                                                                • 클러스터링 압축 쓰기에서 데이터 경합 해결(#35958)
                                                                                                                                                                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                                                                                                                                                                • 이동 작업 후 변수 참조 수정(#35904)
                                                                                                                                                                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                                                                                                                                                                • 클러스터링 키 스킵 로드 동작 검사 구현(#35899)
                                                                                                                                                                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                                                                                                                                                                • 2.4에서 쿼리코드 옵저버의 단일 시작 보장(#35817)
                                                                                                                                                                                                                                                                                                                                                                                • +

                                                                                                                                                                                                                                                                                                                                                                                  Bug fixes

                                                                                                                                                                                                                                                                                                                                                                                    +
                                                                                                                                                                                                                                                                                                                                                                                  • Resolved Trie index range operation issue for GreaterThan and GreaterThanEqual comparisons (#36126)
                                                                                                                                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                                                                                                                                  • Corrected marisa_label_order usage in Trie index construction (#36060)
                                                                                                                                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                                                                                                                                  • Enhanced value checking for trie.predictive_search (#35999)
                                                                                                                                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                                                                                                                                  • Enabled Binary arithmetic expression support on inverted index (#36097)
                                                                                                                                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                                                                                                                                  • Fixed segment fault caused by Skipindex (#35908)
                                                                                                                                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                                                                                                                                  • Resolved memory leak in proxy meta cache (#36076)
                                                                                                                                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                                                                                                                                  • Renamed mmap file path to prevent directory conflicts (#35975)
                                                                                                                                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                                                                                                                                  • Improved logging and cleanup for failed/timeout tasks in mix compaction (#35967)
                                                                                                                                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                                                                                                                                  • Addressed logic deadlock during high memory usage by delegator (#36066)
                                                                                                                                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                                                                                                                                  • Implemented empty segment creation when compaction deletes all inserts (#36045)
                                                                                                                                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                                                                                                                                  • Corrected load field list population from old version load info in 2.4 (#36018)
                                                                                                                                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                                                                                                                                  • Fixed tracing config update logic in 2.4 (#35998)
                                                                                                                                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                                                                                                                                  • Resolved search/query request failures during dynamic partition release (#36019)
                                                                                                                                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                                                                                                                                  • Prevented override of fallback parameters (#36006)
                                                                                                                                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                                                                                                                                  • Ensured proper registration of privilege groups for validation (#35938)
                                                                                                                                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                                                                                                                                  • Prevented mistaken cleanup of db limiter nodes (#35992)
                                                                                                                                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                                                                                                                                  • Addressed issue with replicas not participating in queries after failure recovery (#35925)
                                                                                                                                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                                                                                                                                  • Resolved data race in clustering compaction writer (#35958)
                                                                                                                                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                                                                                                                                  • Fixed variable reference after move operation (#35904)
                                                                                                                                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                                                                                                                                  • Implemented clustering key skip load behavior check (#35899)
                                                                                                                                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                                                                                                                                  • Ensured single startup of querycoord observers in 2.4 (#35817)
                                                                                                                                                                                                                                                                                                                                                                                  -

                                                                                                                                                                                                                                                                                                                                                                                  개선 사항

                                                                                                                                                                                                                                                                                                                                                                                    -
                                                                                                                                                                                                                                                                                                                                                                                  • Milvus 및 프로토 버전을 2.4.11로 업그레이드(#36069).
                                                                                                                                                                                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                                                                                                                                                                                  • 단위 테스트에서 메모리 누수 문제 해결 및 단위 테스트 빌드에 use_asan 옵션 활성화(#35857).
                                                                                                                                                                                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                                                                                                                                                                                  • l0segmentsrowcount 제한을 보다 적절한 값으로 조정(#36015).
                                                                                                                                                                                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                                                                                                                                                                                  • 델타로그 메모리 추정 계수를 1로 수정(#36035).
                                                                                                                                                                                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                                                                                                                                                                                  • 로드 필드 목록 비교를 위한 슬라이스셋퀄 구현(#36062).
                                                                                                                                                                                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                                                                                                                                                                                  • 삭제 작업의 로그 빈도 감소(#35981)
                                                                                                                                                                                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                                                                                                                                                                                  • etcd 버전을 3.5.14로 업그레이드(#35977)
                                                                                                                                                                                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                                                                                                                                                                                  • 워밍업 후 MMAP-RSS 감소 최적화(#35965)
                                                                                                                                                                                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                                                                                                                                                                                  • 읽기 요청에 대한 속도 제한기에서 냉각 오프 기간 제거(#35936)
                                                                                                                                                                                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                                                                                                                                                                                  • 이전에 로드된 컬렉션에 대한 로드 필드 검사 개선(#35910)
                                                                                                                                                                                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                                                                                                                                                                                  • 2.4에서 권한 목록과 관련된 역할 삭제 지원 추가(#35863)
                                                                                                                                                                                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                                                                                                                                                                                  • 더 이상 사용되지 않는 프로토 라이브러리 사용을 금지하는 depguard 규칙 구현(#35818).
                                                                                                                                                                                                                                                                                                                                                                                  • +

                                                                                                                                                                                                                                                                                                                                                                                    Improvements

                                                                                                                                                                                                                                                                                                                                                                                      +
                                                                                                                                                                                                                                                                                                                                                                                    • Upgraded Milvus & proto version to 2.4.11 (#36069)
                                                                                                                                                                                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                                                                                                                                                                                    • Addressed memory leak in unit tests and enable use_asan option for unittest builds (#35857)
                                                                                                                                                                                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                                                                                                                                                                                    • Adjusted l0segmentsrowcount limits to more appropriate values (#36015)
                                                                                                                                                                                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                                                                                                                                                                                    • Modified deltalog memory estimation factor to one (#36035)
                                                                                                                                                                                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                                                                                                                                                                                    • Implemented slicesetequal for load field list comparisons (#36062)
                                                                                                                                                                                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                                                                                                                                                                                    • Reduced log frequency for delete operations (#35981)
                                                                                                                                                                                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                                                                                                                                                                                    • Upgraded etcd version to 3.5.14 (#35977)
                                                                                                                                                                                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                                                                                                                                                                                    • Optimized mmap-rss reduction after warmup (#35965)
                                                                                                                                                                                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                                                                                                                                                                                    • Removed cooling off period in rate limiter for read requests (#35936)
                                                                                                                                                                                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                                                                                                                                                                                    • Enhanced load field checking for previously loaded collections (#35910)
                                                                                                                                                                                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                                                                                                                                                                                    • Added support for dropping roles related to privilege lists in 2.4 (#35863)
                                                                                                                                                                                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                                                                                                                                                                                    • Implemented depguard rules to prohibit deprecated proto library usage (#35818)
                                                                                                                                                                                                                                                                                                                                                                                    -

                                                                                                                                                                                                                                                                                                                                                                                    기타

                                                                                                                                                                                                                                                                                                                                                                                      -
                                                                                                                                                                                                                                                                                                                                                                                    • Knowhere 버전 업데이트(#36067)
                                                                                                                                                                                                                                                                                                                                                                                    • +

                                                                                                                                                                                                                                                                                                                                                                                      Others

                                                                                                                                                                                                                                                                                                                                                                                        +
                                                                                                                                                                                                                                                                                                                                                                                      • Updated Knowhere version (#36067)

                                                                                                                                                                                                                                                                                                                                                                                      v2.4.10

                                                                                                                                                                                                                                                                                                                                                                                      릴리스 날짜 2024년 8월 30일

                                                                                                                                                                                                                                                                                                                                                                                      +

                                                                                                                                                                                                                                                                                                                                                                                      Release Date: August 30, 2024

                                                                                                                                                                                                                                                                                                                                                                                      - +
                                                                                                                                                                                                                                                                                                                                                                                      Milvus 버전Python SDK 버전Java SDK 버전Node.js SDK 버전
                                                                                                                                                                                                                                                                                                                                                                                      Milvus versionPython SDK versionJava SDK versionNode.js SDK version
                                                                                                                                                                                                                                                                                                                                                                                      2.4.102.4.62.4.32.4.6
                                                                                                                                                                                                                                                                                                                                                                                      -

                                                                                                                                                                                                                                                                                                                                                                                      Milvus 2.4.10은 기능 및 안정성이 크게 개선되었습니다. 주요 기능으로는 AutoID 사용 컬렉션에 대한 업서트 작업 지원, 부분 컬렉션 로딩 기능, 메모리 사용량 최적화를 위한 다양한 메모리 매핑(MMAP) 구성 등이 있습니다. 이번 릴리스에서는 패닉, 코어 덤프, 리소스 누수를 유발하는 몇 가지 버그도 해결되었습니다. 이러한 개선 사항을 최대한 활용하려면 업그레이드를 권장합니다.

                                                                                                                                                                                                                                                                                                                                                                                      -

                                                                                                                                                                                                                                                                                                                                                                                      주요 기능

                                                                                                                                                                                                                                                                                                                                                                                        -
                                                                                                                                                                                                                                                                                                                                                                                      • 자동 ID를 사용한 업서트: 자동 ID 생성을 통한 업서트 작업 지원(#34633)
                                                                                                                                                                                                                                                                                                                                                                                      • -
                                                                                                                                                                                                                                                                                                                                                                                      • 필드 부분 로드 수집 [베타 프리뷰]: 컬렉션의 특정 필드 로드 허용(#35696)
                                                                                                                                                                                                                                                                                                                                                                                      • -
                                                                                                                                                                                                                                                                                                                                                                                      • RBAC 개선 사항:
                                                                                                                                                                                                                                                                                                                                                                                          -
                                                                                                                                                                                                                                                                                                                                                                                        • 변경 데이터 캡처(CDC)에 대한 RBAC 메시지 지원 추가(#35562)
                                                                                                                                                                                                                                                                                                                                                                                        • -
                                                                                                                                                                                                                                                                                                                                                                                        • 읽기 전용/읽기/관리 권한 그룹을 도입하여 RBAC 부여 프로세스 간소화(#35543)
                                                                                                                                                                                                                                                                                                                                                                                        • -
                                                                                                                                                                                                                                                                                                                                                                                        • RBAC 구성 백업 및 복원을 위한 새로운 API(#35513)
                                                                                                                                                                                                                                                                                                                                                                                        • -
                                                                                                                                                                                                                                                                                                                                                                                        • RBAC 메타데이터 복원 후 프록시 캐시 새로 고침(#35636)
                                                                                                                                                                                                                                                                                                                                                                                        • +

                                                                                                                                                                                                                                                                                                                                                                                          Milvus 2.4.10 introduces significant improvements in functionality and stability. Key features include support for upsert operations on AutoID-enabled collections, partial collection loading capabilities, and various memory-mapped (MMAP) configurations to optimize memory usage. This release also addresses several bugs causing panics, core dumps, and resource leaks. We recommend upgrading to take full advantage of these improvements.

                                                                                                                                                                                                                                                                                                                                                                                          +

                                                                                                                                                                                                                                                                                                                                                                                          Features

                                                                                                                                                                                                                                                                                                                                                                                            +
                                                                                                                                                                                                                                                                                                                                                                                          • Upsert with Auto ID: Support for upsert operations with automatic ID generation (#34633)
                                                                                                                                                                                                                                                                                                                                                                                          • +
                                                                                                                                                                                                                                                                                                                                                                                          • Field Partial Load Collection [Beta Preview]: Allows loading specific fields of a collection (#35696)
                                                                                                                                                                                                                                                                                                                                                                                          • +
                                                                                                                                                                                                                                                                                                                                                                                          • RBAC Enhancements: +
                                                                                                                                                                                                                                                                                                                                                                                              +
                                                                                                                                                                                                                                                                                                                                                                                            • Added RBAC message support for Change Data Capture (CDC) (#35562)
                                                                                                                                                                                                                                                                                                                                                                                            • +
                                                                                                                                                                                                                                                                                                                                                                                            • Introduced readonly/readwrite/admin privilege groups to simplify RBAC grant process (#35543)
                                                                                                                                                                                                                                                                                                                                                                                            • +
                                                                                                                                                                                                                                                                                                                                                                                            • New API for backing up and restoring RBAC configurations (#35513)
                                                                                                                                                                                                                                                                                                                                                                                            • +
                                                                                                                                                                                                                                                                                                                                                                                            • Refresh proxy cache after restoring RBAC metadata (#35636)
                                                                                                                                                                                                                                                                                                                                                                                          • -
                                                                                                                                                                                                                                                                                                                                                                                          • MMAP 구성 개선: MMAP 동작을 제어하기 위한 보다 일반적인 구성 옵션(#35609)
                                                                                                                                                                                                                                                                                                                                                                                          • -
                                                                                                                                                                                                                                                                                                                                                                                          • 데이터베이스 액세스 제한: 데이터베이스에 대한 읽기 액세스를 제한하는 새로운 속성(#35754)
                                                                                                                                                                                                                                                                                                                                                                                          • +
                                                                                                                                                                                                                                                                                                                                                                                          • Improved MMAP Configuration: More general configuration options to control MMAP behavior (#35609)
                                                                                                                                                                                                                                                                                                                                                                                          • +
                                                                                                                                                                                                                                                                                                                                                                                          • Database Access Restrictions: New properties to restrict read access to databases (#35754)
                                                                                                                                                                                                                                                                                                                                                                                          -

                                                                                                                                                                                                                                                                                                                                                                                          버그 수정

                                                                                                                                                                                                                                                                                                                                                                                            -
                                                                                                                                                                                                                                                                                                                                                                                          • Arrow Go 클라이언트가 오류를 반환하지 않는 문제 수정(#35820)
                                                                                                                                                                                                                                                                                                                                                                                          • -
                                                                                                                                                                                                                                                                                                                                                                                          • 부정확한 속도 제한 수정(#35700)
                                                                                                                                                                                                                                                                                                                                                                                          • -
                                                                                                                                                                                                                                                                                                                                                                                          • 가져오기 관련 API 실패 후 프록시 패닉 해결(#35559)
                                                                                                                                                                                                                                                                                                                                                                                          • -
                                                                                                                                                                                                                                                                                                                                                                                          • GC 채널 체크포인트 중 실수로 삭제될 수 있는 문제 수정(#35708)
                                                                                                                                                                                                                                                                                                                                                                                          • -
                                                                                                                                                                                                                                                                                                                                                                                          • 빈 후보 임포트 세그먼트로 인한 패닉 해결(#35674)
                                                                                                                                                                                                                                                                                                                                                                                          • -
                                                                                                                                                                                                                                                                                                                                                                                          • MMAP 메모리 할당 해제 수정(#35726)
                                                                                                                                                                                                                                                                                                                                                                                          • -
                                                                                                                                                                                                                                                                                                                                                                                          • 2.2에서 2.4로 업그레이드 시 적절한 채널 감시 보장(#35695)
                                                                                                                                                                                                                                                                                                                                                                                          • -
                                                                                                                                                                                                                                                                                                                                                                                          • 데이터노드 감시 해제 채널 해제 기능 수정(#35657)
                                                                                                                                                                                                                                                                                                                                                                                          • -
                                                                                                                                                                                                                                                                                                                                                                                          • 루트코드 메타데이터의 파티션 수 수정(#35601)
                                                                                                                                                                                                                                                                                                                                                                                          • -
                                                                                                                                                                                                                                                                                                                                                                                          • 특정 파라미터에 대한 동적 구성 업데이트 관련 문제 해결(#35637)
                                                                                                                                                                                                                                                                                                                                                                                          • +

                                                                                                                                                                                                                                                                                                                                                                                            Bug fixes

                                                                                                                                                                                                                                                                                                                                                                                              +
                                                                                                                                                                                                                                                                                                                                                                                            • Fixed Arrow Go client don’t return error issue (#35820)
                                                                                                                                                                                                                                                                                                                                                                                            • +
                                                                                                                                                                                                                                                                                                                                                                                            • Corrected inaccurate rate limiting (#35700)
                                                                                                                                                                                                                                                                                                                                                                                            • +
                                                                                                                                                                                                                                                                                                                                                                                            • Resolved proxy panic after import-related API failures (#35559)
                                                                                                                                                                                                                                                                                                                                                                                            • +
                                                                                                                                                                                                                                                                                                                                                                                            • Fixed potential mistaken deletions during GC channel checkpoints (#35708)
                                                                                                                                                                                                                                                                                                                                                                                            • +
                                                                                                                                                                                                                                                                                                                                                                                            • Addressed panic due to empty candidate import segments (#35674)
                                                                                                                                                                                                                                                                                                                                                                                            • +
                                                                                                                                                                                                                                                                                                                                                                                            • Corrected mmap memory deallocation (#35726)
                                                                                                                                                                                                                                                                                                                                                                                            • +
                                                                                                                                                                                                                                                                                                                                                                                            • Ensured proper channel watching for upgrades from 2.2 to 2.4 (#35695)
                                                                                                                                                                                                                                                                                                                                                                                            • +
                                                                                                                                                                                                                                                                                                                                                                                            • Fixed DataNode unwatching channel release function (#35657)
                                                                                                                                                                                                                                                                                                                                                                                            • +
                                                                                                                                                                                                                                                                                                                                                                                            • Corrected partition count in RootCoord metadata (#35601)
                                                                                                                                                                                                                                                                                                                                                                                            • +
                                                                                                                                                                                                                                                                                                                                                                                            • Resolved issues with dynamic config updates for certain parameters (#35637)
                                                                                                                                                                                                                                                                                                                                                                                            -

                                                                                                                                                                                                                                                                                                                                                                                            개선 사항

                                                                                                                                                                                                                                                                                                                                                                                            성능

                                                                                                                                                                                                                                                                                                                                                                                              -
                                                                                                                                                                                                                                                                                                                                                                                            • 동적 필드에서 검색 최적화(#35602)
                                                                                                                                                                                                                                                                                                                                                                                            • -
                                                                                                                                                                                                                                                                                                                                                                                            • AVX512의 비트 세트 성능 개선(#35480)
                                                                                                                                                                                                                                                                                                                                                                                            • -
                                                                                                                                                                                                                                                                                                                                                                                            • 효율성 향상을 위해 once 초기화 후 값 다시 읽기(#35643)
                                                                                                                                                                                                                                                                                                                                                                                            • +

                                                                                                                                                                                                                                                                                                                                                                                              Improvements

                                                                                                                                                                                                                                                                                                                                                                                              Performance

                                                                                                                                                                                                                                                                                                                                                                                                +
                                                                                                                                                                                                                                                                                                                                                                                              • Optimized retrieval on dynamic fields (#35602)
                                                                                                                                                                                                                                                                                                                                                                                              • +
                                                                                                                                                                                                                                                                                                                                                                                              • Improved bitset performance for AVX512 (#35480)
                                                                                                                                                                                                                                                                                                                                                                                              • +
                                                                                                                                                                                                                                                                                                                                                                                              • Re-read value after once initialization for better efficiency (#35643)
                                                                                                                                                                                                                                                                                                                                                                                              -

                                                                                                                                                                                                                                                                                                                                                                                              롤링 업그레이드 개선

                                                                                                                                                                                                                                                                                                                                                                                                -
                                                                                                                                                                                                                                                                                                                                                                                              • 일시 중단 후 쿼리 노드를 읽기 전용으로 표시(#35586)
                                                                                                                                                                                                                                                                                                                                                                                              • -
                                                                                                                                                                                                                                                                                                                                                                                              • 이전 코디네이터와 새 노드/프록시의 공존 방지(#35760)
                                                                                                                                                                                                                                                                                                                                                                                              • +

                                                                                                                                                                                                                                                                                                                                                                                                Rolling upgrade improvements

                                                                                                                                                                                                                                                                                                                                                                                                  +
                                                                                                                                                                                                                                                                                                                                                                                                • Marked query node as read-only after suspended (#35586)
                                                                                                                                                                                                                                                                                                                                                                                                • +
                                                                                                                                                                                                                                                                                                                                                                                                • Prevented coexistence of old coordinator with new node/proxy (#35760)
                                                                                                                                                                                                                                                                                                                                                                                                -

                                                                                                                                                                                                                                                                                                                                                                                                기타

                                                                                                                                                                                                                                                                                                                                                                                                  -
                                                                                                                                                                                                                                                                                                                                                                                                • Milvus 코어 빌드 프로세스 최적화(#35660)
                                                                                                                                                                                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                                                                                                                                                                                • 프로토부프-고 v2로 업데이트(#35555)
                                                                                                                                                                                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                                                                                                                                                                                • 트레이스드 및 스패니드에 대한 16진수 문자열 인코딩으로 향상된 추적(#35568)
                                                                                                                                                                                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                                                                                                                                                                                • 쿼리 후크에 대한 히트 세그먼트 번호 메트릭 추가(#35619)
                                                                                                                                                                                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                                                                                                                                                                                • 로드 매개변수 구성 기능에 대한 이전 SDK와의 호환성 개선(#35573)
                                                                                                                                                                                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                                                                                                                                                                                • HTTP v1/v2 스로틀링 지원 추가(#35504)
                                                                                                                                                                                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                                                                                                                                                                                • 인덱스 메모리 추정 수정(#35670)
                                                                                                                                                                                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                                                                                                                                                                                • 큰 세그먼트 생성을 피하기 위해 믹스 컴팩터에 여러 세그먼트를 쓰는 기능(#35648).
                                                                                                                                                                                                                                                                                                                                                                                                • +

                                                                                                                                                                                                                                                                                                                                                                                                  Others

                                                                                                                                                                                                                                                                                                                                                                                                    +
                                                                                                                                                                                                                                                                                                                                                                                                  • Optimized Milvus core building process (#35660)
                                                                                                                                                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                                                                                                                                                  • Updated to protobuf-go v2 (#35555)
                                                                                                                                                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                                                                                                                                                  • Enhanced tracing with hex string encoding for traceid and spanid (#35568)
                                                                                                                                                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                                                                                                                                                  • Added hit segment number metrics for query hook (#35619)
                                                                                                                                                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                                                                                                                                                  • Improved compatibility with old SDK for configure load param feature (#35573)
                                                                                                                                                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                                                                                                                                                  • Added support for HTTP v1/v2 throttling (#35504)
                                                                                                                                                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                                                                                                                                                  • Fixed index memory estimation (#35670)
                                                                                                                                                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                                                                                                                                                  • Ability to write multiple segments in mix compactor to avoid large segment generation (#35648)

                                                                                                                                                                                                                                                                                                                                                                                                  v2.4.9

                                                                                                                                                                                                                                                                                                                                                                                                  릴리스 날짜: 2024년 8월 20일

                                                                                                                                                                                                                                                                                                                                                                                                  +

                                                                                                                                                                                                                                                                                                                                                                                                  Release Date: August 20, 2024

                                                                                                                                                                                                                                                                                                                                                                                                  - +
                                                                                                                                                                                                                                                                                                                                                                                                  Milvus 버전Python SDK 버전Java SDK 버전Node.js SDK 버전
                                                                                                                                                                                                                                                                                                                                                                                                  Milvus versionPython SDK versionJava SDK versionNode.js SDK version
                                                                                                                                                                                                                                                                                                                                                                                                  2.4.92.4.52.4.32.4.4
                                                                                                                                                                                                                                                                                                                                                                                                  -

                                                                                                                                                                                                                                                                                                                                                                                                  Milvus v2.4.9는 일부 코너 케이스에서 제한(topk) 미만의 결과를 반환할 수 있는 중요한 문제를 해결하고 플랫폼의 성능과 사용성을 향상시키기 위한 몇 가지 주요 개선 사항을 포함합니다.

                                                                                                                                                                                                                                                                                                                                                                                                  -

                                                                                                                                                                                                                                                                                                                                                                                                  중요한 수정 사항

                                                                                                                                                                                                                                                                                                                                                                                                    -
                                                                                                                                                                                                                                                                                                                                                                                                  • 읽기 가능한 스냅샷에서 l0 세그먼트 제외(#35510).
                                                                                                                                                                                                                                                                                                                                                                                                  • +

                                                                                                                                                                                                                                                                                                                                                                                                    Milvus v2.4.9 addresses a critical issue which could return results less than limit (topk) in some corner cases and includes several key improvements to enhance the performance and usability of the platform.

                                                                                                                                                                                                                                                                                                                                                                                                    +

                                                                                                                                                                                                                                                                                                                                                                                                    Critical fixes

                                                                                                                                                                                                                                                                                                                                                                                                      +
                                                                                                                                                                                                                                                                                                                                                                                                    • Excluded l0 segment from readable snapshot (#35510).
                                                                                                                                                                                                                                                                                                                                                                                                    -

                                                                                                                                                                                                                                                                                                                                                                                                    개선 사항

                                                                                                                                                                                                                                                                                                                                                                                                      -
                                                                                                                                                                                                                                                                                                                                                                                                    • 프록시에서 중복된 스키마 헬퍼 생성을 제거했습니다(#35502).
                                                                                                                                                                                                                                                                                                                                                                                                    • -
                                                                                                                                                                                                                                                                                                                                                                                                    • 우분투 20.04에서 Milvus 컴파일 지원 추가(#35457).
                                                                                                                                                                                                                                                                                                                                                                                                    • -
                                                                                                                                                                                                                                                                                                                                                                                                    • 잠금 사용을 최적화하고 이중 플러시 클러스터링 버퍼 쓰기(#35490)를 방지했습니다.
                                                                                                                                                                                                                                                                                                                                                                                                    • -
                                                                                                                                                                                                                                                                                                                                                                                                    • 유효하지 않은 로그 제거(#35473).
                                                                                                                                                                                                                                                                                                                                                                                                    • -
                                                                                                                                                                                                                                                                                                                                                                                                    • 클러스터링 압축 사용 가이드 문서(#35428)를 추가했습니다.
                                                                                                                                                                                                                                                                                                                                                                                                    • -
                                                                                                                                                                                                                                                                                                                                                                                                    • 스키마 도우미에서 동적 필드에 대한 지원을 추가했습니다(#35469).
                                                                                                                                                                                                                                                                                                                                                                                                    • -
                                                                                                                                                                                                                                                                                                                                                                                                    • 생성된 YAML에 msgchannel 섹션을 추가했습니다(#35466).
                                                                                                                                                                                                                                                                                                                                                                                                    • +

                                                                                                                                                                                                                                                                                                                                                                                                      Improvements

                                                                                                                                                                                                                                                                                                                                                                                                        +
                                                                                                                                                                                                                                                                                                                                                                                                      • Removed duplicated schema helper creation in the proxy (#35502).
                                                                                                                                                                                                                                                                                                                                                                                                      • +
                                                                                                                                                                                                                                                                                                                                                                                                      • Added support for compiling Milvus on Ubuntu 20.04 (#35457).
                                                                                                                                                                                                                                                                                                                                                                                                      • +
                                                                                                                                                                                                                                                                                                                                                                                                      • Optimized the use of locks and avoided double flush clustering buffer writer (#35490).
                                                                                                                                                                                                                                                                                                                                                                                                      • +
                                                                                                                                                                                                                                                                                                                                                                                                      • Removed the invalid log (#35473).
                                                                                                                                                                                                                                                                                                                                                                                                      • +
                                                                                                                                                                                                                                                                                                                                                                                                      • Added a clustering compaction user guide doc (#35428).
                                                                                                                                                                                                                                                                                                                                                                                                      • +
                                                                                                                                                                                                                                                                                                                                                                                                      • Added support for dynamic fields in the schema helper (#35469).
                                                                                                                                                                                                                                                                                                                                                                                                      • +
                                                                                                                                                                                                                                                                                                                                                                                                      • Added the msgchannel section in the generated YAML (#35466).

                                                                                                                                                                                                                                                                                                                                                                                                      v2.4.8

                                                                                                                                                                                                                                                                                                                                                                                                      릴리스 날짜: 2024년 8월 14일

                                                                                                                                                                                                                                                                                                                                                                                                      +

                                                                                                                                                                                                                                                                                                                                                                                                      Release Date: August 14, 2024

                                                                                                                                                                                                                                                                                                                                                                                                      - +
                                                                                                                                                                                                                                                                                                                                                                                                      Milvus 버전Python SDK 버전Java SDK 버전Node.js SDK 버전
                                                                                                                                                                                                                                                                                                                                                                                                      Milvus versionPython SDK versionJava SDK versionNode.js SDK version
                                                                                                                                                                                                                                                                                                                                                                                                      2.4.82.4.52.4.32.4.4
                                                                                                                                                                                                                                                                                                                                                                                                      -

                                                                                                                                                                                                                                                                                                                                                                                                      Milvus 2.4.8은 시스템의 성능과 안정성에 몇 가지 중요한 개선 사항을 도입했습니다. 가장 주목할 만한 기능은 지정된 클러스터링 키를 기반으로 대규모 컬렉션의 데이터를 재분배하여 검색 및 쿼리 효율성을 향상시키고 스캔하는 데이터의 양을 줄이는 클러스터링 압축의 구현입니다. 또한 압축은 샤드 데이터 노드에서 분리되어 모든 데이터 노드가 독립적으로 압축을 수행할 수 있어 내결함성, 안정성, 성능, 확장성이 향상되었습니다. 또한, Go와 C++ 구성 요소 간의 인터페이스가 비동기 CGO 호출을 사용하도록 리팩터링되어 세션 시간 초과와 같은 문제를 해결했으며, 프로파일링을 기반으로 여러 가지 다른 성능 최적화가 이루어졌습니다. 애플리케이션 종속성도 업데이트되어 알려진 보안 취약점을 해결했습니다. 또한 이번 릴리스에는 수많은 성능 최적화와 중요한 버그 수정도 포함되어 있습니다.

                                                                                                                                                                                                                                                                                                                                                                                                      -

                                                                                                                                                                                                                                                                                                                                                                                                      주요 기능

                                                                                                                                                                                                                                                                                                                                                                                                        -
                                                                                                                                                                                                                                                                                                                                                                                                      • 클러스터링 압축을 구현하여 지정된 클러스터링 키를 기반으로 데이터를 재분배하여 쿼리 효율성을 높일 수 있습니다(#34326),(#34363).
                                                                                                                                                                                                                                                                                                                                                                                                      • +

                                                                                                                                                                                                                                                                                                                                                                                                        Milvus 2.4.8 introduced several significant improvements to the system’s performance and stability. The most notable feature was the implementation of clustering compaction, a mechanism that enhances search and query efficiency by redistributing data in large collections based on a designated clustering key, reducing the amount of data scanned. Compaction was also decoupled from the shard DataNode, allowing any DataNode to perform compaction independently, which improved fault tolerance, stability, performance, and scalability. Additionally, the interface between the Go and C++ components was refactored to use asynchronous CGO calls, addressing issues like session timeouts, while several other performance optimizations were made based on profiling. The application dependencies were also updated to address known security vulnerabilities. Moreover, this release also includes numerous performance optimizations and critical bug fixes.

                                                                                                                                                                                                                                                                                                                                                                                                        +

                                                                                                                                                                                                                                                                                                                                                                                                        Features

                                                                                                                                                                                                                                                                                                                                                                                                          +
                                                                                                                                                                                                                                                                                                                                                                                                        • Implemented clustering compaction, allowing data to be redistributed based on a designated clustering key to enhance query efficiency (#34326), (#34363).
                                                                                                                                                                                                                                                                                                                                                                                                        -

                                                                                                                                                                                                                                                                                                                                                                                                        개선 사항

                                                                                                                                                                                                                                                                                                                                                                                                          -
                                                                                                                                                                                                                                                                                                                                                                                                        • CGO에서 비동기 검색 및 검색 기능을 구현했습니다.(#34200)
                                                                                                                                                                                                                                                                                                                                                                                                        • -
                                                                                                                                                                                                                                                                                                                                                                                                        • 압축 프로세스를 샤드 데이터 노드에서 분리하여 시스템 모듈성을 개선했습니다.(#34157)
                                                                                                                                                                                                                                                                                                                                                                                                        • -
                                                                                                                                                                                                                                                                                                                                                                                                        • 프록시/위임자 내 쿼리 노드에서 클라이언트 풀링 지원을 추가하여 성능을 향상시켰습니다.(#35195)
                                                                                                                                                                                                                                                                                                                                                                                                        • -
                                                                                                                                                                                                                                                                                                                                                                                                        • Gin 및 RestfulV1 핸들러에서 JSON 마샬링 및 언마샬링 중 CPU 오버헤드를 최소화하기 위해 Sonic을 통합했습니다.(#35018)
                                                                                                                                                                                                                                                                                                                                                                                                        • -
                                                                                                                                                                                                                                                                                                                                                                                                        • 인증 결과 검색을 최적화하기 위해 인메모리 캐시를 도입했습니다.(#35272)
                                                                                                                                                                                                                                                                                                                                                                                                        • -
                                                                                                                                                                                                                                                                                                                                                                                                        • 자동 인덱스의 기본 메트릭 유형을 수정했습니다.[#34277, #34479]
                                                                                                                                                                                                                                                                                                                                                                                                        • -
                                                                                                                                                                                                                                                                                                                                                                                                        • 가변 열에 대한 런타임 메모리 형식을 리팩터링하여 메모리 사용량을 줄였습니다.[#34367, #35012, #35041]
                                                                                                                                                                                                                                                                                                                                                                                                        • -
                                                                                                                                                                                                                                                                                                                                                                                                        • 영구 데이터 저장이 가능하도록 압축 프로세스를 리팩터링했습니다.(#34268)
                                                                                                                                                                                                                                                                                                                                                                                                        • -
                                                                                                                                                                                                                                                                                                                                                                                                        • 증가하는 세그먼트에 대한 메모리 매핑 파일 지원을 활성화하여 메모리 관리를 개선했습니다.(#34110)
                                                                                                                                                                                                                                                                                                                                                                                                        • -
                                                                                                                                                                                                                                                                                                                                                                                                        • RESTful API 지원, 로깅 일관성 수준, 시스템 오류와 사용자 오류 구분을 추가하여 액세스 로그를 개선했습니다.[#34295, #34352, #34396]
                                                                                                                                                                                                                                                                                                                                                                                                        • -
                                                                                                                                                                                                                                                                                                                                                                                                        • Knowhere에서 새로운 range_search_k 매개변수를 활용하여 범위 검색 속도를 높였습니다.(#34709)
                                                                                                                                                                                                                                                                                                                                                                                                        • -
                                                                                                                                                                                                                                                                                                                                                                                                        • 필터 구성 및 쿼리 속도를 향상시키기 위해 차단된 블룸 필터를 적용했습니다.[#34377, #34922]
                                                                                                                                                                                                                                                                                                                                                                                                        • -
                                                                                                                                                                                                                                                                                                                                                                                                        • 메모리 사용량 개선:
                                                                                                                                                                                                                                                                                                                                                                                                            -
                                                                                                                                                                                                                                                                                                                                                                                                          • 데이터노드 삽입 버퍼를 위한 사전 할당된 공간.(#34205)
                                                                                                                                                                                                                                                                                                                                                                                                          • -
                                                                                                                                                                                                                                                                                                                                                                                                          • Reduce 작업을 위한 FieldData 사전 할당.(#34254)
                                                                                                                                                                                                                                                                                                                                                                                                          • -
                                                                                                                                                                                                                                                                                                                                                                                                          • 메모리 누수를 방지하기 위해 삭제 코덱에서 레코드 해제.(#34506)
                                                                                                                                                                                                                                                                                                                                                                                                          • -
                                                                                                                                                                                                                                                                                                                                                                                                          • 파일 로드 중 디스크 파일 관리자의 동시성 수준 제어.(#35282)
                                                                                                                                                                                                                                                                                                                                                                                                          • -
                                                                                                                                                                                                                                                                                                                                                                                                          • 적시에 메모리를 해제할 수 있도록 Go 런타임 가비지 컬렉션 로직 최적화.(#34950)
                                                                                                                                                                                                                                                                                                                                                                                                          • -
                                                                                                                                                                                                                                                                                                                                                                                                          • 증가하는 세그먼트에 대한 새로운 봉인 정책을 구현했습니다.(#34779)
                                                                                                                                                                                                                                                                                                                                                                                                          • +

                                                                                                                                                                                                                                                                                                                                                                                                            Improvements

                                                                                                                                                                                                                                                                                                                                                                                                              +
                                                                                                                                                                                                                                                                                                                                                                                                            • Implemented asynchronous search and retrieval capabilities in CGO. (#34200)
                                                                                                                                                                                                                                                                                                                                                                                                            • +
                                                                                                                                                                                                                                                                                                                                                                                                            • Separated the compaction process from the Shard DataNode to improve system modularity. (#34157)
                                                                                                                                                                                                                                                                                                                                                                                                            • +
                                                                                                                                                                                                                                                                                                                                                                                                            • Added support for client pooling in QueryNode within the proxy/delegator to enhance performance. (#35195)
                                                                                                                                                                                                                                                                                                                                                                                                            • +
                                                                                                                                                                                                                                                                                                                                                                                                            • Integrated Sonic to minimize CPU overhead during JSON marshaling and unmarshaling in Gin and RestfulV1 handlers. (#35018)
                                                                                                                                                                                                                                                                                                                                                                                                            • +
                                                                                                                                                                                                                                                                                                                                                                                                            • Introduced an in-memory cache to optimize authentication result retrieval. (#35272)
                                                                                                                                                                                                                                                                                                                                                                                                            • +
                                                                                                                                                                                                                                                                                                                                                                                                            • Modified the default metric type for autoindex. [#34277, #34479]
                                                                                                                                                                                                                                                                                                                                                                                                            • +
                                                                                                                                                                                                                                                                                                                                                                                                            • Refactored the runtime memory format for variable columns, leading to reduced memory usage. [#34367, #35012, #35041]
                                                                                                                                                                                                                                                                                                                                                                                                            • +
                                                                                                                                                                                                                                                                                                                                                                                                            • Refactored compaction processes to enable persistent data storage. (#34268)
                                                                                                                                                                                                                                                                                                                                                                                                            • +
                                                                                                                                                                                                                                                                                                                                                                                                            • Enabled memory-mapped file support for growing segments, improving memory management. (#34110)
                                                                                                                                                                                                                                                                                                                                                                                                            • +
                                                                                                                                                                                                                                                                                                                                                                                                            • Improved access logs by adding RESTful API support, logging consistency levels, and distinguishing between system and user errors. [#34295, #34352, #34396]
                                                                                                                                                                                                                                                                                                                                                                                                            • +
                                                                                                                                                                                                                                                                                                                                                                                                            • Utilized the new range_search_k parameter in Knowhere to speed up range searches. (#34709)
                                                                                                                                                                                                                                                                                                                                                                                                            • +
                                                                                                                                                                                                                                                                                                                                                                                                            • Applied blocked Bloom filters to enhance the speed of filter construction and querying. [#34377, #34922]
                                                                                                                                                                                                                                                                                                                                                                                                            • +
                                                                                                                                                                                                                                                                                                                                                                                                            • Memory Usage Improvements: +
                                                                                                                                                                                                                                                                                                                                                                                                                +
                                                                                                                                                                                                                                                                                                                                                                                                              • Pre-allocated space for DataNode insert buffers. (#34205)
                                                                                                                                                                                                                                                                                                                                                                                                              • +
                                                                                                                                                                                                                                                                                                                                                                                                              • Pre-allocated FieldData for Reduce operations. (#34254)
                                                                                                                                                                                                                                                                                                                                                                                                              • +
                                                                                                                                                                                                                                                                                                                                                                                                              • Released records in delete codec to prevent memory leaks. (#34506)
                                                                                                                                                                                                                                                                                                                                                                                                              • +
                                                                                                                                                                                                                                                                                                                                                                                                              • Controlled concurrency level of the disk file manager during file loading. (#35282)
                                                                                                                                                                                                                                                                                                                                                                                                              • +
                                                                                                                                                                                                                                                                                                                                                                                                              • Optimized Go runtime garbage collection logic for timely memory release. (#34950)
                                                                                                                                                                                                                                                                                                                                                                                                              • +
                                                                                                                                                                                                                                                                                                                                                                                                              • Implemented a new seal policy for growing segments. (#34779)
                                                                                                                                                                                                                                                                                                                                                                                                            • -
                                                                                                                                                                                                                                                                                                                                                                                                            • 데이터코드 개선:
                                                                                                                                                                                                                                                                                                                                                                                                                -
                                                                                                                                                                                                                                                                                                                                                                                                              • CPU 사용량 감소.[#34231, #34309]
                                                                                                                                                                                                                                                                                                                                                                                                              • -
                                                                                                                                                                                                                                                                                                                                                                                                              • 더 빠른 가비지 컬렉션 종료 로직을 구현했습니다.(#35051)
                                                                                                                                                                                                                                                                                                                                                                                                              • -
                                                                                                                                                                                                                                                                                                                                                                                                              • 워커 노드 스케줄링 알고리즘 개선.(#34382)
                                                                                                                                                                                                                                                                                                                                                                                                              • -
                                                                                                                                                                                                                                                                                                                                                                                                              • 가져오기 작업을 위한 향상된 세그먼트 크기 제어 알고리즘.(#35149)
                                                                                                                                                                                                                                                                                                                                                                                                              • +
                                                                                                                                                                                                                                                                                                                                                                                                              • DataCoord Enhancements: +
                                                                                                                                                                                                                                                                                                                                                                                                                  +
                                                                                                                                                                                                                                                                                                                                                                                                                • Reduced CPU usage. [#34231, #34309]
                                                                                                                                                                                                                                                                                                                                                                                                                • +
                                                                                                                                                                                                                                                                                                                                                                                                                • Implemented faster garbage collection exit logic. (#35051)
                                                                                                                                                                                                                                                                                                                                                                                                                • +
                                                                                                                                                                                                                                                                                                                                                                                                                • Improved worker node scheduling algorithms. (#34382)
                                                                                                                                                                                                                                                                                                                                                                                                                • +
                                                                                                                                                                                                                                                                                                                                                                                                                • Enhanced segment size control algorithm specifically for import operations. (#35149)
                                                                                                                                                                                                                                                                                                                                                                                                              • -
                                                                                                                                                                                                                                                                                                                                                                                                              • 로드 밸런싱 알고리즘 개선:
                                                                                                                                                                                                                                                                                                                                                                                                                  -
                                                                                                                                                                                                                                                                                                                                                                                                                • 위임자의 메모리 과부하 계수를 줄였습니다.(#35164)
                                                                                                                                                                                                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                                                                                                                                                                                                • 델리게이터에 고정 메모리 크기 할당.(#34600)
                                                                                                                                                                                                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                                                                                                                                                                                                • 새로운 쿼리 노드에 대한 세그먼트 및 채널의 과도한 할당을 방지했습니다.(#34245)
                                                                                                                                                                                                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                                                                                                                                                                                                • 쿼리 코디네이터의 스케줄링 주기당 작업 수를 줄이면서 스케줄링 빈도를 증가시켰습니다.(#34987)
                                                                                                                                                                                                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                                                                                                                                                                                                • 데이터 노드에서 채널 밸런싱 알고리즘 개선.(#35033)
                                                                                                                                                                                                                                                                                                                                                                                                                • +
                                                                                                                                                                                                                                                                                                                                                                                                                • Load Balancing Algorithm Improvements: +
                                                                                                                                                                                                                                                                                                                                                                                                                    +
                                                                                                                                                                                                                                                                                                                                                                                                                  • Reduced the memory overload factor on the delegator. (#35164)
                                                                                                                                                                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                                                                                                                                                                  • Allocated fixed memory size for the delegator. (#34600)
                                                                                                                                                                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                                                                                                                                                                  • Avoided excessive allocation of segments and channels for new query nodes. (#34245)
                                                                                                                                                                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                                                                                                                                                                  • Reduced the number of tasks per scheduling cycle by Query Coordinator while increasing scheduling frequency. (#34987)
                                                                                                                                                                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                                                                                                                                                                  • Enhanced channel balancing algorithm on the DataNode. (#35033)
                                                                                                                                                                                                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                                                                                                                                                                                                • 확장된 시스템 메트릭: 다음과 같은 특정 측면을 모니터링하기 위해 다양한 구성 요소에 걸쳐 새로운 메트릭을 추가했습니다:
                                                                                                                                                                                                                                                                                                                                                                                                                    -
                                                                                                                                                                                                                                                                                                                                                                                                                  • 강제 거부 쓰기 상태.(#34989)
                                                                                                                                                                                                                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                                                                                                                                                                                                                  • 대기열 대기 시간.(#34788)
                                                                                                                                                                                                                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                                                                                                                                                                                                                  • 디스크 할당량.(#35306)
                                                                                                                                                                                                                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                                                                                                                                                                                                                  • 작업 실행 시간.(#35141)
                                                                                                                                                                                                                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                                                                                                                                                                                                                  • 빈로그 크기.(#35235)
                                                                                                                                                                                                                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                                                                                                                                                                                                                  • 삽입 속도.(#35188)
                                                                                                                                                                                                                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                                                                                                                                                                                                                  • 메모리 최고 수위.(#35188)
                                                                                                                                                                                                                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                                                                                                                                                                                                                  • RESTful API 메트릭.(#35083)
                                                                                                                                                                                                                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                                                                                                                                                                                                                  • 검색 지연 시간.(#34783)
                                                                                                                                                                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                                                                                                                                                                  • Expanded System Metrics: Added new metrics across various components to monitor specific aspects including: +
                                                                                                                                                                                                                                                                                                                                                                                                                  -

                                                                                                                                                                                                                                                                                                                                                                                                                  변경 사항

                                                                                                                                                                                                                                                                                                                                                                                                                    -
                                                                                                                                                                                                                                                                                                                                                                                                                  • 오픈 소스 사용자의 경우 이 버전에서는 FloatVectorBinaryVector 에 대한 자동 인덱스의 메트릭 유형이 각각 CosineHamming 로 변경됩니다.

                                                                                                                                                                                                                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                                                                                                                                                                                                                  • 타사 종속성 버전 수정:

                                                                                                                                                                                                                                                                                                                                                                                                                    +

                                                                                                                                                                                                                                                                                                                                                                                                                    Changes

                                                                                                                                                                                                                                                                                                                                                                                                                      +
                                                                                                                                                                                                                                                                                                                                                                                                                    • For open-source users, this version changes the metric types in AutoIndex for FloatVector and BinaryVector to Cosine and Hamming, respectively.

                                                                                                                                                                                                                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                                                                                                                                                                                                                    • Fixed Third-Party Dependency Versions:

                                                                                                                                                                                                                                                                                                                                                                                                                        -
                                                                                                                                                                                                                                                                                                                                                                                                                      • 이번 릴리스에서는 특정 타사 종속성 라이브러리에 대한 고정 버전이 도입되어 Milvus의 소프트웨어 공급망 관리가 크게 향상되었습니다.
                                                                                                                                                                                                                                                                                                                                                                                                                      • -
                                                                                                                                                                                                                                                                                                                                                                                                                      • 프로젝트를 업스트림 변경 사항으로부터 격리하여 잠재적인 중단으로부터 일일 빌드를 보호합니다.
                                                                                                                                                                                                                                                                                                                                                                                                                      • -
                                                                                                                                                                                                                                                                                                                                                                                                                      • 이 업데이트는 검증된 C++ 타사 패키지를 JFrog Cloud에서 독점적으로 호스팅하고 코난 레시피 리비전(RREV)을 활용함으로써 안정성을 보장합니다.
                                                                                                                                                                                                                                                                                                                                                                                                                      • -
                                                                                                                                                                                                                                                                                                                                                                                                                      • 이러한 접근 방식은 코난센터의 업데이트로 인한 변경 사항 중단의 위험을 완화합니다.
                                                                                                                                                                                                                                                                                                                                                                                                                      • -
                                                                                                                                                                                                                                                                                                                                                                                                                      • 우분투 22.04를 사용하는 개발자는 이러한 변경 사항의 혜택을 즉시 누릴 수 있습니다. 그러나 다른 운영 체제를 사용하는 개발자는 호환성 문제를 피하기 위해 glibc 버전을 업그레이드해야 할 수 있습니다.
                                                                                                                                                                                                                                                                                                                                                                                                                      • +
                                                                                                                                                                                                                                                                                                                                                                                                                      • This release introduces fixed versions for certain third-party dependency libraries, significantly enhancing Milvus’s software supply chain management.
                                                                                                                                                                                                                                                                                                                                                                                                                      • +
                                                                                                                                                                                                                                                                                                                                                                                                                      • By isolating the project from upstream changes, it safeguards daily builds from potential disruptions.
                                                                                                                                                                                                                                                                                                                                                                                                                      • +
                                                                                                                                                                                                                                                                                                                                                                                                                      • The update ensures stability by exclusively hosting validated C++ third-party packages on JFrog Cloud and utilizing Conan Recipe Revisions (RREV).
                                                                                                                                                                                                                                                                                                                                                                                                                      • +
                                                                                                                                                                                                                                                                                                                                                                                                                      • This approach mitigates the risk of breaking changes from updates in ConanCenter.
                                                                                                                                                                                                                                                                                                                                                                                                                      • +
                                                                                                                                                                                                                                                                                                                                                                                                                      • Developers using Ubuntu 22.04 will benefit immediately from these changes. However, developers on other operating systems may need to upgrade their glibc version to avoid compatibility issues.
                                                                                                                                                                                                                                                                                                                                                                                                                    -

                                                                                                                                                                                                                                                                                                                                                                                                                    중요한 버그 수정

                                                                                                                                                                                                                                                                                                                                                                                                                      -
                                                                                                                                                                                                                                                                                                                                                                                                                    • L0 압축 중 세그먼트가 생략되어 삭제 데이터가 손실되던 문제를 수정했습니다.[#33980, #34363]
                                                                                                                                                                                                                                                                                                                                                                                                                    • -
                                                                                                                                                                                                                                                                                                                                                                                                                    • 잘못된 데이터 범위 처리로 인해 삭제 메시지가 전달되지 않던 문제를 수정했습니다.(#35313)
                                                                                                                                                                                                                                                                                                                                                                                                                    • -
                                                                                                                                                                                                                                                                                                                                                                                                                    • mmap 의 잘못된 사용으로 인해 발생하는 SIGBUS 예외를 해결했습니다.[#34455, #34530]
                                                                                                                                                                                                                                                                                                                                                                                                                    • -
                                                                                                                                                                                                                                                                                                                                                                                                                    • 잘못된 검색 표현식으로 인해 발생하는 충돌을 수정했습니다.(#35307)
                                                                                                                                                                                                                                                                                                                                                                                                                    • -
                                                                                                                                                                                                                                                                                                                                                                                                                    • 감시 컨텍스트에서 잘못된 시간 초과 설정으로 인해 데이터 노드 감시가 실패하는 문제를 수정했습니다.(#35017)
                                                                                                                                                                                                                                                                                                                                                                                                                    • +

                                                                                                                                                                                                                                                                                                                                                                                                                      Critical bug fixes

                                                                                                                                                                                                                                                                                                                                                                                                                        +
                                                                                                                                                                                                                                                                                                                                                                                                                      • Fixed an issue where deletion data was lost due to segments being omitted during L0 compaction. [#33980, #34363]
                                                                                                                                                                                                                                                                                                                                                                                                                      • +
                                                                                                                                                                                                                                                                                                                                                                                                                      • Rectified a problem where delete messages failed to be forwarded due to incorrect data scope handling. (#35313)
                                                                                                                                                                                                                                                                                                                                                                                                                      • +
                                                                                                                                                                                                                                                                                                                                                                                                                      • Resolved a SIGBUS exception that occurred due to incorrect usage of mmap. [#34455, #34530]
                                                                                                                                                                                                                                                                                                                                                                                                                      • +
                                                                                                                                                                                                                                                                                                                                                                                                                      • Fixed crashes caused by illegal search expressions. (#35307)
                                                                                                                                                                                                                                                                                                                                                                                                                      • +
                                                                                                                                                                                                                                                                                                                                                                                                                      • Corrected an issue where DataNode watch failed due to an incorrect timeout setting in the watch context. (#35017)
                                                                                                                                                                                                                                                                                                                                                                                                                      -

                                                                                                                                                                                                                                                                                                                                                                                                                      버그 수정

                                                                                                                                                                                                                                                                                                                                                                                                                        -
                                                                                                                                                                                                                                                                                                                                                                                                                      • 특정 종속성을 업그레이드하여 보안 취약성을 해결했습니다.[#33927, #34693]
                                                                                                                                                                                                                                                                                                                                                                                                                      • -
                                                                                                                                                                                                                                                                                                                                                                                                                      • 지나치게 긴 표현식으로 인해 트리거되는 구문 분석 오류를 수정했습니다.(#34957)
                                                                                                                                                                                                                                                                                                                                                                                                                      • -
                                                                                                                                                                                                                                                                                                                                                                                                                      • 쿼리 계획 구문 분석 중에 발생하는 메모리 누수를 해결했습니다.(#34932)
                                                                                                                                                                                                                                                                                                                                                                                                                      • -
                                                                                                                                                                                                                                                                                                                                                                                                                      • 동적 로그 수준 수정이 적용되지 않던 문제를 수정했습니다.(#34777)
                                                                                                                                                                                                                                                                                                                                                                                                                      • -
                                                                                                                                                                                                                                                                                                                                                                                                                      • 초기화되지 않은 세그먼트 오프셋으로 인해 증가하는 데이터에 대한 쿼리 기준 그룹화가 실패하는 문제를 해결했습니다.(#34750)
                                                                                                                                                                                                                                                                                                                                                                                                                      • -
                                                                                                                                                                                                                                                                                                                                                                                                                      • Knowhere 반복기를 사용할 때 검색 매개변수 설정을 수정했습니다.(#34732)
                                                                                                                                                                                                                                                                                                                                                                                                                      • -
                                                                                                                                                                                                                                                                                                                                                                                                                      • 파티션 로드 상태를 확인하는 로직을 수정했습니다.(#34305)
                                                                                                                                                                                                                                                                                                                                                                                                                      • -
                                                                                                                                                                                                                                                                                                                                                                                                                      • 처리되지 않은 요청 오류로 인해 권한 캐시 업데이트가 실패하는 문제를 수정했습니다.(#34697)
                                                                                                                                                                                                                                                                                                                                                                                                                      • -
                                                                                                                                                                                                                                                                                                                                                                                                                      • 쿼리코드 재시작 후 로드된 컬렉션 복구에 실패하는 문제를 해결했습니다.(#35211)
                                                                                                                                                                                                                                                                                                                                                                                                                      • -
                                                                                                                                                                                                                                                                                                                                                                                                                      • 불필요한 인덱스 매개변수 유효성 검사를 제거하여 로드 무력화 문제를 수정했습니다.(#35179)
                                                                                                                                                                                                                                                                                                                                                                                                                      • -
                                                                                                                                                                                                                                                                                                                                                                                                                      • compressBinlog 이 실행되어 reloadFromKV 이 빈로그의 logID 을 제대로 채울 수 있도록 했습니다.(#34062)
                                                                                                                                                                                                                                                                                                                                                                                                                      • -
                                                                                                                                                                                                                                                                                                                                                                                                                      • DataCoord에서 가비지 수집 후 수집 메타데이터가 제거되지 않던 문제를 수정했습니다.(#34884)
                                                                                                                                                                                                                                                                                                                                                                                                                      • -
                                                                                                                                                                                                                                                                                                                                                                                                                      • 가져오기를 통해 생성된 플러시 세그먼트를 제거하여 DataCoord 내 SegmentManager의 메모리 누수를 해결했습니다.(#34651)
                                                                                                                                                                                                                                                                                                                                                                                                                      • -
                                                                                                                                                                                                                                                                                                                                                                                                                      • 압축이 비활성화되고 컬렉션이 삭제될 때 발생하는 패닉 문제를 수정했습니다.(#34206)
                                                                                                                                                                                                                                                                                                                                                                                                                      • -
                                                                                                                                                                                                                                                                                                                                                                                                                      • 메모리 사용량 추정 알고리즘을 개선하여 데이터 노드에서 메모리 부족 문제를 수정했습니다.(#34203)
                                                                                                                                                                                                                                                                                                                                                                                                                      • -
                                                                                                                                                                                                                                                                                                                                                                                                                      • 청크 캐시에 단일 비행을 구현하여 여러 벡터 검색 요청이 캐시 미스에 도달했을 때 버스트 메모리 사용을 방지했습니다.(#34283)
                                                                                                                                                                                                                                                                                                                                                                                                                      • -
                                                                                                                                                                                                                                                                                                                                                                                                                      • 구성에서 CAS(비교 및 스왑) 작업 중 ErrKeyNotFound 을 캡처했습니다.(#34489)
                                                                                                                                                                                                                                                                                                                                                                                                                      • -
                                                                                                                                                                                                                                                                                                                                                                                                                      • CAS 작업에서 형식이 지정된 값을 잘못 사용하여 구성 업데이트가 실패하는 문제를 수정했습니다.(#34373)
                                                                                                                                                                                                                                                                                                                                                                                                                      • +

                                                                                                                                                                                                                                                                                                                                                                                                                        Bug fixes

                                                                                                                                                                                                                                                                                                                                                                                                                          +
                                                                                                                                                                                                                                                                                                                                                                                                                        • Addressed security vulnerabilities by upgrading certain dependencies. [#33927, #34693]
                                                                                                                                                                                                                                                                                                                                                                                                                        • +
                                                                                                                                                                                                                                                                                                                                                                                                                        • Fixed a parsing error triggered by excessively long expressions. (#34957)
                                                                                                                                                                                                                                                                                                                                                                                                                        • +
                                                                                                                                                                                                                                                                                                                                                                                                                        • Resolved a memory leak that occurred during query plan parsing. (#34932)
                                                                                                                                                                                                                                                                                                                                                                                                                        • +
                                                                                                                                                                                                                                                                                                                                                                                                                        • Fixed an issue where dynamic log level modifications were not taking effect. (#34777)
                                                                                                                                                                                                                                                                                                                                                                                                                        • +
                                                                                                                                                                                                                                                                                                                                                                                                                        • Resolved an issue where group by queries on growing data failed due to uninitialized segment offsets. (#34750)
                                                                                                                                                                                                                                                                                                                                                                                                                        • +
                                                                                                                                                                                                                                                                                                                                                                                                                        • Corrected the setting of search parameters when using the Knowhere iterator. (#34732)
                                                                                                                                                                                                                                                                                                                                                                                                                        • +
                                                                                                                                                                                                                                                                                                                                                                                                                        • Revised the logic for checking the status of the partition load. (#34305)
                                                                                                                                                                                                                                                                                                                                                                                                                        • +
                                                                                                                                                                                                                                                                                                                                                                                                                        • Fixed an issue where privilege cache updates failed due to unhandled request errors. (#34697)
                                                                                                                                                                                                                                                                                                                                                                                                                        • +
                                                                                                                                                                                                                                                                                                                                                                                                                        • Resolved a failure in loaded collection recovery after QueryCoord restarted. (#35211)
                                                                                                                                                                                                                                                                                                                                                                                                                        • +
                                                                                                                                                                                                                                                                                                                                                                                                                        • Fixed an issue of load idempotence by removing unnecessary index parameter validation. (#35179)
                                                                                                                                                                                                                                                                                                                                                                                                                        • +
                                                                                                                                                                                                                                                                                                                                                                                                                        • Ensured compressBinlog is executed to allow reloadFromKV to properly fill binlog’s logID after DataCoord restarts. (#34062)
                                                                                                                                                                                                                                                                                                                                                                                                                        • +
                                                                                                                                                                                                                                                                                                                                                                                                                        • Fixed an issue where collection metadata was not removed after garbage collection in DataCoord. (#34884)
                                                                                                                                                                                                                                                                                                                                                                                                                        • +
                                                                                                                                                                                                                                                                                                                                                                                                                        • Resolved a memory leak in SegmentManager within DataCoord by removing flushed segments generated through imports. (#34651)
                                                                                                                                                                                                                                                                                                                                                                                                                        • +
                                                                                                                                                                                                                                                                                                                                                                                                                        • Fixed a panic issue when compaction was disabled and a collection was dropped. (#34206)
                                                                                                                                                                                                                                                                                                                                                                                                                        • +
                                                                                                                                                                                                                                                                                                                                                                                                                        • Fixed an out-of-memory issue in DataNode by enhancing the memory usage estimation algorithm. (#34203)
                                                                                                                                                                                                                                                                                                                                                                                                                        • +
                                                                                                                                                                                                                                                                                                                                                                                                                        • Prevented burst memory usage when multiple vector retrieval requests hit a cache miss by implementing singleflight for chunk cache. (#34283)
                                                                                                                                                                                                                                                                                                                                                                                                                        • +
                                                                                                                                                                                                                                                                                                                                                                                                                        • Captured ErrKeyNotFound during CAS (Compare and Swap) operations in the configuration. (#34489)
                                                                                                                                                                                                                                                                                                                                                                                                                        • +
                                                                                                                                                                                                                                                                                                                                                                                                                        • Fixed an issue where configuration updates failed due to mistakenly using the formatted value in a CAS operation. (#34373)
                                                                                                                                                                                                                                                                                                                                                                                                                        -

                                                                                                                                                                                                                                                                                                                                                                                                                        기타

                                                                                                                                                                                                                                                                                                                                                                                                                          -
                                                                                                                                                                                                                                                                                                                                                                                                                        • 통합 가시성 및 모니터링 기능을 향상시키는 OTLP HTTP 내보내기에 대한 지원이 추가되었습니다.[#35073, #35299]
                                                                                                                                                                                                                                                                                                                                                                                                                        • -
                                                                                                                                                                                                                                                                                                                                                                                                                        • 이제 동적으로 수정할 수 있는 '최대 컬렉션' 및 '디스크 할당량'과 같은 속성을 도입하여 데이터베이스 기능을 개선했습니다.[#34511, #34386]
                                                                                                                                                                                                                                                                                                                                                                                                                        • -
                                                                                                                                                                                                                                                                                                                                                                                                                        • 진단 및 모니터링을 개선하기 위해 DataNode 내에서 L0 압축 프로세스에 대한 추적 기능을 추가했습니다.(#33898)
                                                                                                                                                                                                                                                                                                                                                                                                                        • -
                                                                                                                                                                                                                                                                                                                                                                                                                        • 컬렉션당 L0 세그먼트 항목 수에 대한 할당량 구성을 도입하여, 역압력을 적용하여 삭제율을 더 잘 제어할 수 있도록 했습니다.(#34837)
                                                                                                                                                                                                                                                                                                                                                                                                                        • -
                                                                                                                                                                                                                                                                                                                                                                                                                        • 삽입 작업에 대한 속도 제한 메커니즘을 업서트 작업에도 적용하도록 확장하여 부하가 높을 때에도 일관된 성능을 보장합니다.(#34616)
                                                                                                                                                                                                                                                                                                                                                                                                                        • -
                                                                                                                                                                                                                                                                                                                                                                                                                        • 프록시 CGO 호출을 위한 동적 CGO 풀을 구현하여 리소스 사용량과 성능을 최적화했습니다.(#34842)
                                                                                                                                                                                                                                                                                                                                                                                                                        • -
                                                                                                                                                                                                                                                                                                                                                                                                                        • 우분투, 록키 및 아마존 운영 체제에서 DiskAnn 컴파일 옵션을 활성화하여 해당 플랫폼에서의 호환성 및 성능을 개선했습니다.(#34244)
                                                                                                                                                                                                                                                                                                                                                                                                                        • -
                                                                                                                                                                                                                                                                                                                                                                                                                        • Conan을 1.64.1 버전으로 업그레이드하여 최신 기능 및 개선 사항과의 호환성을 보장합니다.(#35216)
                                                                                                                                                                                                                                                                                                                                                                                                                        • -
                                                                                                                                                                                                                                                                                                                                                                                                                        • Knowhere를 2.3.7 버전으로 업데이트하여 성능 향상과 새로운 기능을 추가했습니다.(#34709)
                                                                                                                                                                                                                                                                                                                                                                                                                        • -
                                                                                                                                                                                                                                                                                                                                                                                                                        • 일관된 빌드를 보장하고 예기치 않은 변경의 위험을 줄이기 위해 특정 타사 패키지의 리비전을 수정했습니다.(#35316)
                                                                                                                                                                                                                                                                                                                                                                                                                        • +

                                                                                                                                                                                                                                                                                                                                                                                                                          Miscellaneous

                                                                                                                                                                                                                                                                                                                                                                                                                            +
                                                                                                                                                                                                                                                                                                                                                                                                                          • Added support for the OTLP HTTP exporter, enhancing observability and monitoring capabilities. [#35073, #35299]
                                                                                                                                                                                                                                                                                                                                                                                                                          • +
                                                                                                                                                                                                                                                                                                                                                                                                                          • Enhanced database functionality by introducing properties such as “max collections” and “disk quota,” which can now be dynamically modified. [#34511, #34386]
                                                                                                                                                                                                                                                                                                                                                                                                                          • +
                                                                                                                                                                                                                                                                                                                                                                                                                          • Added tracing capabilities for L0 compaction processes within DataNode to improve diagnostics and monitoring. (#33898)
                                                                                                                                                                                                                                                                                                                                                                                                                          • +
                                                                                                                                                                                                                                                                                                                                                                                                                          • Introduced quota configuration for the number of L0 segment entries per collection, enabling better control over deletion rates by applying backpressure. (#34837)
                                                                                                                                                                                                                                                                                                                                                                                                                          • +
                                                                                                                                                                                                                                                                                                                                                                                                                          • Extended the rate-limiting mechanism for insert operations to also cover upsert operations, ensuring consistent performance under high load. (#34616)
                                                                                                                                                                                                                                                                                                                                                                                                                          • +
                                                                                                                                                                                                                                                                                                                                                                                                                          • Implemented a dynamic CGO pool for proxy CGO calls, optimizing resource usage and performance. (#34842)
                                                                                                                                                                                                                                                                                                                                                                                                                          • +
                                                                                                                                                                                                                                                                                                                                                                                                                          • Enabled the DiskAnn compile option for Ubuntu, Rocky, and Amazon operating systems, improving compatibility and performance on these platforms. (#34244)
                                                                                                                                                                                                                                                                                                                                                                                                                          • +
                                                                                                                                                                                                                                                                                                                                                                                                                          • Upgraded Conan to version 1.64.1, ensuring compatibility with the latest features and improvements. (#35216)
                                                                                                                                                                                                                                                                                                                                                                                                                          • +
                                                                                                                                                                                                                                                                                                                                                                                                                          • Updated Knowhere to version 2.3.7, bringing in performance enhancements and new features. (#34709)
                                                                                                                                                                                                                                                                                                                                                                                                                          • +
                                                                                                                                                                                                                                                                                                                                                                                                                          • Fixed the revision of specific third-party packages to ensure consistent builds and reduce the risk of unexpected changes. (#35316)

                                                                                                                                                                                                                                                                                                                                                                                                                          v2.4.6

                                                                                                                                                                                                                                                                                                                                                                                                                          릴리스 날짜: 2024년 7월 16일

                                                                                                                                                                                                                                                                                                                                                                                                                          +

                                                                                                                                                                                                                                                                                                                                                                                                                          Release date: July 16, 2024

                                                                                                                                                                                                                                                                                                                                                                                                                          - +
                                                                                                                                                                                                                                                                                                                                                                                                                          Milvus 버전Python SDK 버전Java SDK 버전Node.js SDK 버전
                                                                                                                                                                                                                                                                                                                                                                                                                          Milvus versionPython SDK versionJava SDK versionNode.js SDK version
                                                                                                                                                                                                                                                                                                                                                                                                                          2.4.62.4.42.4.22.4.4
                                                                                                                                                                                                                                                                                                                                                                                                                          -

                                                                                                                                                                                                                                                                                                                                                                                                                          Milvus v2.4.6은 삭제 중 패닉, 메모리 누수, 데이터 손실과 같은 중요한 문제를 해결하는 버그 수정 릴리스입니다. 또한 모니터링 지표 개선, Go 버전 1.21 업그레이드, RESTful 카운트(*) 쿼리에 대한 사용자 환경 개선 등 몇 가지 최적화 기능도 도입되었습니다.

                                                                                                                                                                                                                                                                                                                                                                                                                          -

                                                                                                                                                                                                                                                                                                                                                                                                                          개선 사항

                                                                                                                                                                                                                                                                                                                                                                                                                            -
                                                                                                                                                                                                                                                                                                                                                                                                                          • RESTful API 쿼리의 사용자 편의성이 향상되었습니다(#34444).
                                                                                                                                                                                                                                                                                                                                                                                                                          • -
                                                                                                                                                                                                                                                                                                                                                                                                                          • Go 버전이 1.20에서 1.21로 업그레이드되었습니다(#33940).
                                                                                                                                                                                                                                                                                                                                                                                                                          • -
                                                                                                                                                                                                                                                                                                                                                                                                                          • 히스토그램 메트릭 버킷을 최적화하여 버킷을 더 세분화했습니다(#34592).
                                                                                                                                                                                                                                                                                                                                                                                                                          • -
                                                                                                                                                                                                                                                                                                                                                                                                                          • Pulsar 종속성 버전을 2.8.2에서 2.9.5로 업그레이드했습니다. Milvus 2.4.6부터는 Pulsar를 2.9.5로 업그레이드하는 것이 좋습니다.
                                                                                                                                                                                                                                                                                                                                                                                                                          • +

                                                                                                                                                                                                                                                                                                                                                                                                                            Milvus v2.4.6 is a bug-fix release that addresses critical issues such as panics, memory leaks, and data loss during deletions. It also introduces several optimizations, including enhancements to monitoring metrics, upgrading the Go version to 1.21, and improving the user experience for RESTful count(*) queries.

                                                                                                                                                                                                                                                                                                                                                                                                                            +

                                                                                                                                                                                                                                                                                                                                                                                                                            Improvements

                                                                                                                                                                                                                                                                                                                                                                                                                              +
                                                                                                                                                                                                                                                                                                                                                                                                                            • Enhanced the user-friendliness of RESTful API queries (#34444).
                                                                                                                                                                                                                                                                                                                                                                                                                            • +
                                                                                                                                                                                                                                                                                                                                                                                                                            • Upgraded the Go version from 1.20 to 1.21 (#33940).
                                                                                                                                                                                                                                                                                                                                                                                                                            • +
                                                                                                                                                                                                                                                                                                                                                                                                                            • Optimized the histogram metric bucket for finer granularity in bucketing (#34592).
                                                                                                                                                                                                                                                                                                                                                                                                                            • +
                                                                                                                                                                                                                                                                                                                                                                                                                            • Upgraded Pulsar dependency version from 2.8.2 to 2.9.5. It’s recommended to upgrade Pulsar to 2.9.5 since Milvus 2.4.6.
                                                                                                                                                                                                                                                                                                                                                                                                                            -

                                                                                                                                                                                                                                                                                                                                                                                                                            버그 수정

                                                                                                                                                                                                                                                                                                                                                                                                                              -
                                                                                                                                                                                                                                                                                                                                                                                                                            • GetReplicas API가 nil 상태를 반환하는 문제를 수정했습니다(#34019).
                                                                                                                                                                                                                                                                                                                                                                                                                            • -
                                                                                                                                                                                                                                                                                                                                                                                                                            • 쿼리가 삭제된 레코드를 반환할 수 있는 문제를 수정했습니다(#34502).
                                                                                                                                                                                                                                                                                                                                                                                                                            • -
                                                                                                                                                                                                                                                                                                                                                                                                                            • 잘못된 수명 제어로 인해 인덱스노드가 중지되는 동안 멈추는 문제를 해결했습니다(#34559).
                                                                                                                                                                                                                                                                                                                                                                                                                            • -
                                                                                                                                                                                                                                                                                                                                                                                                                            • 워커가 오프라인 상태일 때 기본 키 오라클 객체의 메모리 누수를 수정했습니다(#34020).
                                                                                                                                                                                                                                                                                                                                                                                                                            • -
                                                                                                                                                                                                                                                                                                                                                                                                                            • 루프 종료 시 매개변수 캡처 문제를 해결하여 올바른 노드에 알릴 수 있도록 ChannelManagerImplV2를 수정했습니다(#34004).
                                                                                                                                                                                                                                                                                                                                                                                                                            • -
                                                                                                                                                                                                                                                                                                                                                                                                                            • 딥 카피(#34126)를 구현하여 ImportTask segmentsInfo의 읽기-쓰기 데이터 경합을 수정했습니다.
                                                                                                                                                                                                                                                                                                                                                                                                                            • -
                                                                                                                                                                                                                                                                                                                                                                                                                            • 롤링 업그레이드 중 오류를 방지하기 위해 "legacyVersionWithoutRPCWatch" 구성 옵션의 버전 정보를 수정했습니다(#34185).
                                                                                                                                                                                                                                                                                                                                                                                                                            • -
                                                                                                                                                                                                                                                                                                                                                                                                                            • 로드된 파티션 수에 대한 메트릭을 수정했습니다(#34195).
                                                                                                                                                                                                                                                                                                                                                                                                                            • -
                                                                                                                                                                                                                                                                                                                                                                                                                            • 세그코어 추적을 설정할 때 otlpSecure 구성을 전달했습니다(#34210).
                                                                                                                                                                                                                                                                                                                                                                                                                            • -
                                                                                                                                                                                                                                                                                                                                                                                                                            • DataCoord의 속성을 실수로 덮어쓰는 문제를 수정했습니다(#34240).
                                                                                                                                                                                                                                                                                                                                                                                                                            • -
                                                                                                                                                                                                                                                                                                                                                                                                                            • 새로 생성된 두 개의 메시지 스트림이 잘못 병합되어 발생하는 데이터 손실 문제를 해결했습니다(#34563).
                                                                                                                                                                                                                                                                                                                                                                                                                            • -
                                                                                                                                                                                                                                                                                                                                                                                                                            • 메시지 스트림이 잘못된 p채널을 사용하려고 할 때 발생하는 패닉 현상을 수정했습니다(#34230).
                                                                                                                                                                                                                                                                                                                                                                                                                            • -
                                                                                                                                                                                                                                                                                                                                                                                                                            • 가져오기가 고아 파일을 생성할 수 있는 문제를 해결했습니다(#34071).
                                                                                                                                                                                                                                                                                                                                                                                                                            • -
                                                                                                                                                                                                                                                                                                                                                                                                                            • 세그먼트의 기본 키가 중복되어 쿼리 결과가 불완전한 문제를 수정했습니다(#34302).
                                                                                                                                                                                                                                                                                                                                                                                                                            • -
                                                                                                                                                                                                                                                                                                                                                                                                                            • L0 압축에서 봉인된 세그먼트가 누락되는 문제를 해결했습니다(#34566).
                                                                                                                                                                                                                                                                                                                                                                                                                            • -
                                                                                                                                                                                                                                                                                                                                                                                                                            • 가비지 수집 후 생성된 채널-cp 메타에서 더티 데이터가 발생하는 문제를 수정했습니다(#34609).
                                                                                                                                                                                                                                                                                                                                                                                                                            • -
                                                                                                                                                                                                                                                                                                                                                                                                                            • 루트코드 재시작 후 database_num이 0인 메트릭을 수정했습니다(#34010).
                                                                                                                                                                                                                                                                                                                                                                                                                            • -
                                                                                                                                                                                                                                                                                                                                                                                                                            • 가져오기를 통해 생성된 플러시 세그먼트를 제거하여 DataCoord의 SegmentManager에서 메모리 누수를 수정했습니다(#34652).
                                                                                                                                                                                                                                                                                                                                                                                                                            • -
                                                                                                                                                                                                                                                                                                                                                                                                                            • DataCoord가 재시작된 후 압축빈로그가 빈로그의 logID를 채우도록 하여 KV에서 제대로 다시 로드되도록 보장합니다(#34064).
                                                                                                                                                                                                                                                                                                                                                                                                                            • +

                                                                                                                                                                                                                                                                                                                                                                                                                              Bug fixes

                                                                                                                                                                                                                                                                                                                                                                                                                                +
                                                                                                                                                                                                                                                                                                                                                                                                                              • Fixed an issue where the GetReplicas API returned a nil status (#34019).
                                                                                                                                                                                                                                                                                                                                                                                                                              • +
                                                                                                                                                                                                                                                                                                                                                                                                                              • Corrected a problem where queries could return deleted records (#34502).
                                                                                                                                                                                                                                                                                                                                                                                                                              • +
                                                                                                                                                                                                                                                                                                                                                                                                                              • Resolved an issue where IndexNode would get stuck during stopping due to incorrect lifetime control (#34559).
                                                                                                                                                                                                                                                                                                                                                                                                                              • +
                                                                                                                                                                                                                                                                                                                                                                                                                              • Fixed a memory leak of primary key oracle objects when a worker is offline (#34020).
                                                                                                                                                                                                                                                                                                                                                                                                                              • +
                                                                                                                                                                                                                                                                                                                                                                                                                              • Corrected ChannelManagerImplV2 to notify the correct Node, addressing parameter capture issues in loop closure (#34004).
                                                                                                                                                                                                                                                                                                                                                                                                                              • +
                                                                                                                                                                                                                                                                                                                                                                                                                              • Fixed a read-write data race in ImportTask segmentsInfo by implementing a deep copy (#34126).
                                                                                                                                                                                                                                                                                                                                                                                                                              • +
                                                                                                                                                                                                                                                                                                                                                                                                                              • Corrected version information for the “legacyVersionWithoutRPCWatch” configuration option to prevent errors during rolling upgrades (#34185).
                                                                                                                                                                                                                                                                                                                                                                                                                              • +
                                                                                                                                                                                                                                                                                                                                                                                                                              • Fixed the metric for the number of partitions loaded (#34195).
                                                                                                                                                                                                                                                                                                                                                                                                                              • +
                                                                                                                                                                                                                                                                                                                                                                                                                              • Passed the otlpSecure config when setting up segcore tracing (#34210).
                                                                                                                                                                                                                                                                                                                                                                                                                              • +
                                                                                                                                                                                                                                                                                                                                                                                                                              • Fixed an issue where DataCoord’s properties were overwritten by mistake (#34240).
                                                                                                                                                                                                                                                                                                                                                                                                                              • +
                                                                                                                                                                                                                                                                                                                                                                                                                              • Resolved a data loss issue caused by erroneously merging two newly created message streams (#34563).
                                                                                                                                                                                                                                                                                                                                                                                                                              • +
                                                                                                                                                                                                                                                                                                                                                                                                                              • Fixed a panic caused by msgstream trying to consume an invalid pchannel (#34230).
                                                                                                                                                                                                                                                                                                                                                                                                                              • +
                                                                                                                                                                                                                                                                                                                                                                                                                              • Addressed an issue where imports could generate orphaned files (#34071).
                                                                                                                                                                                                                                                                                                                                                                                                                              • +
                                                                                                                                                                                                                                                                                                                                                                                                                              • Fixed incomplete query results due to duplicate primary keys in a segment (#34302).
                                                                                                                                                                                                                                                                                                                                                                                                                              • +
                                                                                                                                                                                                                                                                                                                                                                                                                              • Resolved an issue of missing sealed segments in L0 compaction (#34566).
                                                                                                                                                                                                                                                                                                                                                                                                                              • +
                                                                                                                                                                                                                                                                                                                                                                                                                              • Fixed the problem of dirty data in the channel-cp meta generated after garbage collection (#34609).
                                                                                                                                                                                                                                                                                                                                                                                                                              • +
                                                                                                                                                                                                                                                                                                                                                                                                                              • Corrected the metrics where database_num was 0 after restarting RootCoord (#34010).
                                                                                                                                                                                                                                                                                                                                                                                                                              • +
                                                                                                                                                                                                                                                                                                                                                                                                                              • Fixed a memory leak in SegmentManager in DataCoord by removing flushed segments generated through import (#34652).
                                                                                                                                                                                                                                                                                                                                                                                                                              • +
                                                                                                                                                                                                                                                                                                                                                                                                                              • Ensured compressBinlog to fill binlogs’ logID after DataCoord restarts, ensuring proper reload from KV (#34064).

                                                                                                                                                                                                                                                                                                                                                                                                                              v2.4.5

                                                                                                                                                                                                                                                                                                                                                                                                                              릴리스 날짜: 2024년 6월 18일

                                                                                                                                                                                                                                                                                                                                                                                                                              +

                                                                                                                                                                                                                                                                                                                                                                                                                              Release date: June 18, 2024

                                                                                                                                                                                                                                                                                                                                                                                                                              - +
                                                                                                                                                                                                                                                                                                                                                                                                                              Milvus 버전Python SDK 버전Java SDK 버전Node.js SDK 버전
                                                                                                                                                                                                                                                                                                                                                                                                                              Milvus versionPython SDK versionJava SDK versionNode.js SDK version
                                                                                                                                                                                                                                                                                                                                                                                                                              2.4.52.4.42.4.12.4.3
                                                                                                                                                                                                                                                                                                                                                                                                                              -

                                                                                                                                                                                                                                                                                                                                                                                                                              Milvus 2.4.5 릴리스에는 성능, 안정성 및 기능 향상을 위한 몇 가지 개선 사항과 버그 수정이 도입되었습니다. Milvus 2.4.5는 자동 인덱싱을 통해 스파스, float16, bfloat16 벡터 검색을 간소화하고, 블룸 필터 최적화를 통해 검색, 삭제, 압축 속도를 높이며, 로딩 시간 단축과 L0 세그먼트 가져오기 지원을 통해 데이터 관리 문제를 해결합니다. 또한 효율적인 고차원 스파스 데이터 검색을 위해 스파스 HNSW 인덱스를 도입하고, 스파스 플로트 벡터 지원으로 RESTful API를 개선하며, 안정성 향상을 위해 중요한 버그를 수정합니다.

                                                                                                                                                                                                                                                                                                                                                                                                                              -

                                                                                                                                                                                                                                                                                                                                                                                                                              새로운 기능

                                                                                                                                                                                                                                                                                                                                                                                                                                -
                                                                                                                                                                                                                                                                                                                                                                                                                              • 데이터베이스 API 설명/변경에 rbac 지원 추가(#33804)
                                                                                                                                                                                                                                                                                                                                                                                                                              • -
                                                                                                                                                                                                                                                                                                                                                                                                                              • 스파스 벡터에 대한 HNSW 인덱스 구축 지원(#33653, #33662)
                                                                                                                                                                                                                                                                                                                                                                                                                              • -
                                                                                                                                                                                                                                                                                                                                                                                                                              • 바이너리 벡터에 대한 디스크 인덱스 구축 지원(#33575).
                                                                                                                                                                                                                                                                                                                                                                                                                              • -
                                                                                                                                                                                                                                                                                                                                                                                                                              • RESTful v2에서 지원되는 스파스 벡터 유형(#33555)
                                                                                                                                                                                                                                                                                                                                                                                                                              • -
                                                                                                                                                                                                                                                                                                                                                                                                                              • 구성 요소를 중지하기 위해 /management/stop RESTful API 추가(#33799).
                                                                                                                                                                                                                                                                                                                                                                                                                              • +

                                                                                                                                                                                                                                                                                                                                                                                                                                The release of Milvus 2.4.5 introduces several improvements and bug fixes to enhance performance, stability, and functionality. Milvus 2.4.5 simplifies sparse, float16, and bfloat16 vector search with auto-indexing, speeds up searches, deletions, and compactions with Bloom filter optimizations, and tackles data management through faster loading times and import L0 segment support. It also introduces the sparse HNSW index for efficient high-dimensional sparse data search, enhances the RESTful API with sparse float vector support, and fixes critical bugs for better stability.

                                                                                                                                                                                                                                                                                                                                                                                                                                +

                                                                                                                                                                                                                                                                                                                                                                                                                                New Features

                                                                                                                                                                                                                                                                                                                                                                                                                                  +
                                                                                                                                                                                                                                                                                                                                                                                                                                • Added rbac support to describe/alter database api (#33804)
                                                                                                                                                                                                                                                                                                                                                                                                                                • +
                                                                                                                                                                                                                                                                                                                                                                                                                                • Supported building the HNSW index for sparse vectors (#33653, #33662)
                                                                                                                                                                                                                                                                                                                                                                                                                                • +
                                                                                                                                                                                                                                                                                                                                                                                                                                • Supported building the Disk index for binary vector (#33575)
                                                                                                                                                                                                                                                                                                                                                                                                                                • +
                                                                                                                                                                                                                                                                                                                                                                                                                                • Supported sparse vector type on RESTful v2 (#33555)
                                                                                                                                                                                                                                                                                                                                                                                                                                • +
                                                                                                                                                                                                                                                                                                                                                                                                                                • Add /management/stop RESTful api to stop a component (#33799)
                                                                                                                                                                                                                                                                                                                                                                                                                                -

                                                                                                                                                                                                                                                                                                                                                                                                                                개선 사항

                                                                                                                                                                                                                                                                                                                                                                                                                                  -
                                                                                                                                                                                                                                                                                                                                                                                                                                • maxPartitionNum 기본값을 1024로 설정(#33950).
                                                                                                                                                                                                                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                                                                                                                                                                                                                • 사용할 수 없는 오류 발생 시 연결 강제 재설정 활성화(#33910)
                                                                                                                                                                                                                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                                                                                                                                                                                                                • 수집 레벨의 플러시 속도 제한기 활성화(#33864)
                                                                                                                                                                                                                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                                                                                                                                                                                                                • 세그먼트 예측 속도를 높이기 위해 블룸 필터 적용을 병렬로 실행(#33793).
                                                                                                                                                                                                                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                                                                                                                                                                                                                • 삭제 로그 언마샬에 fastjson lib를 사용하여 json.Unmarshal(#33802) 속도 향상.
                                                                                                                                                                                                                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                                                                                                                                                                                                                • 블룸 필터 함수 호출 비용을 줄이기 위해 BatchPkExist를 사용(#33752).
                                                                                                                                                                                                                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                                                                                                                                                                                                                • 작은 컬렉션의 로딩 속도 향상(#33746)
                                                                                                                                                                                                                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                                                                                                                                                                                                                • L0 세그먼트로 데이터 삭제 가져오기 지원(#33712)
                                                                                                                                                                                                                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                                                                                                                                                                                                                • 동일한 작업을 반복해서 실행하는 aviod에 마크 압축 작업 시간 초과 건너뛰기(#33833)
                                                                                                                                                                                                                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                                                                                                                                                                                                                • 널빤지 대량 삽입에서 float16 및 bfloat16 벡터를 BinaryVector와 동일하게 처리 (#33788).
                                                                                                                                                                                                                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                                                                                                                                                                                                                • seek 메서드에 includeCurrentMsg 플래그를 추가했습니다(#33743).
                                                                                                                                                                                                                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                                                                                                                                                                                                                • mergeInterval, targetBufSize, msgdispatcher의 최대 허용 지연을 구성에 추가했습니다(#33680).
                                                                                                                                                                                                                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                                                                                                                                                                                                                • 스파스 벡터의 GetVectorByID 개선(#33652).
                                                                                                                                                                                                                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                                                                                                                                                                                                                • 불필요한 복사 및 함수 호출 비용을 줄이기 위해 StringPrimarykey를 제거했습니다 (#33649).
                                                                                                                                                                                                                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                                                                                                                                                                                                                • 바이너리/스파스 데이터 타입에 대한 자동 인덱스 매핑 추가(#33625).
                                                                                                                                                                                                                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                                                                                                                                                                                                                • 메모리 사용량을 줄이기 위해 일부 캐시 최적화(#33560)
                                                                                                                                                                                                                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                                                                                                                                                                                                                • 가져오기/사전 가져오기 작업을 위한 실행 인터페이스 추상화 (#33607).
                                                                                                                                                                                                                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                                                                                                                                                                                                                • 버퍼 삽입에서 맵 pk를 타임스탬프에 사용하여 bf 원인을 줄임(#33582).
                                                                                                                                                                                                                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                                                                                                                                                                                                                • 가져오기의 중복 메타 작업 방지(#33519)
                                                                                                                                                                                                                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                                                                                                                                                                                                                • 더 나은 디스크 할당량 정보 로깅, UseDefaultConsistency 플래그 추가, 불필요한 로그 제거를 통해 로그 개선(#33597, #33644, #33670).
                                                                                                                                                                                                                                                                                                                                                                                                                                • +

                                                                                                                                                                                                                                                                                                                                                                                                                                  Improvements

                                                                                                                                                                                                                                                                                                                                                                                                                                    +
                                                                                                                                                                                                                                                                                                                                                                                                                                  • Set maxPartitionNum default value to 1024 (#33950)
                                                                                                                                                                                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                                                                                                                                                                                  • Enabled to Force reset connection for unavailable error (#33910)
                                                                                                                                                                                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                                                                                                                                                                                  • Enabled flush rate limiter of collection level (#33864)
                                                                                                                                                                                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                                                                                                                                                                                  • Executed bloom filter apply in parallel to speed up segment predict (#33793)
                                                                                                                                                                                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                                                                                                                                                                                  • Used fastjson lib for unmarshal delete log to speed up json.Unmarshal(#33802)
                                                                                                                                                                                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                                                                                                                                                                                  • Used BatchPkExist to reduce bloom filter func call cost (#33752)
                                                                                                                                                                                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                                                                                                                                                                                  • Speeded up the loading of small collections (#33746)
                                                                                                                                                                                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                                                                                                                                                                                  • Supported import delete data to L0 segment (#33712)
                                                                                                                                                                                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                                                                                                                                                                                  • Skipped mark compaction tasks to be timeouted to aviod executing the same task over and over again (#33833)
                                                                                                                                                                                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                                                                                                                                                                                  • Handled float16 and bfloat16 vectors as same as BinaryVector in numpy bulk insert (#33788)
                                                                                                                                                                                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                                                                                                                                                                                  • Added the includeCurrentMsg flag for the seek method (#33743)
                                                                                                                                                                                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                                                                                                                                                                                  • Added mergeInterval, targetBufSize, maxTolerantLagof msgdispatcher to configs (#33680)
                                                                                                                                                                                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                                                                                                                                                                                  • Improved GetVectorByID of sparse vector (#33652)
                                                                                                                                                                                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                                                                                                                                                                                  • Removed StringPrimarykey to reduce unnecessary copy and function call cost (#33649)
                                                                                                                                                                                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                                                                                                                                                                                  • Added autoindex mapping for binary/sparse data type (#33625)
                                                                                                                                                                                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                                                                                                                                                                                  • Optimized some cache to reduce memory usage (#33560)
                                                                                                                                                                                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                                                                                                                                                                                  • Abstracted execute interface for import/preimport task (#33607)
                                                                                                                                                                                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                                                                                                                                                                                  • Used map pk to timestamp in buffer insert to reduce bf causes (#33582)
                                                                                                                                                                                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                                                                                                                                                                                  • Avoided redundant meta operations of import (#33519)
                                                                                                                                                                                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                                                                                                                                                                                  • Improve logs by logging better disk quota info, adding UseDefaultConsistency flag, removing unnecessary logs (#33597, #33644, #33670)
                                                                                                                                                                                                                                                                                                                                                                                                                                  -

                                                                                                                                                                                                                                                                                                                                                                                                                                  버그 수정

                                                                                                                                                                                                                                                                                                                                                                                                                                    -
                                                                                                                                                                                                                                                                                                                                                                                                                                  • 쿼리훅이 벡터 유형을 인식할 수 없는 버그 수정(#33911)
                                                                                                                                                                                                                                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                                                                                                                                                                                                                                  • 캡처된 반복 변수 partitionID 사용 방지(#33970)
                                                                                                                                                                                                                                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                                                                                                                                                                                                                                  • 밀버스가 바이너리 및 스파스 벡터에서 자동 인덱스를 생성할 수 없는 버그를 수정했습니다(#33867).
                                                                                                                                                                                                                                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                                                                                                                                                                                                                                  • 모든 벡터의 잘못된 인덱스 파라미터에서 인덱스 노드가 인덱스 생성을 다시 시도할 수 있는 버그를 수정했습니다(#33878).
                                                                                                                                                                                                                                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                                                                                                                                                                                                                                  • 로드와 릴리스가 동시에 발생하면 서버가 충돌할 수 있는 버그 수정(#33699)
                                                                                                                                                                                                                                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                                                                                                                                                                                                                                  • 구성 값에 대한 캐시 일관성 개선(#33797)
                                                                                                                                                                                                                                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                                                                                                                                                                                                                                  • 삭제 중 데이터 손실 가능성 방지(#33821)
                                                                                                                                                                                                                                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                                                                                                                                                                                                                                  • 컬렉션 삭제 후 DroppedAt 필드(삭제 타임스탬프일 가능성이 있는)가 설정되도록 함(#33767).
                                                                                                                                                                                                                                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                                                                                                                                                                                                                                  • Milvus가 바이너리 벡터 데이터 크기를 잘못 처리할 수 있는 문제를 수정했습니다(#33751).
                                                                                                                                                                                                                                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                                                                                                                                                                                                                                  • 민감한 Kafka 자격 증명이 일반 텍스트로 로그인되는 것을 방지했습니다.(#33694, #33747).
                                                                                                                                                                                                                                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                                                                                                                                                                                                                                  • Milvus에서 여러 벡터 필드가 있는 데이터를 올바르게 가져올 수 있도록 수정.(#33724)
                                                                                                                                                                                                                                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                                                                                                                                                                                                                                  • 시작하기 전에 가져오기 작업이 존재하는지 확인하여 가져오기 안정성을 향상시켰습니다.(#33673)
                                                                                                                                                                                                                                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                                                                                                                                                                                                                                  • 희소 HNSW 인덱스 처리 개선(내부 기능)(#33714)
                                                                                                                                                                                                                                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                                                                                                                                                                                                                                  • 메모리 누수를 방지하기 위해 벡터 메모리 정리(#33708)
                                                                                                                                                                                                                                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                                                                                                                                                                                                                                  • 상태 잠금 문제를 수정하여 비동기 워밍업이 더 원활해졌습니다.(#33687).
                                                                                                                                                                                                                                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                                                                                                                                                                                                                                  • 쿼리 이터레이터에서 결과가 누락될 수 있는 버그를 해결했습니다.(#33506)
                                                                                                                                                                                                                                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                                                                                                                                                                                                                                  • 가져오기 세그먼트 크기가 고르지 않을 수 있는 버그를 수정했습니다(#33634).
                                                                                                                                                                                                                                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                                                                                                                                                                                                                                  • bf16, fp16 및 이진 벡터 유형에 대한 잘못된 데이터 크기 처리 수정(#33488)
                                                                                                                                                                                                                                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                                                                                                                                                                                                                                  • L0 압축기의 잠재적 문제를 해결하여 안정성 개선(#33564)
                                                                                                                                                                                                                                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                                                                                                                                                                                                                                  • 동적 구성 업데이트가 캐시에 올바르게 반영되도록 보장.(#33590)
                                                                                                                                                                                                                                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                                                                                                                                                                                                                                  • RootCoordQuotaStates 메트릭의 정확성 개선(#33601)
                                                                                                                                                                                                                                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                                                                                                                                                                                                                                  • 메트릭에서 로드된 엔티티의 수를 정확하게 보고하도록 보장(#33522)
                                                                                                                                                                                                                                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                                                                                                                                                                                                                                  • 예외 로그에 보다 완전한 정보를 제공. (#33396)
                                                                                                                                                                                                                                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                                                                                                                                                                                                                                  • 불필요한 그룹 검사기를 제거하여 쿼리 파이프라인 최적화(#33485)
                                                                                                                                                                                                                                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                                                                                                                                                                                                                                  • 인덱스 노드에서 보다 정확한 디스크 용량 확인을 위해 로컬 스토리지 경로를 사용.(#33505)
                                                                                                                                                                                                                                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                                                                                                                                                                                                                                  • 히트 횟수가 제한보다 클 때 hasMoreResult가 false를 반환할 수 있는 문제 수정(#33642)
                                                                                                                                                                                                                                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                                                                                                                                                                                                                                  • 워커에 더 이상 메모리가 없을 때 bfs가 반복해서 로드되는 것을 방지하기 위해 위임자에서 bf 로드 지연(#33650)- 쿼리훅이 벡터 유형을 인식하지 못하는 버그 수정(#33911).
                                                                                                                                                                                                                                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                                                                                                                                                                                                                                  • 캡처된 반복 변수 partitionID 사용 방지(#33970)
                                                                                                                                                                                                                                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                                                                                                                                                                                                                                  • 밀버스가 바이너리 및 스파스 벡터에서 자동 인덱스를 생성할 수 없는 버그를 수정했습니다(#33867).
                                                                                                                                                                                                                                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                                                                                                                                                                                                                                  • 모든 벡터의 잘못된 인덱스 파라미터에서 인덱스 노드가 인덱스 생성을 다시 시도할 수 있는 버그를 수정했습니다(#33878).
                                                                                                                                                                                                                                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                                                                                                                                                                                                                                  • 로드와 릴리스가 동시에 발생하면 서버가 충돌할 수 있는 버그 수정(#33699).
                                                                                                                                                                                                                                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                                                                                                                                                                                                                                  • 구성 값에 대한 캐시 일관성 개선(#33797)
                                                                                                                                                                                                                                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                                                                                                                                                                                                                                  • 삭제 중 데이터 손실 가능성 방지(#33821)
                                                                                                                                                                                                                                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                                                                                                                                                                                                                                  • 컬렉션 삭제 후 DroppedAt 필드(삭제 타임스탬프일 가능성이 있는)가 설정되도록 함(#33767).
                                                                                                                                                                                                                                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                                                                                                                                                                                                                                  • Milvus가 바이너리 벡터 데이터 크기를 잘못 처리할 수 있는 문제를 수정했습니다(#33751).
                                                                                                                                                                                                                                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                                                                                                                                                                                                                                  • 민감한 Kafka 자격 증명이 일반 텍스트로 로그인되는 것을 방지했습니다.(#33694, #33747).
                                                                                                                                                                                                                                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                                                                                                                                                                                                                                  • Milvus에서 여러 벡터 필드가 있는 데이터를 올바르게 가져올 수 있도록 수정.(#33724)
                                                                                                                                                                                                                                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                                                                                                                                                                                                                                  • 시작하기 전에 가져오기 작업이 존재하는지 확인하여 가져오기 안정성을 향상시켰습니다.(#33673)
                                                                                                                                                                                                                                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                                                                                                                                                                                                                                  • 희소 HNSW 인덱스 처리 개선(내부 기능)(#33714)
                                                                                                                                                                                                                                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                                                                                                                                                                                                                                  • 메모리 누수를 방지하기 위해 벡터 메모리 정리(#33708)
                                                                                                                                                                                                                                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                                                                                                                                                                                                                                  • 상태 잠금 문제를 수정하여 비동기 워밍업이 더 원활해졌습니다.(#33687).
                                                                                                                                                                                                                                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                                                                                                                                                                                                                                  • 쿼리 이터레이터에서 결과가 누락될 수 있는 버그를 해결했습니다.(#33506)
                                                                                                                                                                                                                                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                                                                                                                                                                                                                                  • 가져오기 세그먼트 크기가 고르지 않을 수 있는 버그를 수정했습니다(#33634).
                                                                                                                                                                                                                                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                                                                                                                                                                                                                                  • bf16, fp16 및 이진 벡터 유형에 대한 잘못된 데이터 크기 처리 수정(#33488)
                                                                                                                                                                                                                                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                                                                                                                                                                                                                                  • L0 압축기의 잠재적 문제를 해결하여 안정성 개선(#33564)
                                                                                                                                                                                                                                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                                                                                                                                                                                                                                  • 동적 구성 업데이트가 캐시에 올바르게 반영되도록 보장.(#33590)
                                                                                                                                                                                                                                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                                                                                                                                                                                                                                  • RootCoordQuotaStates 메트릭의 정확성 개선(#33601)
                                                                                                                                                                                                                                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                                                                                                                                                                                                                                  • 메트릭에서 로드된 엔티티의 수를 정확하게 보고하도록 보장(#33522)
                                                                                                                                                                                                                                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                                                                                                                                                                                                                                  • 예외 로그에 보다 완전한 정보를 제공. (#33396)
                                                                                                                                                                                                                                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                                                                                                                                                                                                                                  • 불필요한 그룹 검사기를 제거하여 쿼리 파이프라인 최적화(#33485)
                                                                                                                                                                                                                                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                                                                                                                                                                                                                                  • 인덱스 노드에서 보다 정확한 디스크 용량 확인을 위해 로컬 스토리지 경로를 사용.(#33505)
                                                                                                                                                                                                                                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                                                                                                                                                                                                                                  • 히트 횟수가 제한보다 클 때 hasMoreResult가 false를 반환할 수 있는 문제 수정(#33642)
                                                                                                                                                                                                                                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                                                                                                                                                                                                                                  • 워커에 더 이상 메모리가 없을 때 bfs가 반복해서 로드되는 것을 방지하기 위해 위임자에서 bf 로드 지연(#33650)
                                                                                                                                                                                                                                                                                                                                                                                                                                  • +

                                                                                                                                                                                                                                                                                                                                                                                                                                    Bug fixes

                                                                                                                                                                                                                                                                                                                                                                                                                                      +
                                                                                                                                                                                                                                                                                                                                                                                                                                    • Fixed a bug that queryHook unable to recognize vector type (#33911)
                                                                                                                                                                                                                                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                                                                                                                                                                                                                                    • Prevented use captured iteration variable partitionID (#33970)
                                                                                                                                                                                                                                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                                                                                                                                                                                                                                    • Fixed a bug that may cause Milvus to be unable to create AutoIndex on binary and sparse vectors (#33867)
                                                                                                                                                                                                                                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                                                                                                                                                                                                                                    • Fixed a bug that may cause indexnode to retry creating index on invalid index params of all vectors(#33878)
                                                                                                                                                                                                                                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                                                                                                                                                                                                                                    • Fixed the bug that when loads and releases happen concurrently may crash the Server(#33699)
                                                                                                                                                                                                                                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                                                                                                                                                                                                                                    • Improved cache consistency for configuration values (#33797)
                                                                                                                                                                                                                                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                                                                                                                                                                                                                                    • Prevented possible data loss during deletion (#33821)
                                                                                                                                                                                                                                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                                                                                                                                                                                                                                    • Ensured the DroppedAt field (likely deletion timestamp) is set after dropping collections(#33767)
                                                                                                                                                                                                                                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                                                                                                                                                                                                                                    • Fixed an issue that might have caused Milvus to handle binary vector data sizes incorrectly(#33751)
                                                                                                                                                                                                                                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                                                                                                                                                                                                                                    • Prevented sensitive Kafka credentials from being logged in plain text.(#33694, #33747)
                                                                                                                                                                                                                                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                                                                                                                                                                                                                                    • Ensured Milvus can correctly import data with multiple vector fields.(#33724)
                                                                                                                                                                                                                                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                                                                                                                                                                                                                                    • Enhanced import reliability by checking if an import job exists before starting. (#33673)
                                                                                                                                                                                                                                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                                                                                                                                                                                                                                    • Improved handling of the sparse HNSW index (internal functionality) (#33714)
                                                                                                                                                                                                                                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                                                                                                                                                                                                                                    • Cleaned vector memory to avoid memory leak(#33708)
                                                                                                                                                                                                                                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                                                                                                                                                                                                                                    • Ensured smoother asynchronous warmup by fixing a state lock issue.(#33687)
                                                                                                                                                                                                                                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                                                                                                                                                                                                                                    • Addressed a bug that might have caused missing results in query iterators. (#33506)
                                                                                                                                                                                                                                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                                                                                                                                                                                                                                    • Fixed a bug that might cause import segment size is uneven (#33634)
                                                                                                                                                                                                                                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                                                                                                                                                                                                                                    • Fixed incorrect data size handling for bf16, fp16, and binary vector types (#33488)
                                                                                                                                                                                                                                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                                                                                                                                                                                                                                    • Improved stability by addressing potential issues with the L0 compactor(#33564)
                                                                                                                                                                                                                                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                                                                                                                                                                                                                                    • Ensured dynamic configuration updates are reflected correctly in the cache. (#33590)
                                                                                                                                                                                                                                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                                                                                                                                                                                                                                    • Improved the accuracy of the RootCoordQuotaStates metric (#33601)
                                                                                                                                                                                                                                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                                                                                                                                                                                                                                    • Ensured accurate reporting of the number of loaded entities in metric(#33522)
                                                                                                                                                                                                                                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                                                                                                                                                                                                                                    • Provided more complete information in exception logs. (#33396)
                                                                                                                                                                                                                                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                                                                                                                                                                                                                                    • Optimized query pipeline by removing unnecessary group checker (#33485)
                                                                                                                                                                                                                                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                                                                                                                                                                                                                                    • Used the local storage path for a more accurate disk capacity check on the index node. (#33505)
                                                                                                                                                                                                                                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                                                                                                                                                                                                                                    • Corrected hasMoreResult may return false when hit number larger than limit (#33642)
                                                                                                                                                                                                                                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                                                                                                                                                                                                                                    • Delayed load bf in delegator to prevent bfs been loaded over and over again when worker has no more memory (#33650)- Fixed a bug that queryHook unable to recognize vector type (#33911)
                                                                                                                                                                                                                                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                                                                                                                                                                                                                                    • Prevented use captured iteration variable partitionID (#33970)
                                                                                                                                                                                                                                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                                                                                                                                                                                                                                    • Fixed a bug that may cause Milvus to be unable to create AutoIndex on binary and sparse vectors (#33867)
                                                                                                                                                                                                                                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                                                                                                                                                                                                                                    • Fixed a bug that may cause indexnode to retry creating index on invalid index params of all vectors(#33878)
                                                                                                                                                                                                                                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                                                                                                                                                                                                                                    • Fixed the bug that when loads and releases happen concurrently may crash the Server(#33699)
                                                                                                                                                                                                                                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                                                                                                                                                                                                                                    • Improved cache consistency for configuration values (#33797)
                                                                                                                                                                                                                                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                                                                                                                                                                                                                                    • Prevented possible data loss during deletion (#33821)
                                                                                                                                                                                                                                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                                                                                                                                                                                                                                    • Ensured the DroppedAt field (likely deletion timestamp) is set after dropping collections(#33767)
                                                                                                                                                                                                                                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                                                                                                                                                                                                                                    • Fixed an issue that might have caused Milvus to handle binary vector data sizes incorrectly(#33751)
                                                                                                                                                                                                                                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                                                                                                                                                                                                                                    • Prevented sensitive Kafka credentials from being logged in plain text.(#33694, #33747)
                                                                                                                                                                                                                                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                                                                                                                                                                                                                                    • Ensured Milvus can correctly import data with multiple vector fields.(#33724)
                                                                                                                                                                                                                                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                                                                                                                                                                                                                                    • Enhanced import reliability by checking if an import job exists before starting. (#33673)
                                                                                                                                                                                                                                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                                                                                                                                                                                                                                    • Improved handling of the sparse HNSW index (internal functionality) (#33714)
                                                                                                                                                                                                                                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                                                                                                                                                                                                                                    • Cleaned vector memory to avoid memory leak(#33708)
                                                                                                                                                                                                                                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                                                                                                                                                                                                                                    • Ensured smoother asynchronous warmup by fixing a state lock issue.(#33687)
                                                                                                                                                                                                                                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                                                                                                                                                                                                                                    • Addressed a bug that might have caused missing results in query iterators. (#33506)
                                                                                                                                                                                                                                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                                                                                                                                                                                                                                    • Fixed a bug that might cause import segment size is uneven (#33634)
                                                                                                                                                                                                                                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                                                                                                                                                                                                                                    • Fixed incorrect data size handling for bf16, fp16, and binary vector types (#33488)
                                                                                                                                                                                                                                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                                                                                                                                                                                                                                    • Improved stability by addressing potential issues with the L0 compactor(#33564)
                                                                                                                                                                                                                                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                                                                                                                                                                                                                                    • Ensured dynamic configuration updates are reflected correctly in the cache. (#33590)
                                                                                                                                                                                                                                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                                                                                                                                                                                                                                    • Improved the accuracy of the RootCoordQuotaStates metric (#33601)
                                                                                                                                                                                                                                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                                                                                                                                                                                                                                    • Ensured accurate reporting of the number of loaded entities in metric(#33522)
                                                                                                                                                                                                                                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                                                                                                                                                                                                                                    • Provided more complete information in exception logs. (#33396)
                                                                                                                                                                                                                                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                                                                                                                                                                                                                                    • Optimized query pipeline by removing unnecessary group checker (#33485)
                                                                                                                                                                                                                                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                                                                                                                                                                                                                                    • Used the local storage path for a more accurate disk capacity check on the index node. (#33505)
                                                                                                                                                                                                                                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                                                                                                                                                                                                                                    • Corrected hasMoreResult may return false when hit number larger than limit (#33642)
                                                                                                                                                                                                                                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                                                                                                                                                                                                                                    • Delayed load bf in delegator to prevent bfs been loaded over and over again when worker has no more memory (#33650)

                                                                                                                                                                                                                                                                                                                                                                                                                                    v2.4.4

                                                                                                                                                                                                                                                                                                                                                                                                                                    릴리스 날짜: 2024년 5월 31일

                                                                                                                                                                                                                                                                                                                                                                                                                                    +

                                                                                                                                                                                                                                                                                                                                                                                                                                    Release date: May 31, 2024

                                                                                                                                                                                                                                                                                                                                                                                                                                    - +
                                                                                                                                                                                                                                                                                                                                                                                                                                    밀버스 버전Python SDK 버전Java SDK 버전Node.js SDK 버전
                                                                                                                                                                                                                                                                                                                                                                                                                                    Milvus versionPython SDK versionJava SDK versionNode.js SDK version
                                                                                                                                                                                                                                                                                                                                                                                                                                    2.4.42.4.32.4.12.4.2
                                                                                                                                                                                                                                                                                                                                                                                                                                    -

                                                                                                                                                                                                                                                                                                                                                                                                                                    Milvus v2.4.4에는 성능과 안정성 향상을 위한 몇 가지 중요한 버그 수정 및 개선 사항이 포함되어 있습니다. 특히 대량 삽입 통계 로그가 잘못 가비지 수집되어 데이터 무결성에 영향을 미칠 수 있는 중대한 문제를 해결했습니다. 모든 v2.4 사용자는 이 수정 사항의 혜택을 누리기 위해 이 버전으로 업그레이드하실 것을 강력히 권장합니다.

                                                                                                                                                                                                                                                                                                                                                                                                                                    -

                                                                                                                                                                                                                                                                                                                                                                                                                                    대량 삽입을 사용 중인 경우 데이터 무결성을 위해 가능한 한 빨리 v2.4.4로 업그레이드하세요.

                                                                                                                                                                                                                                                                                                                                                                                                                                    -

                                                                                                                                                                                                                                                                                                                                                                                                                                    중요한 버그 수정

                                                                                                                                                                                                                                                                                                                                                                                                                                      -
                                                                                                                                                                                                                                                                                                                                                                                                                                    • 통계 로그 ID 채우기 및 정확성 검증(#33478)
                                                                                                                                                                                                                                                                                                                                                                                                                                    • +

                                                                                                                                                                                                                                                                                                                                                                                                                                      Milvus v2.4.4 includes several critical bug fixes and improvements aimed at enhancing performance and stability. Notably, we’ve resolved a critical issue where bulk insert statistics logs were incorrectly garbage collected, potentially affecting data integrity. We strongly recommend all v2.4 users upgrade to this version to benefit from these fixes.

                                                                                                                                                                                                                                                                                                                                                                                                                                      +

                                                                                                                                                                                                                                                                                                                                                                                                                                      If you are using bulk insert, upgrade to v2.4.4 at the earliest opportunity for data integrity.

                                                                                                                                                                                                                                                                                                                                                                                                                                      +

                                                                                                                                                                                                                                                                                                                                                                                                                                      Critical bug fixes

                                                                                                                                                                                                                                                                                                                                                                                                                                        +
                                                                                                                                                                                                                                                                                                                                                                                                                                      • Filled stats log ID and validated its correctness (#33478)
                                                                                                                                                                                                                                                                                                                                                                                                                                      -

                                                                                                                                                                                                                                                                                                                                                                                                                                      개선 사항

                                                                                                                                                                                                                                                                                                                                                                                                                                        -
                                                                                                                                                                                                                                                                                                                                                                                                                                      • ARM SVE용 비트셋 업그레이드(#33440)
                                                                                                                                                                                                                                                                                                                                                                                                                                      • -
                                                                                                                                                                                                                                                                                                                                                                                                                                      • GCC-13으로 Milvus 컴파일 활성화(#33441)
                                                                                                                                                                                                                                                                                                                                                                                                                                      • +

                                                                                                                                                                                                                                                                                                                                                                                                                                        Improvements

                                                                                                                                                                                                                                                                                                                                                                                                                                          +
                                                                                                                                                                                                                                                                                                                                                                                                                                        • Upgraded bitset for ARM SVE (#33440)
                                                                                                                                                                                                                                                                                                                                                                                                                                        • +
                                                                                                                                                                                                                                                                                                                                                                                                                                        • Enabled Milvus compilation with GCC-13 (#33441)
                                                                                                                                                                                                                                                                                                                                                                                                                                        -

                                                                                                                                                                                                                                                                                                                                                                                                                                        버그 수정

                                                                                                                                                                                                                                                                                                                                                                                                                                          -
                                                                                                                                                                                                                                                                                                                                                                                                                                        • 모든 권한이 부여된 경우 빈 컬렉션 표시(#33454)
                                                                                                                                                                                                                                                                                                                                                                                                                                        • -
                                                                                                                                                                                                                                                                                                                                                                                                                                        • x86_64 뿐만 아니라 현재 플랫폼에 대한 CMake 다운로드 및 설치 보장(#33439)
                                                                                                                                                                                                                                                                                                                                                                                                                                        • +

                                                                                                                                                                                                                                                                                                                                                                                                                                          Bug fixes

                                                                                                                                                                                                                                                                                                                                                                                                                                            +
                                                                                                                                                                                                                                                                                                                                                                                                                                          • Displayed empty collections when all privilege is granted (#33454)
                                                                                                                                                                                                                                                                                                                                                                                                                                          • +
                                                                                                                                                                                                                                                                                                                                                                                                                                          • Ensured CMake downloads and installs for the current platform, not just x86_64 (#33439)

                                                                                                                                                                                                                                                                                                                                                                                                                                          v2.4.3

                                                                                                                                                                                                                                                                                                                                                                                                                                          릴리스 날짜: 2024년 5월 29일

                                                                                                                                                                                                                                                                                                                                                                                                                                          +

                                                                                                                                                                                                                                                                                                                                                                                                                                          Release date: May 29, 2024

                                                                                                                                                                                                                                                                                                                                                                                                                                          - +
                                                                                                                                                                                                                                                                                                                                                                                                                                          Milvus 버전Python SDK 버전Java SDK 버전Node.js SDK 버전
                                                                                                                                                                                                                                                                                                                                                                                                                                          Milvus versionPython SDK versionJava SDK versionNode.js SDK version
                                                                                                                                                                                                                                                                                                                                                                                                                                          2.4.32.4.32.4.12.4.2
                                                                                                                                                                                                                                                                                                                                                                                                                                          -

                                                                                                                                                                                                                                                                                                                                                                                                                                          Milvus 버전 2.4.3에는 성능과 안정성을 높이기 위한 다양한 기능, 개선 사항 및 버그 수정이 도입되었습니다. 주목할 만한 개선 사항으로는 스파스 플로트 벡터 대량 삽입 지원과 최적화된 블룸 필터 가속화가 있습니다. 동적 구성 업데이트부터 메모리 사용량 최적화까지 다양한 영역에서 개선이 이루어졌습니다. 버그 수정을 통해 패닉 시나리오와 같은 중요한 문제를 해결하고 보다 원활한 시스템 운영을 보장했습니다. 이번 릴리스는 기능 향상, 성능 최적화, 강력한 사용자 경험 제공을 위한 Milvus의 지속적인 노력을 강조했습니다.

                                                                                                                                                                                                                                                                                                                                                                                                                                          -

                                                                                                                                                                                                                                                                                                                                                                                                                                          주요 특징

                                                                                                                                                                                                                                                                                                                                                                                                                                            -
                                                                                                                                                                                                                                                                                                                                                                                                                                          • 빈로그/json/파켓에 대한 스파스 플로트 벡터 대량 삽입 지원(#32649)
                                                                                                                                                                                                                                                                                                                                                                                                                                          • +

                                                                                                                                                                                                                                                                                                                                                                                                                                            Milvus version 2.4.3 introduced a host of features, improvements, and bug fixes to elevate performance and reliability. Notable enhancements included support for sparse float vector bulk insert and optimized bloom filter acceleration. Improvements covered various areas, from dynamic configuration updates to memory usage optimization. Bug fixes addressed critical issues like panic scenarios and ensured smoother system operations. This release underscored Milvus’s ongoing commitment to enhancing functionality, optimizing performance, and delivering a robust user experience.

                                                                                                                                                                                                                                                                                                                                                                                                                                            +

                                                                                                                                                                                                                                                                                                                                                                                                                                            Features

                                                                                                                                                                                                                                                                                                                                                                                                                                              +
                                                                                                                                                                                                                                                                                                                                                                                                                                            • Supported sparse float vector bulk insert for binlog/json/parquet (#32649)
                                                                                                                                                                                                                                                                                                                                                                                                                                            -

                                                                                                                                                                                                                                                                                                                                                                                                                                            개선 사항

                                                                                                                                                                                                                                                                                                                                                                                                                                              -
                                                                                                                                                                                                                                                                                                                                                                                                                                            • RPC 기반 데이터코드/노드 감시 채널 구현(#32036)
                                                                                                                                                                                                                                                                                                                                                                                                                                            • -
                                                                                                                                                                                                                                                                                                                                                                                                                                            • 삭제 필터링을 가속화하기 위해 최적화된 블룸 필터(#32642, #33329, #33284)
                                                                                                                                                                                                                                                                                                                                                                                                                                            • -
                                                                                                                                                                                                                                                                                                                                                                                                                                            • 스칼라 인덱스에 원시 데이터가 없는 경우 mmap을 통해 원시 데이터 로드(#33317).
                                                                                                                                                                                                                                                                                                                                                                                                                                            • -
                                                                                                                                                                                                                                                                                                                                                                                                                                            • 밀버스 구성을 milvus.yaml에 동기화(#33322, #32920, #32857, #32946).
                                                                                                                                                                                                                                                                                                                                                                                                                                            • -
                                                                                                                                                                                                                                                                                                                                                                                                                                            • knowhere 버전 업데이트(#33310, #32931, #33043)
                                                                                                                                                                                                                                                                                                                                                                                                                                            • -
                                                                                                                                                                                                                                                                                                                                                                                                                                            • 쿼리코드에서 밸런서 정책의 동적 업데이트 활성화(#33272)
                                                                                                                                                                                                                                                                                                                                                                                                                                            • -
                                                                                                                                                                                                                                                                                                                                                                                                                                            • 쓰기 버퍼에 미리 빌드된 로거를 사용하여 로거 할당 최소화(#33304).
                                                                                                                                                                                                                                                                                                                                                                                                                                            • -
                                                                                                                                                                                                                                                                                                                                                                                                                                            • 매개변수 검사 개선(#32777, #33271, #33218)
                                                                                                                                                                                                                                                                                                                                                                                                                                            • -
                                                                                                                                                                                                                                                                                                                                                                                                                                            • 체크포인트에서 잘못된 메시지 ID를 무시하는 매개변수 추가(#33249).
                                                                                                                                                                                                                                                                                                                                                                                                                                            • -
                                                                                                                                                                                                                                                                                                                                                                                                                                            • 플러그인에 대한 초기화 실패 처리를 제어하는 구성 추가(#32680)
                                                                                                                                                                                                                                                                                                                                                                                                                                            • -
                                                                                                                                                                                                                                                                                                                                                                                                                                            • knowhere에 대한 점수 계산 일관성 설정 추가(#32997).
                                                                                                                                                                                                                                                                                                                                                                                                                                            • -
                                                                                                                                                                                                                                                                                                                                                                                                                                            • 공개 역할 권한의 초기화를 제어하는 구성 옵션 도입(#33174).
                                                                                                                                                                                                                                                                                                                                                                                                                                            • -
                                                                                                                                                                                                                                                                                                                                                                                                                                            • 필드 읽기 시 메모리 사용량 최적화(#33196)
                                                                                                                                                                                                                                                                                                                                                                                                                                            • -
                                                                                                                                                                                                                                                                                                                                                                                                                                            • 채널 매니저 v2의 구현 개선(#33172, #33121, #33014)
                                                                                                                                                                                                                                                                                                                                                                                                                                            • -
                                                                                                                                                                                                                                                                                                                                                                                                                                            • 빈로그의 메모리 데이터 크기를 추적하는 기능 추가(#33025).
                                                                                                                                                                                                                                                                                                                                                                                                                                            • -
                                                                                                                                                                                                                                                                                                                                                                                                                                            • 세그먼트 인덱스 파일 크기에 대한 메트릭 추가(#32979, #33305).
                                                                                                                                                                                                                                                                                                                                                                                                                                            • -
                                                                                                                                                                                                                                                                                                                                                                                                                                            • 메트릭을 제거하기 위해 Delete를 DeletePartialMatch로 대체(#33029).
                                                                                                                                                                                                                                                                                                                                                                                                                                            • -
                                                                                                                                                                                                                                                                                                                                                                                                                                            • 세그먼트 유형에 따른 관련 데이터 크기 확보(#33017)
                                                                                                                                                                                                                                                                                                                                                                                                                                            • -
                                                                                                                                                                                                                                                                                                                                                                                                                                            • 메타 스토어에서 채널 노드 정보 정리(#32988)
                                                                                                                                                                                                                                                                                                                                                                                                                                            • -
                                                                                                                                                                                                                                                                                                                                                                                                                                            • 데이터노드 브로커에서 루트코드 제거(#32818)
                                                                                                                                                                                                                                                                                                                                                                                                                                            • -
                                                                                                                                                                                                                                                                                                                                                                                                                                            • 일괄 업로드 활성화(#32788)
                                                                                                                                                                                                                                                                                                                                                                                                                                            • -
                                                                                                                                                                                                                                                                                                                                                                                                                                            • 파티션 키 사용 시 기본 파티션 번호를 16으로 변경(#32950).
                                                                                                                                                                                                                                                                                                                                                                                                                                            • -
                                                                                                                                                                                                                                                                                                                                                                                                                                            • 매우 큰 상위 k 쿼리에서 성능 저하 개선(#32871)
                                                                                                                                                                                                                                                                                                                                                                                                                                            • -
                                                                                                                                                                                                                                                                                                                                                                                                                                            • 쓰기 및 압축을 가속화하기 위해 TestLocations 기능 활용(#32948)
                                                                                                                                                                                                                                                                                                                                                                                                                                            • -
                                                                                                                                                                                                                                                                                                                                                                                                                                            • 불필요한 재활용을 피하기 위해 최적화된 계획 파서 풀(#32869)
                                                                                                                                                                                                                                                                                                                                                                                                                                            • -
                                                                                                                                                                                                                                                                                                                                                                                                                                            • 로드 속도 개선(#32898)
                                                                                                                                                                                                                                                                                                                                                                                                                                            • -
                                                                                                                                                                                                                                                                                                                                                                                                                                            • restv2에 대해 수집 기본 일관성 수준 사용(#32956)
                                                                                                                                                                                                                                                                                                                                                                                                                                            • -
                                                                                                                                                                                                                                                                                                                                                                                                                                            • rest API에 대한 비용 응답 추가(#32620)
                                                                                                                                                                                                                                                                                                                                                                                                                                            • -
                                                                                                                                                                                                                                                                                                                                                                                                                                            • 채널 전용 잔액 정책 활성화(#32911)
                                                                                                                                                                                                                                                                                                                                                                                                                                            • -
                                                                                                                                                                                                                                                                                                                                                                                                                                            • 프록시에 설명된 데이터베이스 API 노출(#32732)
                                                                                                                                                                                                                                                                                                                                                                                                                                            • -
                                                                                                                                                                                                                                                                                                                                                                                                                                            • 컬렉션별로 RG를 가져올 때 coll2replica 매핑 활용(#32892)
                                                                                                                                                                                                                                                                                                                                                                                                                                            • -
                                                                                                                                                                                                                                                                                                                                                                                                                                            • 검색 및 쿼리에 대한 추적 기능 추가(#32734)
                                                                                                                                                                                                                                                                                                                                                                                                                                            • -
                                                                                                                                                                                                                                                                                                                                                                                                                                            • 오픈 텔레메트리 추적을 위한 동적 구성 지원(#32169)
                                                                                                                                                                                                                                                                                                                                                                                                                                            • -
                                                                                                                                                                                                                                                                                                                                                                                                                                            • 리더뷰 업데이트 시 채널 결과에 대한 반복 방지(#32887)
                                                                                                                                                                                                                                                                                                                                                                                                                                            • -
                                                                                                                                                                                                                                                                                                                                                                                                                                            • 쪽모이 세공에 대한 벡터 오프셋 처리 최적화(#32822)
                                                                                                                                                                                                                                                                                                                                                                                                                                            • -
                                                                                                                                                                                                                                                                                                                                                                                                                                            • 수집 시 데이터코드 세그먼트 필터링 개선(#32831)
                                                                                                                                                                                                                                                                                                                                                                                                                                            • -
                                                                                                                                                                                                                                                                                                                                                                                                                                            • 로그 수준 및 빈도 조정(#33042, #32838, #33337)
                                                                                                                                                                                                                                                                                                                                                                                                                                            • -
                                                                                                                                                                                                                                                                                                                                                                                                                                            • 잔액 정지 후 잔액 중지 활성화(#32812)
                                                                                                                                                                                                                                                                                                                                                                                                                                            • -
                                                                                                                                                                                                                                                                                                                                                                                                                                            • 리더 위치 변경 시 샤드 리더 캐시 업데이트(#32470)
                                                                                                                                                                                                                                                                                                                                                                                                                                            • -
                                                                                                                                                                                                                                                                                                                                                                                                                                            • 더 이상 사용되지 않는 API 및 필드 제거(#32808, #32704).
                                                                                                                                                                                                                                                                                                                                                                                                                                            • -
                                                                                                                                                                                                                                                                                                                                                                                                                                            • 문자열 비교를 int로 변환하는 metautil.channel 추가(#32749).
                                                                                                                                                                                                                                                                                                                                                                                                                                            • -
                                                                                                                                                                                                                                                                                                                                                                                                                                            • 쿼리노드가 새 컬렉션을 발견했을 때 페이로드 작성기 오류 메시지 및 로그에 대한 유형 정보 추가(#32522).
                                                                                                                                                                                                                                                                                                                                                                                                                                            • -
                                                                                                                                                                                                                                                                                                                                                                                                                                            • 파티션 키로 컬렉션 생성 시 파티션 번호 확인(#32670).
                                                                                                                                                                                                                                                                                                                                                                                                                                            • -
                                                                                                                                                                                                                                                                                                                                                                                                                                            • 감시 실패 시 레거시 l0 세그먼트 제거(#32725)
                                                                                                                                                                                                                                                                                                                                                                                                                                            • -
                                                                                                                                                                                                                                                                                                                                                                                                                                            • 요청 인쇄 유형 개선(#33319)
                                                                                                                                                                                                                                                                                                                                                                                                                                            • -
                                                                                                                                                                                                                                                                                                                                                                                                                                            • 유형을 가져오기 전에 배열 필드 데이터가 nil인지 확인(#33311).
                                                                                                                                                                                                                                                                                                                                                                                                                                            • -
                                                                                                                                                                                                                                                                                                                                                                                                                                            • 스타트업 삭제/추가 노드 작업 실패 시 오류 반환(#33258)
                                                                                                                                                                                                                                                                                                                                                                                                                                            • -
                                                                                                                                                                                                                                                                                                                                                                                                                                            • 데이터 노드의 서버 ID 업데이트 허용(#31597)
                                                                                                                                                                                                                                                                                                                                                                                                                                            • -
                                                                                                                                                                                                                                                                                                                                                                                                                                            • 컬렉션 릴리즈에서 통합 쿼리 노드 메트릭 정리(#32805)
                                                                                                                                                                                                                                                                                                                                                                                                                                            • -
                                                                                                                                                                                                                                                                                                                                                                                                                                            • 스칼라 자동 인덱스 구성의 잘못된 버전 수정(#32795)
                                                                                                                                                                                                                                                                                                                                                                                                                                            • -
                                                                                                                                                                                                                                                                                                                                                                                                                                            • 인덱스 생성/변경 시 인덱스 매개변수 검사 개선(#32712)
                                                                                                                                                                                                                                                                                                                                                                                                                                            • -
                                                                                                                                                                                                                                                                                                                                                                                                                                            • 중복 복제본 복구 제거(#32985)
                                                                                                                                                                                                                                                                                                                                                                                                                                            • -
                                                                                                                                                                                                                                                                                                                                                                                                                                            • 채널 메타 테이블에서 200만 개 이상의 세그먼트 쓰기 활성화(#33300)
                                                                                                                                                                                                                                                                                                                                                                                                                                            • +

                                                                                                                                                                                                                                                                                                                                                                                                                                              Improvements

                                                                                                                                                                                                                                                                                                                                                                                                                                                +
                                                                                                                                                                                                                                                                                                                                                                                                                                              • Implemented Datacoord/node watch channel based on RPC (#32036)
                                                                                                                                                                                                                                                                                                                                                                                                                                              • +
                                                                                                                                                                                                                                                                                                                                                                                                                                              • Optimized bloom filter to accelerate delete filtering (#32642, #33329, #33284)
                                                                                                                                                                                                                                                                                                                                                                                                                                              • +
                                                                                                                                                                                                                                                                                                                                                                                                                                              • Loaded raw data via mmap if scalar index did not have raw data (#33317)
                                                                                                                                                                                                                                                                                                                                                                                                                                              • +
                                                                                                                                                                                                                                                                                                                                                                                                                                              • Synced milvus config to milvus.yaml (#33322, #32920, #32857, #32946)
                                                                                                                                                                                                                                                                                                                                                                                                                                              • +
                                                                                                                                                                                                                                                                                                                                                                                                                                              • Updated knowhere version (#33310, #32931, #33043)
                                                                                                                                                                                                                                                                                                                                                                                                                                              • +
                                                                                                                                                                                                                                                                                                                                                                                                                                              • Enabled dynamic updating of balancer policy in QueryCoord (#33272)
                                                                                                                                                                                                                                                                                                                                                                                                                                              • +
                                                                                                                                                                                                                                                                                                                                                                                                                                              • Used a pre-built logger in the write buffer to minimize logger allocation (#33304)
                                                                                                                                                                                                                                                                                                                                                                                                                                              • +
                                                                                                                                                                                                                                                                                                                                                                                                                                              • Improved parameter checking (#32777, #33271, #33218)
                                                                                                                                                                                                                                                                                                                                                                                                                                              • +
                                                                                                                                                                                                                                                                                                                                                                                                                                              • Added a parameter to ignore incorrect message IDs in the checkpoint (#33249)
                                                                                                                                                                                                                                                                                                                                                                                                                                              • +
                                                                                                                                                                                                                                                                                                                                                                                                                                              • Added config to control initialization failure handling for plugins (#32680)
                                                                                                                                                                                                                                                                                                                                                                                                                                              • +
                                                                                                                                                                                                                                                                                                                                                                                                                                              • Added score compute consistency config for knowhere (#32997)
                                                                                                                                                                                                                                                                                                                                                                                                                                              • +
                                                                                                                                                                                                                                                                                                                                                                                                                                              • Introduced a configuration option to control the initialization of public role permissions (#33174)
                                                                                                                                                                                                                                                                                                                                                                                                                                              • +
                                                                                                                                                                                                                                                                                                                                                                                                                                              • Optimized memory usage when reading fields (#33196)
                                                                                                                                                                                                                                                                                                                                                                                                                                              • +
                                                                                                                                                                                                                                                                                                                                                                                                                                              • Refined implementation of Channel Manager v2 (#33172, #33121, #33014)
                                                                                                                                                                                                                                                                                                                                                                                                                                              • +
                                                                                                                                                                                                                                                                                                                                                                                                                                              • Added feature to track the size of data in memory for binlog (#33025)
                                                                                                                                                                                                                                                                                                                                                                                                                                              • +
                                                                                                                                                                                                                                                                                                                                                                                                                                              • Added metrics for segment index files size (#32979, #33305)
                                                                                                                                                                                                                                                                                                                                                                                                                                              • +
                                                                                                                                                                                                                                                                                                                                                                                                                                              • Replaced Delete with DeletePartialMatch to remove metrics (#33029)
                                                                                                                                                                                                                                                                                                                                                                                                                                              • +
                                                                                                                                                                                                                                                                                                                                                                                                                                              • Got related data size according to segment type (#33017)
                                                                                                                                                                                                                                                                                                                                                                                                                                              • +
                                                                                                                                                                                                                                                                                                                                                                                                                                              • Cleaned channel node info in meta store (#32988)
                                                                                                                                                                                                                                                                                                                                                                                                                                              • +
                                                                                                                                                                                                                                                                                                                                                                                                                                              • Removed rootcoord from datanode broker (#32818)
                                                                                                                                                                                                                                                                                                                                                                                                                                              • +
                                                                                                                                                                                                                                                                                                                                                                                                                                              • Enabled batch uploading (#32788)
                                                                                                                                                                                                                                                                                                                                                                                                                                              • +
                                                                                                                                                                                                                                                                                                                                                                                                                                              • Changed default partition number to 16 when using partition key (#32950)
                                                                                                                                                                                                                                                                                                                                                                                                                                              • +
                                                                                                                                                                                                                                                                                                                                                                                                                                              • Improved reduce performance on very large top-k queries (#32871)
                                                                                                                                                                                                                                                                                                                                                                                                                                              • +
                                                                                                                                                                                                                                                                                                                                                                                                                                              • Utilized TestLocations ability to accelerate write & compaction (#32948)
                                                                                                                                                                                                                                                                                                                                                                                                                                              • +
                                                                                                                                                                                                                                                                                                                                                                                                                                              • Optimized plan parser pool to avoid unnecessary recycling (#32869)
                                                                                                                                                                                                                                                                                                                                                                                                                                              • +
                                                                                                                                                                                                                                                                                                                                                                                                                                              • Improved load speed (#32898)
                                                                                                                                                                                                                                                                                                                                                                                                                                              • +
                                                                                                                                                                                                                                                                                                                                                                                                                                              • Used collection default consistency level for restv2 (#32956)
                                                                                                                                                                                                                                                                                                                                                                                                                                              • +
                                                                                                                                                                                                                                                                                                                                                                                                                                              • Added cost response for the rest API (#32620)
                                                                                                                                                                                                                                                                                                                                                                                                                                              • +
                                                                                                                                                                                                                                                                                                                                                                                                                                              • Enabled channel exclusive balance policy (#32911)
                                                                                                                                                                                                                                                                                                                                                                                                                                              • +
                                                                                                                                                                                                                                                                                                                                                                                                                                              • Exposed describedatabase API in proxy (#32732)
                                                                                                                                                                                                                                                                                                                                                                                                                                              • +
                                                                                                                                                                                                                                                                                                                                                                                                                                              • Utilized coll2replica mapping when getting RG by collection (#32892)
                                                                                                                                                                                                                                                                                                                                                                                                                                              • +
                                                                                                                                                                                                                                                                                                                                                                                                                                              • Added more tracing for search & query (#32734)
                                                                                                                                                                                                                                                                                                                                                                                                                                              • +
                                                                                                                                                                                                                                                                                                                                                                                                                                              • Supported dynamic config for opentelemetry trace (#32169)
                                                                                                                                                                                                                                                                                                                                                                                                                                              • +
                                                                                                                                                                                                                                                                                                                                                                                                                                              • Avoided iteration over channel results when updating leaderview (#32887)
                                                                                                                                                                                                                                                                                                                                                                                                                                              • +
                                                                                                                                                                                                                                                                                                                                                                                                                                              • Optimized vector offsets handling for parquet (#32822)
                                                                                                                                                                                                                                                                                                                                                                                                                                              • +
                                                                                                                                                                                                                                                                                                                                                                                                                                              • Improved datacoord segment filtering with collection (#32831)
                                                                                                                                                                                                                                                                                                                                                                                                                                              • +
                                                                                                                                                                                                                                                                                                                                                                                                                                              • Adjusted log level and frequency (#33042, #32838, #33337)
                                                                                                                                                                                                                                                                                                                                                                                                                                              • +
                                                                                                                                                                                                                                                                                                                                                                                                                                              • Enabled stopping balance after balance had been suspended (#32812)
                                                                                                                                                                                                                                                                                                                                                                                                                                              • +
                                                                                                                                                                                                                                                                                                                                                                                                                                              • Updated shard leader cache when leader location changed (#32470)
                                                                                                                                                                                                                                                                                                                                                                                                                                              • +
                                                                                                                                                                                                                                                                                                                                                                                                                                              • Removed deprecated API and field (#32808, #32704)
                                                                                                                                                                                                                                                                                                                                                                                                                                              • +
                                                                                                                                                                                                                                                                                                                                                                                                                                              • Added metautil.channel to convert string compare to int (#32749)
                                                                                                                                                                                                                                                                                                                                                                                                                                              • +
                                                                                                                                                                                                                                                                                                                                                                                                                                              • Added type info for payload writer error message and log when querynode found new collection (#32522)
                                                                                                                                                                                                                                                                                                                                                                                                                                              • +
                                                                                                                                                                                                                                                                                                                                                                                                                                              • Checked partition number when creating collection with partition key (#32670)
                                                                                                                                                                                                                                                                                                                                                                                                                                              • +
                                                                                                                                                                                                                                                                                                                                                                                                                                              • Removed legacy l0 segment if watch failed (#32725)
                                                                                                                                                                                                                                                                                                                                                                                                                                              • +
                                                                                                                                                                                                                                                                                                                                                                                                                                              • Improved printing type of request (#33319)
                                                                                                                                                                                                                                                                                                                                                                                                                                              • +
                                                                                                                                                                                                                                                                                                                                                                                                                                              • Checked array field data was nil before getting the type (#33311)
                                                                                                                                                                                                                                                                                                                                                                                                                                              • +
                                                                                                                                                                                                                                                                                                                                                                                                                                              • Returned error when startup Delete/AddNode node operation failed (#33258)
                                                                                                                                                                                                                                                                                                                                                                                                                                              • +
                                                                                                                                                                                                                                                                                                                                                                                                                                              • Allowed datanode’s server ID to be updated (#31597)
                                                                                                                                                                                                                                                                                                                                                                                                                                              • +
                                                                                                                                                                                                                                                                                                                                                                                                                                              • Unified querynode metrics cleanup in collection release (#32805)
                                                                                                                                                                                                                                                                                                                                                                                                                                              • +
                                                                                                                                                                                                                                                                                                                                                                                                                                              • Fixed scalar auto index config incorrect version (#32795)
                                                                                                                                                                                                                                                                                                                                                                                                                                              • +
                                                                                                                                                                                                                                                                                                                                                                                                                                              • Refined index param check for create/alter index (#32712)
                                                                                                                                                                                                                                                                                                                                                                                                                                              • +
                                                                                                                                                                                                                                                                                                                                                                                                                                              • Removed redundant replica recovery (#32985)
                                                                                                                                                                                                                                                                                                                                                                                                                                              • +
                                                                                                                                                                                                                                                                                                                                                                                                                                              • Enabled channel meta table to write more than 200k segments (#33300)
                                                                                                                                                                                                                                                                                                                                                                                                                                              -

                                                                                                                                                                                                                                                                                                                                                                                                                                              버그 수정

                                                                                                                                                                                                                                                                                                                                                                                                                                                -
                                                                                                                                                                                                                                                                                                                                                                                                                                              • 속도 제한 인터셉터에 데이터베이스가 존재하지 않을 때 발생하는 패닉 수정(#33308)
                                                                                                                                                                                                                                                                                                                                                                                                                                              • -
                                                                                                                                                                                                                                                                                                                                                                                                                                              • 잘못된 매개 변수로 인한 쿼터 센터 메트릭 수집 실패 수정(#33399)
                                                                                                                                                                                                                                                                                                                                                                                                                                              • -
                                                                                                                                                                                                                                                                                                                                                                                                                                              • 프로세스 활성화 대기 중 오류가 반환되면 패닉이 발생하는 문제 수정(#33372)
                                                                                                                                                                                                                                                                                                                                                                                                                                              • -
                                                                                                                                                                                                                                                                                                                                                                                                                                              • nq > 1일 때 restful v2에서 검색 결과 잘림 현상 수정(#33363).
                                                                                                                                                                                                                                                                                                                                                                                                                                              • -
                                                                                                                                                                                                                                                                                                                                                                                                                                              • restful v2에서 역할 작업에 대한 데이터베이스 이름 필드 추가(#33291)
                                                                                                                                                                                                                                                                                                                                                                                                                                              • -
                                                                                                                                                                                                                                                                                                                                                                                                                                              • 글로벌 속도 제한이 작동하지 않는 문제 수정(#33336)
                                                                                                                                                                                                                                                                                                                                                                                                                                              • -
                                                                                                                                                                                                                                                                                                                                                                                                                                              • 인덱스 구축 실패로 인한 패닉 수정(#33314)
                                                                                                                                                                                                                                                                                                                                                                                                                                              • -
                                                                                                                                                                                                                                                                                                                                                                                                                                              • 합법성을 보장하기 위해 세그코어의 스파스 벡터에 대한 유효성 검사 추가(#33312).
                                                                                                                                                                                                                                                                                                                                                                                                                                              • -
                                                                                                                                                                                                                                                                                                                                                                                                                                              • 작업 완료 후 syncmgr에서 작업 제거(#33303)
                                                                                                                                                                                                                                                                                                                                                                                                                                              • -
                                                                                                                                                                                                                                                                                                                                                                                                                                              • 데이터 가져오기 중 파티션 키 필터링 실패 수정(#33277)
                                                                                                                                                                                                                                                                                                                                                                                                                                              • -
                                                                                                                                                                                                                                                                                                                                                                                                                                              • noop 내보내기 사용 시 traceID를 생성할 수 없는 문제 수정(#33208)
                                                                                                                                                                                                                                                                                                                                                                                                                                              • -
                                                                                                                                                                                                                                                                                                                                                                                                                                              • 쿼리 결과 검색 개선(#33179)
                                                                                                                                                                                                                                                                                                                                                                                                                                              • -
                                                                                                                                                                                                                                                                                                                                                                                                                                              • 체크포인트 지연 메트릭 누출을 방지하기 위해 채널 체크포인트 삭제 표시(#33201)
                                                                                                                                                                                                                                                                                                                                                                                                                                              • -
                                                                                                                                                                                                                                                                                                                                                                                                                                              • 진행 중지 중 쿼리 노드가 멈추는 문제 수정(#33154)
                                                                                                                                                                                                                                                                                                                                                                                                                                              • -
                                                                                                                                                                                                                                                                                                                                                                                                                                              • 플러시 응답에서 누락된 세그먼트 수정(#33061)
                                                                                                                                                                                                                                                                                                                                                                                                                                              • -
                                                                                                                                                                                                                                                                                                                                                                                                                                              • 제출 작업이 무력화되도록 수정(#33053)
                                                                                                                                                                                                                                                                                                                                                                                                                                              • -
                                                                                                                                                                                                                                                                                                                                                                                                                                              • 스트리밍 리더에서 각 배치에 새 슬라이스 할당(#33360)
                                                                                                                                                                                                                                                                                                                                                                                                                                              • -
                                                                                                                                                                                                                                                                                                                                                                                                                                              • 쿼리코드 재시작 후 리소스 그룹에서 오프라인 노드 정리(#33233).
                                                                                                                                                                                                                                                                                                                                                                                                                                              • -
                                                                                                                                                                                                                                                                                                                                                                                                                                              • 완료된 컴팩터에서 l0 컴팩터 제거(#33216).
                                                                                                                                                                                                                                                                                                                                                                                                                                              • -
                                                                                                                                                                                                                                                                                                                                                                                                                                              • 리미터 초기화 시 쿼터 값 재설정(#33152)
                                                                                                                                                                                                                                                                                                                                                                                                                                              • -
                                                                                                                                                                                                                                                                                                                                                                                                                                              • etcd 한도가 초과되는 문제 수정(#33041)
                                                                                                                                                                                                                                                                                                                                                                                                                                              • -
                                                                                                                                                                                                                                                                                                                                                                                                                                              • 너무 많은 필드로 인한 etcd 트랜잭션 한도 초과 문제 해결(#33040)
                                                                                                                                                                                                                                                                                                                                                                                                                                              • -
                                                                                                                                                                                                                                                                                                                                                                                                                                              • GetNumRowsOfPartition에서 RLock 재진입 제거(#33045).
                                                                                                                                                                                                                                                                                                                                                                                                                                              • -
                                                                                                                                                                                                                                                                                                                                                                                                                                              • 리더 캐시 옵저버를 SyncAll보다 먼저 시작(#33035).
                                                                                                                                                                                                                                                                                                                                                                                                                                              • -
                                                                                                                                                                                                                                                                                                                                                                                                                                              • 해제된 대기 채널의 밸런싱 활성화(#32986)
                                                                                                                                                                                                                                                                                                                                                                                                                                              • -
                                                                                                                                                                                                                                                                                                                                                                                                                                              • 서버 초기화 전에 액세스 로거 초기화(#32976)
                                                                                                                                                                                                                                                                                                                                                                                                                                              • -
                                                                                                                                                                                                                                                                                                                                                                                                                                              • 빈 세그먼트를 지울 수 있는 컴팩터를 만들었습니다(#32821).
                                                                                                                                                                                                                                                                                                                                                                                                                                              • -
                                                                                                                                                                                                                                                                                                                                                                                                                                              • l0 압축에서 채워진 델타로그 항목 번호 및 시간 범위(#33004)
                                                                                                                                                                                                                                                                                                                                                                                                                                              • -
                                                                                                                                                                                                                                                                                                                                                                                                                                              • 샤드 리더 캐시 데이터 경쟁으로 인한 프록시 크래시 수정(#32971).
                                                                                                                                                                                                                                                                                                                                                                                                                                              • -
                                                                                                                                                                                                                                                                                                                                                                                                                                              • 로드 인덱스 메트릭의 시간 단위 수정(#32935)
                                                                                                                                                                                                                                                                                                                                                                                                                                              • -
                                                                                                                                                                                                                                                                                                                                                                                                                                              • 쿼리 노드 중지 시 세그먼트를 성공적으로 해제할 수 없는 문제 수정(#32929).
                                                                                                                                                                                                                                                                                                                                                                                                                                              • -
                                                                                                                                                                                                                                                                                                                                                                                                                                              • 인덱스 리소스 추정 수정(#32842)
                                                                                                                                                                                                                                                                                                                                                                                                                                              • -
                                                                                                                                                                                                                                                                                                                                                                                                                                              • 채널 체크포인트를 델타 위치로 설정(#32878)
                                                                                                                                                                                                                                                                                                                                                                                                                                              • -
                                                                                                                                                                                                                                                                                                                                                                                                                                              • 미래를 반환하기 전에 syncmgr 잠금 키를 만들었습니다(#32865).
                                                                                                                                                                                                                                                                                                                                                                                                                                              • -
                                                                                                                                                                                                                                                                                                                                                                                                                                              • 반전된 인덱스에 세그먼트가 하나만 있는지 확인(#32858)
                                                                                                                                                                                                                                                                                                                                                                                                                                              • -
                                                                                                                                                                                                                                                                                                                                                                                                                                              • 압축 트리거가 두 개의 동일한 세그먼트를 선택하는 문제 수정(#32800)
                                                                                                                                                                                                                                                                                                                                                                                                                                              • -
                                                                                                                                                                                                                                                                                                                                                                                                                                              • 빈로그 가져오기에서 파티션 이름을 지정할 수 없는 문제 수정(#32730, #33027).
                                                                                                                                                                                                                                                                                                                                                                                                                                              • -
                                                                                                                                                                                                                                                                                                                                                                                                                                              • 쪽모이 세공 가져오기에서 동적 열을 옵션으로 설정(#32738).
                                                                                                                                                                                                                                                                                                                                                                                                                                              • -
                                                                                                                                                                                                                                                                                                                                                                                                                                              • 데이터 삽입 시 자동 ID 확인 생략(#32775)
                                                                                                                                                                                                                                                                                                                                                                                                                                              • -
                                                                                                                                                                                                                                                                                                                                                                                                                                              • 스키마가 있는 필드 데이터 삽입 시 행 수 검증(#32770)
                                                                                                                                                                                                                                                                                                                                                                                                                                              • -
                                                                                                                                                                                                                                                                                                                                                                                                                                              • CTraceContext ID에 대한 래퍼 및 킵얼라이브 추가(#32746)
                                                                                                                                                                                                                                                                                                                                                                                                                                              • -
                                                                                                                                                                                                                                                                                                                                                                                                                                              • 데이터코드 메타 객체에서 데이터베이스 이름을 찾을 수 없는 문제 수정(#33412)
                                                                                                                                                                                                                                                                                                                                                                                                                                              • -
                                                                                                                                                                                                                                                                                                                                                                                                                                              • 삭제된 파티션에 대해 동기화된 삭제된 세그먼트(#33332)
                                                                                                                                                                                                                                                                                                                                                                                                                                              • -
                                                                                                                                                                                                                                                                                                                                                                                                                                              • 잘못된 매개 변수로 인한 쿼타 센터 메트릭 수집 실패 수정(#33399)
                                                                                                                                                                                                                                                                                                                                                                                                                                              • +

                                                                                                                                                                                                                                                                                                                                                                                                                                                Bug fixes

                                                                                                                                                                                                                                                                                                                                                                                                                                                  +
                                                                                                                                                                                                                                                                                                                                                                                                                                                • Fixed panic when the database didn’t exist in the rate limit interceptor (#33308)
                                                                                                                                                                                                                                                                                                                                                                                                                                                • +
                                                                                                                                                                                                                                                                                                                                                                                                                                                • Fixed quotacenter metrics collection failure due to incorrect parameters (#33399)
                                                                                                                                                                                                                                                                                                                                                                                                                                                • +
                                                                                                                                                                                                                                                                                                                                                                                                                                                • Fixed panic if processactivestandby returned an error (#33372)
                                                                                                                                                                                                                                                                                                                                                                                                                                                • +
                                                                                                                                                                                                                                                                                                                                                                                                                                                • Fixed search result truncation in restful v2 when nq > 1 (#33363)
                                                                                                                                                                                                                                                                                                                                                                                                                                                • +
                                                                                                                                                                                                                                                                                                                                                                                                                                                • Added database name field for role operations in restful v2 (#33291)
                                                                                                                                                                                                                                                                                                                                                                                                                                                • +
                                                                                                                                                                                                                                                                                                                                                                                                                                                • Fixed global rate limit not working (#33336)
                                                                                                                                                                                                                                                                                                                                                                                                                                                • +
                                                                                                                                                                                                                                                                                                                                                                                                                                                • Fixed panic caused by failure of building index (#33314)
                                                                                                                                                                                                                                                                                                                                                                                                                                                • +
                                                                                                                                                                                                                                                                                                                                                                                                                                                • Added validation for sparse vector in segcore to ensure legality (#33312)
                                                                                                                                                                                                                                                                                                                                                                                                                                                • +
                                                                                                                                                                                                                                                                                                                                                                                                                                                • Removed task from syncmgr after task completion (#33303)
                                                                                                                                                                                                                                                                                                                                                                                                                                                • +
                                                                                                                                                                                                                                                                                                                                                                                                                                                • Fixed partition key filtering failure during data import (#33277)
                                                                                                                                                                                                                                                                                                                                                                                                                                                • +
                                                                                                                                                                                                                                                                                                                                                                                                                                                • Fixed inability to generate traceID when using noop exporter (#33208)
                                                                                                                                                                                                                                                                                                                                                                                                                                                • +
                                                                                                                                                                                                                                                                                                                                                                                                                                                • Improved query results retrieval (#33179)
                                                                                                                                                                                                                                                                                                                                                                                                                                                • +
                                                                                                                                                                                                                                                                                                                                                                                                                                                • Marked channel checkpoint dropped to prevent checkpoint lag metrics leakage (#33201)
                                                                                                                                                                                                                                                                                                                                                                                                                                                • +
                                                                                                                                                                                                                                                                                                                                                                                                                                                • Fixed query node getting stuck during stopping progress (#33154)
                                                                                                                                                                                                                                                                                                                                                                                                                                                • +
                                                                                                                                                                                                                                                                                                                                                                                                                                                • Fixed missing segments in flush response (#33061)
                                                                                                                                                                                                                                                                                                                                                                                                                                                • +
                                                                                                                                                                                                                                                                                                                                                                                                                                                • Made submit operation idempotent (#33053)
                                                                                                                                                                                                                                                                                                                                                                                                                                                • +
                                                                                                                                                                                                                                                                                                                                                                                                                                                • Allocated new slice for each batch in streaming reader (#33360)
                                                                                                                                                                                                                                                                                                                                                                                                                                                • +
                                                                                                                                                                                                                                                                                                                                                                                                                                                • Cleaned offline node from resource group after QueryCoord restart (#33233)
                                                                                                                                                                                                                                                                                                                                                                                                                                                • +
                                                                                                                                                                                                                                                                                                                                                                                                                                                • Removed l0 compactor in completedCompactor (#33216)
                                                                                                                                                                                                                                                                                                                                                                                                                                                • +
                                                                                                                                                                                                                                                                                                                                                                                                                                                • Reset quota value when initializing the limiter (#33152)
                                                                                                                                                                                                                                                                                                                                                                                                                                                • +
                                                                                                                                                                                                                                                                                                                                                                                                                                                • Fixed issue where etcd limit was exceeded (#33041)
                                                                                                                                                                                                                                                                                                                                                                                                                                                • +
                                                                                                                                                                                                                                                                                                                                                                                                                                                • Resolved etcd transaction limit exceedance due to too many fields (#33040)
                                                                                                                                                                                                                                                                                                                                                                                                                                                • +
                                                                                                                                                                                                                                                                                                                                                                                                                                                • Removed RLock re-entry in GetNumRowsOfPartition (#33045)
                                                                                                                                                                                                                                                                                                                                                                                                                                                • +
                                                                                                                                                                                                                                                                                                                                                                                                                                                • Started LeaderCacheObserver before SyncAll (#33035)
                                                                                                                                                                                                                                                                                                                                                                                                                                                • +
                                                                                                                                                                                                                                                                                                                                                                                                                                                • Enabled balancing of released standby channel (#32986)
                                                                                                                                                                                                                                                                                                                                                                                                                                                • +
                                                                                                                                                                                                                                                                                                                                                                                                                                                • Initialized access logger before server initialization (#32976)
                                                                                                                                                                                                                                                                                                                                                                                                                                                • +
                                                                                                                                                                                                                                                                                                                                                                                                                                                • Made compactor capable of clearing empty segments (#32821)
                                                                                                                                                                                                                                                                                                                                                                                                                                                • +
                                                                                                                                                                                                                                                                                                                                                                                                                                                • Filled deltalog entry number and time range in l0 compactions (#33004)
                                                                                                                                                                                                                                                                                                                                                                                                                                                • +
                                                                                                                                                                                                                                                                                                                                                                                                                                                • Fixed proxy crash due to shard leader cache data race (#32971)
                                                                                                                                                                                                                                                                                                                                                                                                                                                • +
                                                                                                                                                                                                                                                                                                                                                                                                                                                • Corrected time unit for load index metric (#32935)
                                                                                                                                                                                                                                                                                                                                                                                                                                                • +
                                                                                                                                                                                                                                                                                                                                                                                                                                                • Fixed issue where segment on stopping query node couldn’t be released successfully (#32929)
                                                                                                                                                                                                                                                                                                                                                                                                                                                • +
                                                                                                                                                                                                                                                                                                                                                                                                                                                • Fixed index resource estimation (#32842)
                                                                                                                                                                                                                                                                                                                                                                                                                                                • +
                                                                                                                                                                                                                                                                                                                                                                                                                                                • Set channel checkpoint to delta position (#32878)
                                                                                                                                                                                                                                                                                                                                                                                                                                                • +
                                                                                                                                                                                                                                                                                                                                                                                                                                                • Made syncmgr lock key before returning future (#32865)
                                                                                                                                                                                                                                                                                                                                                                                                                                                • +
                                                                                                                                                                                                                                                                                                                                                                                                                                                • Ensured inverted index had only one segment (#32858)
                                                                                                                                                                                                                                                                                                                                                                                                                                                • +
                                                                                                                                                                                                                                                                                                                                                                                                                                                • Fixed compaction trigger choosing two identical segments (#32800)
                                                                                                                                                                                                                                                                                                                                                                                                                                                • +
                                                                                                                                                                                                                                                                                                                                                                                                                                                • Fixed issue where partition name could not be specified in binlog import (#32730, #33027)
                                                                                                                                                                                                                                                                                                                                                                                                                                                • +
                                                                                                                                                                                                                                                                                                                                                                                                                                                • Made dynamic column optional in parquet import (#32738)
                                                                                                                                                                                                                                                                                                                                                                                                                                                • +
                                                                                                                                                                                                                                                                                                                                                                                                                                                • Skipped checking auto ID when inserting data (#32775)
                                                                                                                                                                                                                                                                                                                                                                                                                                                • +
                                                                                                                                                                                                                                                                                                                                                                                                                                                • Validated number of rows for insert field data with schema (#32770)
                                                                                                                                                                                                                                                                                                                                                                                                                                                • +
                                                                                                                                                                                                                                                                                                                                                                                                                                                • Added Wrapper and Keepalive for CTraceContext IDs (#32746)
                                                                                                                                                                                                                                                                                                                                                                                                                                                • +
                                                                                                                                                                                                                                                                                                                                                                                                                                                • Fixed issue where database name was not found in the datacoord meta object (#33412)
                                                                                                                                                                                                                                                                                                                                                                                                                                                • +
                                                                                                                                                                                                                                                                                                                                                                                                                                                • Synchronized dropped segment for dropped partition (#33332)
                                                                                                                                                                                                                                                                                                                                                                                                                                                • +
                                                                                                                                                                                                                                                                                                                                                                                                                                                • Fixed quotaCenter metrics collection failure due to incorrect parameters (#33399)

                                                                                                                                                                                                                                                                                                                                                                                                                                                v2.4.1

                                                                                                                                                                                                                                                                                                                                                                                                                                                릴리스 날짜: 2024년 5월 6일

                                                                                                                                                                                                                                                                                                                                                                                                                                                +

                                                                                                                                                                                                                                                                                                                                                                                                                                                Release date: May 6, 2024

                                                                                                                                                                                                                                                                                                                                                                                                                                                - +
                                                                                                                                                                                                                                                                                                                                                                                                                                                Milvus 버전Python SDK 버전Java SDK 버전Node.js SDK 버전
                                                                                                                                                                                                                                                                                                                                                                                                                                                Milvus versionPython SDK versionJava SDK versionNode.js SDK version
                                                                                                                                                                                                                                                                                                                                                                                                                                                2.4.12.4.12.4.02.4.2
                                                                                                                                                                                                                                                                                                                                                                                                                                                -

                                                                                                                                                                                                                                                                                                                                                                                                                                                Milvus 버전 2.4.1은 소프트웨어의 성능, 통합 가시성 및 안정성을 향상시키기 위한 다양한 개선 사항과 버그 수정을 제공합니다. 이러한 개선 사항에는 선언적 리소스 그룹 API, Float16/BFloat16 벡터 데이터 유형을 지원하는 향상된 대량 삽입 기능, 객체 스토리지의 목록 작업을 줄여주는 개선된 가비지 컬렉션(GC) 메커니즘, 성능 최적화와 관련된 기타 변경 사항 등이 포함됩니다. 또한 컴파일 오류, 줄 바꿈 문자에 대한 퍼지 일치 실패, RESTful 인터페이스의 잘못된 매개변수 데이터 유형, 동적 필드가 활성화된 경우 numpy 파일에서 오류가 발생하는 BulkInsert 등의 문제를 해결하는 버그 수정이 이루어졌습니다.

                                                                                                                                                                                                                                                                                                                                                                                                                                                -

                                                                                                                                                                                                                                                                                                                                                                                                                                                중단 변경 사항

                                                                                                                                                                                                                                                                                                                                                                                                                                                  -
                                                                                                                                                                                                                                                                                                                                                                                                                                                • 빈 필터 표현식을 사용한 삭제에 대한 지원이 중단되었습니다.(#32472)
                                                                                                                                                                                                                                                                                                                                                                                                                                                • +

                                                                                                                                                                                                                                                                                                                                                                                                                                                  Milvus version 2.4.1 brings numerous improvements and bug fixes that aim to enhance the software’s performance, observability, and stability. These improvements include a declarative resource group API, enhanced bulk insert functionality that supports Float16/BFloat16 vector data types, a refined garbage collection (GC) mechanism that reduces list operations for object storage, and other changes related to performance optimizations. Additionally, bug fixes address issues such as compilation errors, failed fuzzy matches on newline characters, incorrect parameter datatypes for RESTful interfaces, and BulkInsert raising errors on numpy files when dynamic fields are enabled.

                                                                                                                                                                                                                                                                                                                                                                                                                                                  +

                                                                                                                                                                                                                                                                                                                                                                                                                                                  Breaking changes

                                                                                                                                                                                                                                                                                                                                                                                                                                                    +
                                                                                                                                                                                                                                                                                                                                                                                                                                                  • Discontinued support for delete with an empty filter expression. (#32472)
                                                                                                                                                                                                                                                                                                                                                                                                                                                  -

                                                                                                                                                                                                                                                                                                                                                                                                                                                  기능

                                                                                                                                                                                                                                                                                                                                                                                                                                                    -
                                                                                                                                                                                                                                                                                                                                                                                                                                                  • 대량 삽입에서 Float16/BFloat16 벡터 데이터 유형에 대한 지원 추가(#32157)
                                                                                                                                                                                                                                                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                                                                                                                                                                                                                                                  • 무차별 반복자 검색 및 범위 검색을 지원하도록 스파스 플로트 벡터가 개선되었습니다(#32635).
                                                                                                                                                                                                                                                                                                                                                                                                                                                  • +

                                                                                                                                                                                                                                                                                                                                                                                                                                                    Features

                                                                                                                                                                                                                                                                                                                                                                                                                                                      +
                                                                                                                                                                                                                                                                                                                                                                                                                                                    • Added support for Float16/BFloat16 vector data types in bulk insert (#32157)
                                                                                                                                                                                                                                                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                                                                                                                                                                                                                                                    • Enhanced sparse float vector to support brute force iterator search and range search (#32635)
                                                                                                                                                                                                                                                                                                                                                                                                                                                    -

                                                                                                                                                                                                                                                                                                                                                                                                                                                    개선 사항

                                                                                                                                                                                                                                                                                                                                                                                                                                                      -
                                                                                                                                                                                                                                                                                                                                                                                                                                                    • 선언적 리소스 그룹 API 추가(#31930, #32297, #32536, #32666).
                                                                                                                                                                                                                                                                                                                                                                                                                                                    • -
                                                                                                                                                                                                                                                                                                                                                                                                                                                    • 쿼리코드에서 컬렉션 옵저버를 작업 중심으로 재작성(#32441).
                                                                                                                                                                                                                                                                                                                                                                                                                                                    • -
                                                                                                                                                                                                                                                                                                                                                                                                                                                    • 메모리 사용량을 줄이고 오류를 방지하기 위해 DataNode의 SyncManager에서 사용되는 데이터 구조를 리팩터링(#32673).
                                                                                                                                                                                                                                                                                                                                                                                                                                                    • -
                                                                                                                                                                                                                                                                                                                                                                                                                                                    • 가비지 컬렉션 구현을 수정하여 오브젝트 스토리지와 관련된 목록 연산을 최소화(#31740).
                                                                                                                                                                                                                                                                                                                                                                                                                                                    • -
                                                                                                                                                                                                                                                                                                                                                                                                                                                    • 수집 수가 많을 때 CPU 사용량 감소(#32245)
                                                                                                                                                                                                                                                                                                                                                                                                                                                    • -
                                                                                                                                                                                                                                                                                                                                                                                                                                                    • 코드를 통해 milvus.yaml 파일에 관련 구성 항목을 자동으로 생성하여 milvus.yaml 관리 개선(#31832, #32357).
                                                                                                                                                                                                                                                                                                                                                                                                                                                    • -
                                                                                                                                                                                                                                                                                                                                                                                                                                                    • 로컬 축소를 수행한 후 데이터를 검색하여 쿼리 성능을 향상시켰습니다(#32346).
                                                                                                                                                                                                                                                                                                                                                                                                                                                    • -
                                                                                                                                                                                                                                                                                                                                                                                                                                                    • etcd 클라이언트 생성에 WithBlock 옵션 추가(#32641)
                                                                                                                                                                                                                                                                                                                                                                                                                                                    • -
                                                                                                                                                                                                                                                                                                                                                                                                                                                    • 클라이언트가 제공한 경우 클라이언트가 지정한 client_request_id를 TraceID로 사용(#32264).
                                                                                                                                                                                                                                                                                                                                                                                                                                                    • -
                                                                                                                                                                                                                                                                                                                                                                                                                                                    • 삭제 및 대량 삽입 작업의 메트릭에 db 레이블 추가(#32611).
                                                                                                                                                                                                                                                                                                                                                                                                                                                    • -
                                                                                                                                                                                                                                                                                                                                                                                                                                                    • AutoID 및 PartitionKey 열에 대한 구성을 통해 확인을 건너뛰는 로직 추가(#32592).
                                                                                                                                                                                                                                                                                                                                                                                                                                                    • -
                                                                                                                                                                                                                                                                                                                                                                                                                                                    • 인증 관련 오류 개선(#32253)
                                                                                                                                                                                                                                                                                                                                                                                                                                                    • -
                                                                                                                                                                                                                                                                                                                                                                                                                                                    • DataCoord의 AllocSegmentID에 대한 오류 로그 개선(#32351, #32335)
                                                                                                                                                                                                                                                                                                                                                                                                                                                    • -
                                                                                                                                                                                                                                                                                                                                                                                                                                                    • 중복 메트릭 제거(#32380, #32308) 및 사용되지 않는 메트릭 정리(#32404, #32515).
                                                                                                                                                                                                                                                                                                                                                                                                                                                    • -
                                                                                                                                                                                                                                                                                                                                                                                                                                                    • partitionKey 기능의 활성화 여부를 제어하는 구성 옵션 추가(#32433).
                                                                                                                                                                                                                                                                                                                                                                                                                                                    • -
                                                                                                                                                                                                                                                                                                                                                                                                                                                    • 단일 요청에 삽입할 수 있는 최대 데이터 양을 제어하는 구성 옵션 추가(#32433).
                                                                                                                                                                                                                                                                                                                                                                                                                                                    • -
                                                                                                                                                                                                                                                                                                                                                                                                                                                    • 세그먼트 수준에서 적용/삭제 작업을 병렬화하여 위임자에 의한 삭제 메시지 처리 가속화(#32291).
                                                                                                                                                                                                                                                                                                                                                                                                                                                    • -
                                                                                                                                                                                                                                                                                                                                                                                                                                                    • 인덱스(#32232, #32505, #32533, #32595)를 사용하고 캐시(#32580)를 추가하여 QueryCoord에서 빈번한 필터링 작업을 가속화합니다.
                                                                                                                                                                                                                                                                                                                                                                                                                                                    • -
                                                                                                                                                                                                                                                                                                                                                                                                                                                    • 데이터 구조를 재작성(#32273)하고 코드를 리팩터링(#32389)하여 DataCoord에서 일반적인 작업을 가속화했습니다.
                                                                                                                                                                                                                                                                                                                                                                                                                                                    • -
                                                                                                                                                                                                                                                                                                                                                                                                                                                    • 코난에서 오픈블라스를 제거했습니다(#32002).
                                                                                                                                                                                                                                                                                                                                                                                                                                                    • +

                                                                                                                                                                                                                                                                                                                                                                                                                                                      Improvements

                                                                                                                                                                                                                                                                                                                                                                                                                                                        +
                                                                                                                                                                                                                                                                                                                                                                                                                                                      • Added declarative resource group api (#31930, #32297, #32536, #32666)
                                                                                                                                                                                                                                                                                                                                                                                                                                                      • +
                                                                                                                                                                                                                                                                                                                                                                                                                                                      • Rewrote the collection observer in QueryCoord to make it task-driven (#32441)
                                                                                                                                                                                                                                                                                                                                                                                                                                                      • +
                                                                                                                                                                                                                                                                                                                                                                                                                                                      • Refactored the data structure used in the SyncManager of DataNode to reduce memory usage and prevent errors (#32673)
                                                                                                                                                                                                                                                                                                                                                                                                                                                      • +
                                                                                                                                                                                                                                                                                                                                                                                                                                                      • Revised the implementation of garbage collection to minimize list operations associated with object storage (#31740)
                                                                                                                                                                                                                                                                                                                                                                                                                                                      • +
                                                                                                                                                                                                                                                                                                                                                                                                                                                      • Reduced the cpu usage when collection number is high (#32245)
                                                                                                                                                                                                                                                                                                                                                                                                                                                      • +
                                                                                                                                                                                                                                                                                                                                                                                                                                                      • Enhanced the management of milvus.yaml by automatically generating relevant configuration items in the milvus.yaml file through code (#31832, #32357)
                                                                                                                                                                                                                                                                                                                                                                                                                                                      • +
                                                                                                                                                                                                                                                                                                                                                                                                                                                      • Enhanced the performance of the Query by retrieving the data after performing local reduction (#32346)
                                                                                                                                                                                                                                                                                                                                                                                                                                                      • +
                                                                                                                                                                                                                                                                                                                                                                                                                                                      • Added WithBlock option for etcd client creation (#32641)
                                                                                                                                                                                                                                                                                                                                                                                                                                                      • +
                                                                                                                                                                                                                                                                                                                                                                                                                                                      • Used client_request_id specified by the client as the TraceID if client provided (#32264)
                                                                                                                                                                                                                                                                                                                                                                                                                                                      • +
                                                                                                                                                                                                                                                                                                                                                                                                                                                      • Added db label to the metrics for the delete and bulk insert operations (#32611)
                                                                                                                                                                                                                                                                                                                                                                                                                                                      • +
                                                                                                                                                                                                                                                                                                                                                                                                                                                      • Added logic to skip the verification through configuration for AutoID and PartitionKey columns (#32592)
                                                                                                                                                                                                                                                                                                                                                                                                                                                      • +
                                                                                                                                                                                                                                                                                                                                                                                                                                                      • Refined errors related to authentication (#32253)
                                                                                                                                                                                                                                                                                                                                                                                                                                                      • +
                                                                                                                                                                                                                                                                                                                                                                                                                                                      • Refined error logs for AllocSegmentID in DataCoord (#32351, #32335)
                                                                                                                                                                                                                                                                                                                                                                                                                                                      • +
                                                                                                                                                                                                                                                                                                                                                                                                                                                      • Removed duplicate metrics (#32380, #32308) and cleaned up unused metrics (#32404, #32515)
                                                                                                                                                                                                                                                                                                                                                                                                                                                      • +
                                                                                                                                                                                                                                                                                                                                                                                                                                                      • Added configuration option to control whether to enforce the activation of the partitionKey feature (#32433)
                                                                                                                                                                                                                                                                                                                                                                                                                                                      • +
                                                                                                                                                                                                                                                                                                                                                                                                                                                      • Added configuration option to control the maximum amount of data that can be inserted in a single request (#32433)
                                                                                                                                                                                                                                                                                                                                                                                                                                                      • +
                                                                                                                                                                                                                                                                                                                                                                                                                                                      • Parallelize the applyDelete operation at the segment level to accelerate the processing of Delete messages by the Delegator (#32291)
                                                                                                                                                                                                                                                                                                                                                                                                                                                      • +
                                                                                                                                                                                                                                                                                                                                                                                                                                                      • Used index (#32232, #32505, #32533, #32595) and add cache (#32580) to accelerate frequent filtering operations in QueryCoord.
                                                                                                                                                                                                                                                                                                                                                                                                                                                      • +
                                                                                                                                                                                                                                                                                                                                                                                                                                                      • Rewrote the data structure (#32273) and refactored code (#32389) to accelerate common operations in DataCoord.
                                                                                                                                                                                                                                                                                                                                                                                                                                                      • +
                                                                                                                                                                                                                                                                                                                                                                                                                                                      • Removed openblas from conan (#32002)
                                                                                                                                                                                                                                                                                                                                                                                                                                                      -

                                                                                                                                                                                                                                                                                                                                                                                                                                                      버그 수정

                                                                                                                                                                                                                                                                                                                                                                                                                                                        -
                                                                                                                                                                                                                                                                                                                                                                                                                                                      • rockylinux8에서 빌드 밀버스 수정(#32619)
                                                                                                                                                                                                                                                                                                                                                                                                                                                      • -
                                                                                                                                                                                                                                                                                                                                                                                                                                                      • ARM에서 SVE의 컴파일 오류 수정(#32463, #32270)
                                                                                                                                                                                                                                                                                                                                                                                                                                                      • -
                                                                                                                                                                                                                                                                                                                                                                                                                                                      • ARM 기반 GPU 이미지에서 충돌 문제 수정(#31980).
                                                                                                                                                                                                                                                                                                                                                                                                                                                      • -
                                                                                                                                                                                                                                                                                                                                                                                                                                                      • 정규식 쿼리가 개행이 있는 텍스트를 처리할 수 없는 문제 수정(#32569)
                                                                                                                                                                                                                                                                                                                                                                                                                                                      • -
                                                                                                                                                                                                                                                                                                                                                                                                                                                      • GetShardLeaders가 빈 노드 목록을 반환하여 검색 결과가 비어 있는 문제를 수정했습니다(#32685).
                                                                                                                                                                                                                                                                                                                                                                                                                                                      • -
                                                                                                                                                                                                                                                                                                                                                                                                                                                      • numpy 파일에서 동적 필드를 만나면 BulkInsert가 오류를 발생시키는 문제를 수정했습니다(#32596).
                                                                                                                                                                                                                                                                                                                                                                                                                                                      • -
                                                                                                                                                                                                                                                                                                                                                                                                                                                      • 요청의 숫자 매개변수가 문자열 유형 대신 숫자 입력을 허용하도록 하는 중요한 수정(#32485, #32355)을 포함하여 RESTFulV2 인터페이스와 관련된 버그가 수정되었습니다.
                                                                                                                                                                                                                                                                                                                                                                                                                                                      • -
                                                                                                                                                                                                                                                                                                                                                                                                                                                      • 전송률 제한기에서 구성 이벤트 감시를 제거하여 프록시에서 메모리 누수를 수정했습니다(#32313).
                                                                                                                                                                                                                                                                                                                                                                                                                                                      • -
                                                                                                                                                                                                                                                                                                                                                                                                                                                      • 파티션 이름이 지정되지 않은 경우 속도 제한기가 파티션을 찾을 수 없다고 잘못 보고하는 문제 수정(#32647)
                                                                                                                                                                                                                                                                                                                                                                                                                                                      • -
                                                                                                                                                                                                                                                                                                                                                                                                                                                      • 오류 유형에 컬렉션이 복구 상태인 경우와 로드되지 않은 경우 사이에 감지 기능을 추가했습니다.(#32447)
                                                                                                                                                                                                                                                                                                                                                                                                                                                      • -
                                                                                                                                                                                                                                                                                                                                                                                                                                                      • 음수 쿼리 가능 엔티티 수 메트릭 수정(#32361)
                                                                                                                                                                                                                                                                                                                                                                                                                                                      • +

                                                                                                                                                                                                                                                                                                                                                                                                                                                        Bug fixes

                                                                                                                                                                                                                                                                                                                                                                                                                                                          +
                                                                                                                                                                                                                                                                                                                                                                                                                                                        • Fixed build milvus in rockylinux8 (#32619)
                                                                                                                                                                                                                                                                                                                                                                                                                                                        • +
                                                                                                                                                                                                                                                                                                                                                                                                                                                        • Fixed compilation errors for SVE on ARM (#32463, #32270)
                                                                                                                                                                                                                                                                                                                                                                                                                                                        • +
                                                                                                                                                                                                                                                                                                                                                                                                                                                        • Fixed the crash issue on ARM-based GPU images (#31980)
                                                                                                                                                                                                                                                                                                                                                                                                                                                        • +
                                                                                                                                                                                                                                                                                                                                                                                                                                                        • Fixed regex query can’t handle text with newline (#32569)
                                                                                                                                                                                                                                                                                                                                                                                                                                                        • +
                                                                                                                                                                                                                                                                                                                                                                                                                                                        • Fixed search get empty result caused by GetShardLeaders return empty node list (#32685)
                                                                                                                                                                                                                                                                                                                                                                                                                                                        • +
                                                                                                                                                                                                                                                                                                                                                                                                                                                        • Fixed BulkInsert raised error when encountering dynamic fields in numpy files (#32596)
                                                                                                                                                                                                                                                                                                                                                                                                                                                        • +
                                                                                                                                                                                                                                                                                                                                                                                                                                                        • Fixed bugs related to the RESTFulV2 interface, including an important fix that allows numeric parameters in requests to accept numerical input instead of string type (#32485, #32355)
                                                                                                                                                                                                                                                                                                                                                                                                                                                        • +
                                                                                                                                                                                                                                                                                                                                                                                                                                                        • Fixed memory leak in proxy by removing watching config event in rate limiter (#32313)
                                                                                                                                                                                                                                                                                                                                                                                                                                                        • +
                                                                                                                                                                                                                                                                                                                                                                                                                                                        • Fixed the issue where the rate limiter incorrectly reports that the partition cannot be found when partitionName is not specified (#32647)
                                                                                                                                                                                                                                                                                                                                                                                                                                                        • +
                                                                                                                                                                                                                                                                                                                                                                                                                                                        • Added detection between the cases of Collection being in the recovery state and not being loaded in the error type. (#32447)
                                                                                                                                                                                                                                                                                                                                                                                                                                                        • +
                                                                                                                                                                                                                                                                                                                                                                                                                                                        • Corrected the negative queryable num entities metric (#32361)

                                                                                                                                                                                                                                                                                                                                                                                                                                                        v2.4.0

                                                                                                                                                                                                                                                                                                                                                                                                                                                        릴리스 날짜: 2024년 4월 17일

                                                                                                                                                                                                                                                                                                                                                                                                                                                        +

                                                                                                                                                                                                                                                                                                                                                                                                                                                        Release date: April 17, 2024

                                                                                                                                                                                                                                                                                                                                                                                                                                                        - +
                                                                                                                                                                                                                                                                                                                                                                                                                                                        Milvus 버전Python SDK 버전Node.js SDK 버전
                                                                                                                                                                                                                                                                                                                                                                                                                                                        Milvus versionPython SDK versionNode.js SDK version
                                                                                                                                                                                                                                                                                                                                                                                                                                                        2.4.02.4.02.4.0
                                                                                                                                                                                                                                                                                                                                                                                                                                                        -

                                                                                                                                                                                                                                                                                                                                                                                                                                                        2.4.0-rc.1 릴리스의 견고한 기반을 바탕으로 기존 기능을 유지하면서 사용자가 보고한 중요한 버그를 해결하는 데 중점을 두어 Milvus 2.4.를 공식 출시하게 되어 기쁘게 생각합니다. 또한 Milvus 2.4.0은 시스템 성능 향상, 다양한 메트릭 통합을 통한 관찰 가능성 개선, 코드베이스 간소화를 위한 다양한 최적화를 도입하여 단순성을 높였습니다.

                                                                                                                                                                                                                                                                                                                                                                                                                                                        -

                                                                                                                                                                                                                                                                                                                                                                                                                                                        개선 사항

                                                                                                                                                                                                                                                                                                                                                                                                                                                          -
                                                                                                                                                                                                                                                                                                                                                                                                                                                        • MinIO TLS 연결 지원(#31396, #31618)
                                                                                                                                                                                                                                                                                                                                                                                                                                                        • -
                                                                                                                                                                                                                                                                                                                                                                                                                                                        • 스칼라 필드에 대한 자동 색인 지원(#31593)
                                                                                                                                                                                                                                                                                                                                                                                                                                                        • -
                                                                                                                                                                                                                                                                                                                                                                                                                                                        • 일반 검색과 일관된 실행 경로를 위한 하이브리드 검색 리팩터링(#31742, #32178)
                                                                                                                                                                                                                                                                                                                                                                                                                                                        • -
                                                                                                                                                                                                                                                                                                                                                                                                                                                        • bitset 및 bitset_view 리팩터링을 통한 필터링 가속화(#31592, #31754, #32139).
                                                                                                                                                                                                                                                                                                                                                                                                                                                        • -
                                                                                                                                                                                                                                                                                                                                                                                                                                                        • 가져오기 작업에서 이제 데이터 인덱스 완료 대기 지원(#31733)
                                                                                                                                                                                                                                                                                                                                                                                                                                                        • -
                                                                                                                                                                                                                                                                                                                                                                                                                                                        • 가져오기 호환성(#32121), 작업 예약(#31475), 가져오기 파일 크기 및 수 제한(#31542)이 향상되었습니다.
                                                                                                                                                                                                                                                                                                                                                                                                                                                        • -
                                                                                                                                                                                                                                                                                                                                                                                                                                                        • 유형 검사를 위한 인터페이스 표준화(#31945, #31857), 더 이상 사용되지 않는 코드 및 메트릭 제거(#32079, #32134, #31535, #32211, #31935), 상수 이름 정규화(#31515) 등 코드 간소화 노력
                                                                                                                                                                                                                                                                                                                                                                                                                                                        • -
                                                                                                                                                                                                                                                                                                                                                                                                                                                        • 쿼리코드 현재 목표 채널 체크포인트 지연 대기 시간에 대한 새로운 메트릭(#31420)
                                                                                                                                                                                                                                                                                                                                                                                                                                                        • -
                                                                                                                                                                                                                                                                                                                                                                                                                                                        • 공통 메트릭에 대한 새로운 DB 레이블(#32024)
                                                                                                                                                                                                                                                                                                                                                                                                                                                        • -
                                                                                                                                                                                                                                                                                                                                                                                                                                                        • 삭제, 색인 및 로드된 엔티티의 수에 관한 새로운 메트릭, 컬렉션 이름 및 dbName과 같은 레이블 포함(#31861).
                                                                                                                                                                                                                                                                                                                                                                                                                                                        • -
                                                                                                                                                                                                                                                                                                                                                                                                                                                        • 일치하지 않는 벡터 유형에 대한 오류 처리 개선(#31766)
                                                                                                                                                                                                                                                                                                                                                                                                                                                        • -
                                                                                                                                                                                                                                                                                                                                                                                                                                                        • 인덱스를 빌드할 수 없을 때 크래시 대신 오류 발생 지원(#31845)
                                                                                                                                                                                                                                                                                                                                                                                                                                                        • -
                                                                                                                                                                                                                                                                                                                                                                                                                                                        • 데이터베이스를 삭제할 때 데이터베이스 메타 캐시 무효화 지원(#32092)
                                                                                                                                                                                                                                                                                                                                                                                                                                                        • -
                                                                                                                                                                                                                                                                                                                                                                                                                                                        • 채널 배포(#31814) 및 리더 뷰 관리(#32127)를 위한 인터페이스 리팩토링(#31814)
                                                                                                                                                                                                                                                                                                                                                                                                                                                        • -
                                                                                                                                                                                                                                                                                                                                                                                                                                                        • 채널 배포 관리자 인터페이스 리팩터링(#31814) 및 리더 뷰 관리자 인터페이스 리팩터링(#32127)
                                                                                                                                                                                                                                                                                                                                                                                                                                                        • -
                                                                                                                                                                                                                                                                                                                                                                                                                                                        • 일괄 처리(#31632), 매핑 정보 추가(#32234, #32249), 자주 호출되는 작업 가속화를 위한 잠금 사용 방지(#31787)
                                                                                                                                                                                                                                                                                                                                                                                                                                                        • +

                                                                                                                                                                                                                                                                                                                                                                                                                                                          We are excited to announce the official launch of Milvus 2.4.- Building upon the solid foundation of the 2.4.0-rc.1 release, we have focused on addressing critical bugs reported by our users, while preserving the existing functionality. In addition, Milvus 2.4.0 introduces a range of optimizations aimed at enhancing system performance, improving observability through the incorporation of various metrics, and streamlining the codebase for increased simplicity.

                                                                                                                                                                                                                                                                                                                                                                                                                                                          +

                                                                                                                                                                                                                                                                                                                                                                                                                                                          Improvements

                                                                                                                                                                                                                                                                                                                                                                                                                                                            +
                                                                                                                                                                                                                                                                                                                                                                                                                                                          • Support for MinIO TLS connections (#31396, #31618)
                                                                                                                                                                                                                                                                                                                                                                                                                                                          • +
                                                                                                                                                                                                                                                                                                                                                                                                                                                          • AutoIndex support for scalar fields (#31593)
                                                                                                                                                                                                                                                                                                                                                                                                                                                          • +
                                                                                                                                                                                                                                                                                                                                                                                                                                                          • Hybrid search refactoring for consistent execution paths with regular search (#31742, #32178)
                                                                                                                                                                                                                                                                                                                                                                                                                                                          • +
                                                                                                                                                                                                                                                                                                                                                                                                                                                          • Accelerated filtering through bitset and bitset_view refactoring (#31592, #31754, #32139)
                                                                                                                                                                                                                                                                                                                                                                                                                                                          • +
                                                                                                                                                                                                                                                                                                                                                                                                                                                          • Import tasks now support waiting for data index completion (#31733)
                                                                                                                                                                                                                                                                                                                                                                                                                                                          • +
                                                                                                                                                                                                                                                                                                                                                                                                                                                          • Enhanced Import compatibility (#32121), task scheduling (#31475), and limits on imported file size and number (#31542)
                                                                                                                                                                                                                                                                                                                                                                                                                                                          • +
                                                                                                                                                                                                                                                                                                                                                                                                                                                          • Code simplification efforts including interface standardization for type checking (#31945, #31857), removal of deprecated code and metrics (#32079, #32134, #31535, #32211, #31935), and normalization of constant names (#31515)
                                                                                                                                                                                                                                                                                                                                                                                                                                                          • +
                                                                                                                                                                                                                                                                                                                                                                                                                                                          • New metrics for QueryCoord current target channel check point lag latency (#31420)
                                                                                                                                                                                                                                                                                                                                                                                                                                                          • +
                                                                                                                                                                                                                                                                                                                                                                                                                                                          • New db label for common metrics (#32024)
                                                                                                                                                                                                                                                                                                                                                                                                                                                          • +
                                                                                                                                                                                                                                                                                                                                                                                                                                                          • New metrics regarding the count of deleted, indexed, and loaded entities, with the inclusion of labels such as collectionName and dbName (#31861)
                                                                                                                                                                                                                                                                                                                                                                                                                                                          • +
                                                                                                                                                                                                                                                                                                                                                                                                                                                          • Error handling improvements for mismatched vector types (#31766)
                                                                                                                                                                                                                                                                                                                                                                                                                                                          • +
                                                                                                                                                                                                                                                                                                                                                                                                                                                          • Support for throwing errors instead of crashing when index cannot be built (#31845)
                                                                                                                                                                                                                                                                                                                                                                                                                                                          • +
                                                                                                                                                                                                                                                                                                                                                                                                                                                          • Support for invalidating the database meta cache when dropping databases (#32092)
                                                                                                                                                                                                                                                                                                                                                                                                                                                          • +
                                                                                                                                                                                                                                                                                                                                                                                                                                                          • Interface refactoring for channel distribution (#31814) and leader view management (#32127)
                                                                                                                                                                                                                                                                                                                                                                                                                                                          • +
                                                                                                                                                                                                                                                                                                                                                                                                                                                          • Refactor channel dist manager interface (#31814) and Refactor leader view manager interface (#32127)
                                                                                                                                                                                                                                                                                                                                                                                                                                                          • +
                                                                                                                                                                                                                                                                                                                                                                                                                                                          • Batch processing (#31632), adding mapping information (#32234, #32249), and avoiding usage of lock (#31787) to accelerate frequently invoked operations
                                                                                                                                                                                                                                                                                                                                                                                                                                                          -

                                                                                                                                                                                                                                                                                                                                                                                                                                                          중단 변경 사항

                                                                                                                                                                                                                                                                                                                                                                                                                                                            -
                                                                                                                                                                                                                                                                                                                                                                                                                                                          • 이진 벡터에서 그룹화 검색 중단(#31735)
                                                                                                                                                                                                                                                                                                                                                                                                                                                          • -
                                                                                                                                                                                                                                                                                                                                                                                                                                                          • 하이브리드 검색을 사용한 그룹화 검색 중단(#31812)
                                                                                                                                                                                                                                                                                                                                                                                                                                                          • -
                                                                                                                                                                                                                                                                                                                                                                                                                                                          • 바이너리 벡터에서 HNSW 인덱스 사용 중단(#31883)
                                                                                                                                                                                                                                                                                                                                                                                                                                                          • +

                                                                                                                                                                                                                                                                                                                                                                                                                                                            Breaking Changes

                                                                                                                                                                                                                                                                                                                                                                                                                                                              +
                                                                                                                                                                                                                                                                                                                                                                                                                                                            • Discontinued grouping search on binary vectors (#31735)
                                                                                                                                                                                                                                                                                                                                                                                                                                                            • +
                                                                                                                                                                                                                                                                                                                                                                                                                                                            • Discontinued grouping search with hybrid search (#31812)
                                                                                                                                                                                                                                                                                                                                                                                                                                                            • +
                                                                                                                                                                                                                                                                                                                                                                                                                                                            • Discontinued HNSW index on binary vectors (#31883)
                                                                                                                                                                                                                                                                                                                                                                                                                                                            -

                                                                                                                                                                                                                                                                                                                                                                                                                                                            버그 수정

                                                                                                                                                                                                                                                                                                                                                                                                                                                              -
                                                                                                                                                                                                                                                                                                                                                                                                                                                            • 충돌을 방지하기 위해 쿼리 및 삽입에 대한 데이터 유형 및 값 검사 강화(#31478, #31653, #31698, #31842, #32042, #32251, #32204)
                                                                                                                                                                                                                                                                                                                                                                                                                                                            • -
                                                                                                                                                                                                                                                                                                                                                                                                                                                            • RESTful API 버그 수정(#32160)
                                                                                                                                                                                                                                                                                                                                                                                                                                                            • -
                                                                                                                                                                                                                                                                                                                                                                                                                                                            • 역 인덱스 리소스 사용량 예측 개선(#31641)
                                                                                                                                                                                                                                                                                                                                                                                                                                                            • -
                                                                                                                                                                                                                                                                                                                                                                                                                                                            • 권한 부여가 활성화된 경우 etcd와의 연결 문제 해결(#31668)
                                                                                                                                                                                                                                                                                                                                                                                                                                                            • -
                                                                                                                                                                                                                                                                                                                                                                                                                                                            • nats 서버에 대한 보안 업데이트(#32023)
                                                                                                                                                                                                                                                                                                                                                                                                                                                            • -
                                                                                                                                                                                                                                                                                                                                                                                                                                                            • 반전된 인덱스 파일을 /tmp가 아닌 QueryNode의 로컬 저장 경로에 저장(#32210)
                                                                                                                                                                                                                                                                                                                                                                                                                                                            • -
                                                                                                                                                                                                                                                                                                                                                                                                                                                            • collectionInfo의 데이터코드 메모리 누수 문제 해결(#32243)
                                                                                                                                                                                                                                                                                                                                                                                                                                                            • -
                                                                                                                                                                                                                                                                                                                                                                                                                                                            • 시스템 패닉을 일으킬 수 있는 fp16/bf16 관련 버그 수정(#31677, #31841, #32196).
                                                                                                                                                                                                                                                                                                                                                                                                                                                            • -
                                                                                                                                                                                                                                                                                                                                                                                                                                                            • 그룹 검색이 불충분한 결과를 반환하는 문제 해결(#32151)
                                                                                                                                                                                                                                                                                                                                                                                                                                                            • -
                                                                                                                                                                                                                                                                                                                                                                                                                                                            • Reduce 단계에서 오프셋을 보다 효과적으로 처리하고 'reduceStopForBest'가 활성화된 상태에서 적절한 결과를 보장하기 위해 반복기를 사용한 검색 조정(#32088).
                                                                                                                                                                                                                                                                                                                                                                                                                                                            • +

                                                                                                                                                                                                                                                                                                                                                                                                                                                              Bug Fixes

                                                                                                                                                                                                                                                                                                                                                                                                                                                                +
                                                                                                                                                                                                                                                                                                                                                                                                                                                              • Enhanced data type and value checks for queries and insertions to prevent crashes (#31478, #31653, #31698, #31842, #32042, #32251, #32204)
                                                                                                                                                                                                                                                                                                                                                                                                                                                              • +
                                                                                                                                                                                                                                                                                                                                                                                                                                                              • RESTful API bug fixes (#32160)
                                                                                                                                                                                                                                                                                                                                                                                                                                                              • +
                                                                                                                                                                                                                                                                                                                                                                                                                                                              • Improved prediction of inverted index resource usage (#31641)
                                                                                                                                                                                                                                                                                                                                                                                                                                                              • +
                                                                                                                                                                                                                                                                                                                                                                                                                                                              • Resolution of connection issues with etcd when authorization is enabled (#31668)
                                                                                                                                                                                                                                                                                                                                                                                                                                                              • +
                                                                                                                                                                                                                                                                                                                                                                                                                                                              • Security update for nats server (#32023)
                                                                                                                                                                                                                                                                                                                                                                                                                                                              • +
                                                                                                                                                                                                                                                                                                                                                                                                                                                              • Stored inverted index files into a local storage path of QueryNode instead of /tmp (#32210)
                                                                                                                                                                                                                                                                                                                                                                                                                                                              • +
                                                                                                                                                                                                                                                                                                                                                                                                                                                              • Addressed datacoord memory leaks for collectionInfo (#32243)
                                                                                                                                                                                                                                                                                                                                                                                                                                                              • +
                                                                                                                                                                                                                                                                                                                                                                                                                                                              • Fixes for fp16/bf16 related bugs potentially causing system panic (#31677, #31841, #32196)
                                                                                                                                                                                                                                                                                                                                                                                                                                                              • +
                                                                                                                                                                                                                                                                                                                                                                                                                                                              • Resolved issues with grouping search returning insufficient results (#32151)
                                                                                                                                                                                                                                                                                                                                                                                                                                                              • +
                                                                                                                                                                                                                                                                                                                                                                                                                                                              • Adjustment of search with iterators to handle offsets in the Reduce step more effectively and ensure adequate results with “reduceStopForBest” enabled (#32088)

                                                                                                                                                                                                                                                                                                                                                                                                                                                              v2.4.0-rc.1

                                                                                                                                                                                                                                                                                                                                                                                                                                                              릴리스 날짜: 2024년 3월 20일

                                                                                                                                                                                                                                                                                                                                                                                                                                                              +

                                                                                                                                                                                                                                                                                                                                                                                                                                                              Release date: March 20, 2024

                                                                                                                                                                                                                                                                                                                                                                                                                                                              - +
                                                                                                                                                                                                                                                                                                                                                                                                                                                              Milvus 버전Python SDK 버전
                                                                                                                                                                                                                                                                                                                                                                                                                                                              Milvus versionPython SDK version
                                                                                                                                                                                                                                                                                                                                                                                                                                                              2.4.0-rc.12.4.0
                                                                                                                                                                                                                                                                                                                                                                                                                                                              -

                                                                                                                                                                                                                                                                                                                                                                                                                                                              이번 릴리스에는 몇 가지 시나리오 기반 기능이 도입되었습니다:

                                                                                                                                                                                                                                                                                                                                                                                                                                                              +

                                                                                                                                                                                                                                                                                                                                                                                                                                                              This release introduces several scenario-based features:

                                                                                                                                                                                                                                                                                                                                                                                                                                                                -
                                                                                                                                                                                                                                                                                                                                                                                                                                                              • 새로운 GPU 인덱스 - CAGRA: NVIDIA의 기여 덕분에 이 새로운 GPU 인덱스는 특히 일괄 검색에서 10배의 성능 향상을 제공합니다. 자세한 내용은 GPU 인덱스를 참조하세요.

                                                                                                                                                                                                                                                                                                                                                                                                                                                              • -
                                                                                                                                                                                                                                                                                                                                                                                                                                                              • 멀티 벡터하이브리드 검색: 이 기능을 사용하면 여러 모델의 벡터 임베딩을 저장하고 하이브리드 검색을 수행할 수 있습니다. 자세한 내용은 하이브리드 검색을 참조하세요.

                                                                                                                                                                                                                                                                                                                                                                                                                                                              • -
                                                                                                                                                                                                                                                                                                                                                                                                                                                              • 스파스 벡터: 키워드 해석 및 분석에 이상적인 스파스 벡터는 이제 컬렉션에서 처리할 수 있도록 지원됩니다. 자세한 내용은 스파스 벡터를 참조하세요.

                                                                                                                                                                                                                                                                                                                                                                                                                                                              • -
                                                                                                                                                                                                                                                                                                                                                                                                                                                              • 검색 그룹화: 범주형 집계는 검색 증강 생성(RAG) 애플리케이션의 문서 수준 검색을 향상시킵니다. 자세한 내용은 그룹화 검색을 참조하세요.

                                                                                                                                                                                                                                                                                                                                                                                                                                                              • -
                                                                                                                                                                                                                                                                                                                                                                                                                                                              • 반전 인덱스퍼지 매칭: 이 기능은 스칼라 필드에 대한 키워드 검색을 개선합니다. 자세한 내용은 스칼라 필드 색인필터링된 검색을 참조하세요.

                                                                                                                                                                                                                                                                                                                                                                                                                                                              • +
                                                                                                                                                                                                                                                                                                                                                                                                                                                              • New GPU Index - CAGRA: Thanks to NVIDIA’s contribution, this new GPU index offers a 10x performance boost, especially for batch searches. For details, refer to GPU Index.

                                                                                                                                                                                                                                                                                                                                                                                                                                                              • +
                                                                                                                                                                                                                                                                                                                                                                                                                                                              • Multi-vector and Hybrid Search: This feature enables storing vector embeddings from multiple models and conducting hybrid searches. For details, refer to Hybrid Search.

                                                                                                                                                                                                                                                                                                                                                                                                                                                              • +
                                                                                                                                                                                                                                                                                                                                                                                                                                                              • Sparse Vectors: Ideal for keyword interpretation and analysis, sparse vectors are now supported for processing in your collection. For details, refer to Sparse Vectors.

                                                                                                                                                                                                                                                                                                                                                                                                                                                              • +
                                                                                                                                                                                                                                                                                                                                                                                                                                                              • Grouping Search: Categorical aggregation enhances document-level recall for Retrieval-Augmented Generation (RAG) applications. For details, refer to Grouping Search.

                                                                                                                                                                                                                                                                                                                                                                                                                                                              • +
                                                                                                                                                                                                                                                                                                                                                                                                                                                              • Inverted Index and Fuzzy Matching: These capabilities improve keyword retrieval for scalar fields. For details, refer to Index Scalar Fields and Filtered Search.

                                                                                                                                                                                                                                                                                                                                                                                                                                                              -

                                                                                                                                                                                                                                                                                                                                                                                                                                                              새로운 기능

                                                                                                                                                                                                                                                                                                                                                                                                                                                              GPU 색인 - CAGRA

                                                                                                                                                                                                                                                                                                                                                                                                                                                              온라인에서 사용할 수 있는 최신(SoTA) GPU 기반 그래프 인덱스인 CAGRA에 귀중한 기여를 해주신 NVIDIA 팀에 진심으로 감사드립니다.

                                                                                                                                                                                                                                                                                                                                                                                                                                                              -

                                                                                                                                                                                                                                                                                                                                                                                                                                                              이전 GPU 인덱스와 달리 CAGRA는 전통적으로 CPU 인덱스가 뛰어난 영역인 소규모 배치 쿼리에서도 압도적인 우월성을 보여줍니다. 또한, GPU 인덱스가 이미 강세를 보이고 있는 영역인 대규모 배치 쿼리 및 인덱스 구축 속도에서 CAGRA의 성능은 정말 타의 추종을 불허합니다.

                                                                                                                                                                                                                                                                                                                                                                                                                                                              -

                                                                                                                                                                                                                                                                                                                                                                                                                                                              예제 코드는 example_gpu_cagra.py에서 확인할 수 있습니다.

                                                                                                                                                                                                                                                                                                                                                                                                                                                              -

                                                                                                                                                                                                                                                                                                                                                                                                                                                              스파스 벡터(베타)

                                                                                                                                                                                                                                                                                                                                                                                                                                                              이번 릴리스에서는 스파스 벡터라는 새로운 유형의 벡터 필드를 도입합니다. 스파스 벡터는 밀도가 높은 벡터와 달리 차원 수가 몇 배 더 많으며 소수만 0이 아닌 경향이 있습니다. 이 기능은 용어 기반의 특성으로 인해 더 나은 해석 가능성을 제공하며 특정 도메인에서 더 효과적일 수 있습니다. SPLADEv2/BGE-M3와 같은 학습된 희소 모델은 일반적인 1단계 랭킹 작업에 매우 유용하다는 것이 입증되었습니다. Milvus의 이 새로운 기능의 주요 사용 사례는 SPLADEv2/BGE-M3와 같은 신경 모델과 BM25 알고리즘과 같은 통계 모델에 의해 생성된 희소 벡터에 대해 효율적인 근사 의미론적 최인접 이웃 검색을 가능하게 하는 것입니다. 밀버스는 이제 희소 벡터의 효과적인 고성능 저장, 인덱싱, 검색(MIPS, 최대 내부 제품 검색)을 지원합니다.

                                                                                                                                                                                                                                                                                                                                                                                                                                                              -

                                                                                                                                                                                                                                                                                                                                                                                                                                                              예제 코드는 hello_sparse.py에서 확인할 수 있습니다.

                                                                                                                                                                                                                                                                                                                                                                                                                                                              -

                                                                                                                                                                                                                                                                                                                                                                                                                                                              다중 벡터 지원은 다중 모델 데이터 처리 또는 고밀도 벡터와 희소 벡터의 혼합이 필요한 애플리케이션을 위한 초석입니다. 이제 멀티 벡터 지원으로 가능합니다:

                                                                                                                                                                                                                                                                                                                                                                                                                                                              +

                                                                                                                                                                                                                                                                                                                                                                                                                                                              New Features

                                                                                                                                                                                                                                                                                                                                                                                                                                                              GPU Index - CAGRA

                                                                                                                                                                                                                                                                                                                                                                                                                                                              We would like to express our sincere gratitude to the NVIDIA team for their invaluable contribution to CAGRA, a state-of-the-art (SoTA) GPU-based graph index that can be used online.

                                                                                                                                                                                                                                                                                                                                                                                                                                                              +

                                                                                                                                                                                                                                                                                                                                                                                                                                                              Unlike previous GPU indices, CAGRA demonstrates overwhelming superiority even in small batch queries, an area where CPU indices traditionally excel. In addition, CAGRA’s performance in large batch queries and index construction speed, domains where GPU indices already shine, is truly unparalleled.

                                                                                                                                                                                                                                                                                                                                                                                                                                                              +

                                                                                                                                                                                                                                                                                                                                                                                                                                                              Example code can be found in example_gpu_cagra.py.

                                                                                                                                                                                                                                                                                                                                                                                                                                                              +

                                                                                                                                                                                                                                                                                                                                                                                                                                                              Sparse Vector (Beta)

                                                                                                                                                                                                                                                                                                                                                                                                                                                              In this release, we are introducing a new type of vector field called sparse vector. Sparse vectors are different from their dense counterparts as they tend to have several magnitude higher number of dimensions with only a handful being non-zero. This feature offers better interpretability due to its term-based nature and can be more effective in certain domains. Learned sparse models such as SPLADEv2/BGE-M3 have proven to be very useful for common first-stage ranking tasks. The main use case for this new feature in Milvus is to allow efficient approximate semantic nearest neighbor search over sparse vectors generated by neural models such as SPLADEv2/BGE-M3 and statistics models such as the BM25 algorithm. Milvus now supports effective and high-performance storage, indexing, and searching (MIPS, Maximum Inner Product Search) of sparse vectors.

                                                                                                                                                                                                                                                                                                                                                                                                                                                              +

                                                                                                                                                                                                                                                                                                                                                                                                                                                              Example code can be found in hello_sparse.py.

                                                                                                                                                                                                                                                                                                                                                                                                                                                              +

                                                                                                                                                                                                                                                                                                                                                                                                                                                              Multi-vector support is the cornerstone for applications that require multi-model data processing or a mix of dense and sparse vectors. With multi-vector support, now you can:

                                                                                                                                                                                                                                                                                                                                                                                                                                                                -
                                                                                                                                                                                                                                                                                                                                                                                                                                                              • 여러 모델에서 비정형 텍스트, 이미지 또는 오디오 샘플을 위해 생성된 벡터 임베딩을 저장할 수 있습니다.
                                                                                                                                                                                                                                                                                                                                                                                                                                                              • -
                                                                                                                                                                                                                                                                                                                                                                                                                                                              • 각 엔티티의 여러 벡터를 포함하는 ANN 검색을 수행합니다.
                                                                                                                                                                                                                                                                                                                                                                                                                                                              • -
                                                                                                                                                                                                                                                                                                                                                                                                                                                              • 다양한 임베딩 모델에 가중치를 할당하여 검색 전략을 사용자 정의합니다.
                                                                                                                                                                                                                                                                                                                                                                                                                                                              • -
                                                                                                                                                                                                                                                                                                                                                                                                                                                              • 다양한 임베딩 모델을 실험하여 최적의 모델 조합을 찾을 수 있습니다.
                                                                                                                                                                                                                                                                                                                                                                                                                                                              • +
                                                                                                                                                                                                                                                                                                                                                                                                                                                              • Store vector embeddings generated for unstructured text, image, or audio samples from multiple models.
                                                                                                                                                                                                                                                                                                                                                                                                                                                              • +
                                                                                                                                                                                                                                                                                                                                                                                                                                                              • Conduct ANN searches that include multiple vectors of each entity.
                                                                                                                                                                                                                                                                                                                                                                                                                                                              • +
                                                                                                                                                                                                                                                                                                                                                                                                                                                              • Customize search strategies by assigning weights to different embedding models.
                                                                                                                                                                                                                                                                                                                                                                                                                                                              • +
                                                                                                                                                                                                                                                                                                                                                                                                                                                              • Experiment with various embedding models to find the optimal model combination.
                                                                                                                                                                                                                                                                                                                                                                                                                                                              -

                                                                                                                                                                                                                                                                                                                                                                                                                                                              다중 벡터를 지원하므로 컬렉션에 FLOAT_VECTOR, SPARSE_FLOAT_VECTOR와 같은 다양한 유형의 여러 벡터 필드를 저장, 인덱싱하고 재랭크 전략을 적용할 수 있습니다. 현재 두 가지 재랭크 전략을 사용할 수 있습니다: 상호 순위 융합(RRF)평균 가중치 점수입니다. 두 전략 모두 서로 다른 벡터 필드의 검색 결과를 통합된 결과 집합으로 결합합니다. 첫 번째 전략은 서로 다른 벡터 필드의 검색 결과에 일관되게 나타나는 엔티티에 우선순위를 부여하고, 다른 전략은 각 벡터 필드의 검색 결과에 가중치를 할당하여 최종 결과 집합에서 그 중요도를 결정합니다.

                                                                                                                                                                                                                                                                                                                                                                                                                                                              -

                                                                                                                                                                                                                                                                                                                                                                                                                                                              예제 코드는 hybrid_search.py에서 찾을 수 있습니다.

                                                                                                                                                                                                                                                                                                                                                                                                                                                              -

                                                                                                                                                                                                                                                                                                                                                                                                                                                              반전 인덱스 및 퍼지 일치

                                                                                                                                                                                                                                                                                                                                                                                                                                                              이전 Milvus 릴리즈에서는 메모리 기반 이진 검색 인덱스와 마리사 트리 인덱스가 스칼라 필드 인덱싱에 사용되었습니다. 그러나 이러한 방법은 메모리 집약적이었습니다. 최신 Milvus 릴리즈는 이제 모든 숫자 및 문자열 데이터 유형에 적용할 수 있는 Tantivy 기반 반전 인덱스를 사용합니다. 이 새로운 인덱스는 스칼라 쿼리 성능을 획기적으로 개선하여 문자열 키워드 쿼리를 10배까지 줄여줍니다. 또한, 반전 인덱스는 데이터 압축과 내부 인덱싱 구조의 메모리 맵 저장(MMap) 메커니즘의 추가 최적화를 통해 메모리를 덜 소비합니다.

                                                                                                                                                                                                                                                                                                                                                                                                                                                              -

                                                                                                                                                                                                                                                                                                                                                                                                                                                              이번 릴리즈에서는 접두사, 접두사, 접미사를 사용한 스칼라 필터링에서 퍼지 매칭도 지원합니다.

                                                                                                                                                                                                                                                                                                                                                                                                                                                              -

                                                                                                                                                                                                                                                                                                                                                                                                                                                              예제 코드는 inverted_index_example.py와 fuzzy_match.py에서 찾을 수 있습니다.

                                                                                                                                                                                                                                                                                                                                                                                                                                                              -

                                                                                                                                                                                                                                                                                                                                                                                                                                                              이제 특정 스칼라 필드의 값을 기준으로 검색 결과를 집계할 수 있습니다. 이는 RAG 애플리케이션이 문서 수준 리콜을 구현하는 데 도움이 됩니다. 각 문서가 여러 구절로 나뉘어져 있는 문서 모음을 생각해 봅시다. 각 구절은 하나의 벡터 임베딩으로 표현되며 하나의 문서에 속합니다. 구절이 흩어지는 대신 가장 관련성이 높은 문서를 찾으려면 search() 작업에 group_by_field 인수를 포함시켜 문서 ID를 기준으로 결과를 그룹화할 수 있습니다.

                                                                                                                                                                                                                                                                                                                                                                                                                                                              -

                                                                                                                                                                                                                                                                                                                                                                                                                                                              예제 코드는 example_group_by.py에서 찾을 수 있습니다.

                                                                                                                                                                                                                                                                                                                                                                                                                                                              -

                                                                                                                                                                                                                                                                                                                                                                                                                                                              Float16 및 BFloat- 벡터 데이터 유형

                                                                                                                                                                                                                                                                                                                                                                                                                                                              머신 러닝과 신경망은 종종 Float16 및 BFloat와 같은 반정밀도 데이터 유형을 사용합니다. 이러한 데이터 유형은 쿼리 효율성을 개선하고 메모리 사용량을 줄일 수 있지만 정확도가 떨어진다는 단점이 있습니다. 이번 릴리스에서 Milvus는 이제 벡터 필드에 대해 이러한 데이터 유형을 지원합니다.

                                                                                                                                                                                                                                                                                                                                                                                                                                                              -

                                                                                                                                                                                                                                                                                                                                                                                                                                                              예제 코드는 float16_example.pybfloat16_example.py에서 확인할 수 있습니다.

                                                                                                                                                                                                                                                                                                                                                                                                                                                              -

                                                                                                                                                                                                                                                                                                                                                                                                                                                              업그레이드된 아키텍처

                                                                                                                                                                                                                                                                                                                                                                                                                                                              L0 세그먼트

                                                                                                                                                                                                                                                                                                                                                                                                                                                              이번 릴리스에는 삭제된 데이터를 기록하도록 설계된 L0 세그먼트라는 새로운 세그먼트가 포함되어 있습니다. 이 세그먼트는 저장된 삭제된 레코드를 주기적으로 압축하여 밀봉된 세그먼트로 분할함으로써 소규모 삭제에 필요한 데이터 플러시 횟수를 줄이고 저장 공간을 적게 차지합니다. 이 메커니즘을 통해 Milvus는 데이터 압축과 데이터 플러시를 완전히 분리하여 삭제 및 업서트 작업의 성능을 향상시킵니다.

                                                                                                                                                                                                                                                                                                                                                                                                                                                              -

                                                                                                                                                                                                                                                                                                                                                                                                                                                              리팩터링된 대량 삽입

                                                                                                                                                                                                                                                                                                                                                                                                                                                              이번 릴리스에는 향상된 대량 삽입 로직도 도입되었습니다. 이를 통해 한 번의 대량 삽입 요청으로 여러 파일을 가져올 수 있습니다. 리팩터링된 버전에서는 대량 삽입의 성능과 안정성이 모두 크게 개선되었습니다. 미세 조정된 속도 제한과 더욱 사용자 친화적인 오류 메시지 등 사용자 경험도 개선되었습니다. 또한 Milvus의 RESTful API를 통해 대량 삽입 엔드포인트에 쉽게 액세스할 수 있습니다.

                                                                                                                                                                                                                                                                                                                                                                                                                                                              -

                                                                                                                                                                                                                                                                                                                                                                                                                                                              메모리 매핑 스토리지

                                                                                                                                                                                                                                                                                                                                                                                                                                                              Milvus는 메모리 매핑 스토리지(MMap)를 사용하여 메모리 사용량을 최적화합니다. 이 메커니즘은 파일 콘텐츠를 메모리에 직접 로드하는 대신 파일 콘텐츠를 메모리에 매핑합니다. 이 접근 방식에는 성능 저하라는 트레이드오프가 있습니다. CPU 2개와 8GB RAM이 있는 호스트에서 HNSW 색인 컬렉션에 MMap을 사용하도록 설정하면 10% 미만의 성능 저하로 4배 더 많은 데이터를 로드할 수 있습니다.

                                                                                                                                                                                                                                                                                                                                                                                                                                                              -

                                                                                                                                                                                                                                                                                                                                                                                                                                                              또한, 이번 릴리스에서는 Milvus를 다시 시작할 필요 없이 MMap을 동적이고 세밀하게 제어할 수 있습니다.

                                                                                                                                                                                                                                                                                                                                                                                                                                                              -

                                                                                                                                                                                                                                                                                                                                                                                                                                                              자세한 내용은 MMap 스토리지를 참조하세요.

                                                                                                                                                                                                                                                                                                                                                                                                                                                              -

                                                                                                                                                                                                                                                                                                                                                                                                                                                              기타

                                                                                                                                                                                                                                                                                                                                                                                                                                                              Milvus-CDC

                                                                                                                                                                                                                                                                                                                                                                                                                                                              Milvus-CDC는 Milvus 인스턴스 간에 증분 데이터를 캡처하고 동기화하여 손쉽게 증분 백업 및 재해 복구를 수행할 수 있는 사용하기 쉬운 동반 도구입니다. 이번 릴리스에서 Milvus-CDC는 안정성이 개선되었으며, 이제 변경 데이터 캡처(CDC) 기능을 일반적으로 사용할 수 있습니다.

                                                                                                                                                                                                                                                                                                                                                                                                                                                              -

                                                                                                                                                                                                                                                                                                                                                                                                                                                              Milvus-CDC에 대해 자세히 알아보려면 GitHub 리포지토리Milvus-CDC 개요를 참조하세요.

                                                                                                                                                                                                                                                                                                                                                                                                                                                              -

                                                                                                                                                                                                                                                                                                                                                                                                                                                              개선된 MilvusClient 인터페이스

                                                                                                                                                                                                                                                                                                                                                                                                                                                              MilvusClient는 ORM 모듈을 대체할 수 있는 사용하기 쉬운 인터페이스입니다. 서버와의 상호 작용을 단순화하기 위해 순전히 기능적인 접근 방식을 채택합니다. 연결 풀을 유지하는 대신 각 MilvusClient는 서버에 대한 gRPC 연결을 설정합니다. MilvusClient 모듈은 ORM 모듈의 대부분의 기능을 구현했습니다. MilvusClient 모듈에 대해 자세히 알아보려면 pymilvus참조 문서를 방문하세요.

                                                                                                                                                                                                                                                                                                                                                                                                                                                              +

                                                                                                                                                                                                                                                                                                                                                                                                                                                              Multi-vector support allows storing, indexing, and applying reranking strategies to multiple vector fields of different types, such as FLOAT_VECTOR and SPARSE_FLOAT_VECTOR, in a collection. Currently, two reranking strategies are available: Reciprocal Rank Fusion (RRF) and Average Weighted Scoring. Both strategies combine the search results from different vector fields into a unified result set. The first strategy prioritizes the entities that consistently appear in the search results of different vector fields, while the other strategy assigns weights to the search results of each vector field to determine their importance in the final result set.

                                                                                                                                                                                                                                                                                                                                                                                                                                                              +

                                                                                                                                                                                                                                                                                                                                                                                                                                                              Example code can be found in hybrid_search.py.

                                                                                                                                                                                                                                                                                                                                                                                                                                                              +

                                                                                                                                                                                                                                                                                                                                                                                                                                                              Inverted Index and Fuzzy Match

                                                                                                                                                                                                                                                                                                                                                                                                                                                              In previous releases of Milvus, memory-based binary search indexes and Marisa Trie indexes were used for scalar field indexing. However, these methods were memory-intensive. The latest release of Milvus now employs the Tantivy-based inverted index, which can be applied to all numeric and string data types. This new index dramatically improves scalar query performance, reducing the query of keywords in strings by ten times. In addition, The inverted index consumes less memory, thanks to additional optimizations in data compression and Memory-mapped storage (MMap) mechanism of the internal indexing structure.

                                                                                                                                                                                                                                                                                                                                                                                                                                                              +

                                                                                                                                                                                                                                                                                                                                                                                                                                                              This release also supports fuzzy matches in scalar filtering using prefixes, infixes, and suffixes.

                                                                                                                                                                                                                                                                                                                                                                                                                                                              +

                                                                                                                                                                                                                                                                                                                                                                                                                                                              Example code can be found in inverted_index_example.py and fuzzy_match.py.

                                                                                                                                                                                                                                                                                                                                                                                                                                                              +

                                                                                                                                                                                                                                                                                                                                                                                                                                                              You can now aggregate the search results by the values in a specific scalar field. This helps RAG applications to implement document-level recall. Consider a collection of documents, each document splits into various passages. Each passage is represented by one vector embedding and belongs to one document. To find the most relevant documents instead of scattering passages, you can include the group_by_field argument in the search() operation to group results by the document ID.

                                                                                                                                                                                                                                                                                                                                                                                                                                                              +

                                                                                                                                                                                                                                                                                                                                                                                                                                                              Example code can be found in example_group_by.py.

                                                                                                                                                                                                                                                                                                                                                                                                                                                              +

                                                                                                                                                                                                                                                                                                                                                                                                                                                              Float16 and BFloat- Vector DataType

                                                                                                                                                                                                                                                                                                                                                                                                                                                              Machine learning and neural networks often use half-precision data types, such as Float16 and BFloat- While these data types can improve query efficiency and reduce memory usage, they come with a tradeoff of reduced accuracy. With this release, Milvus now supports these data types for vector fields.

                                                                                                                                                                                                                                                                                                                                                                                                                                                              +

                                                                                                                                                                                                                                                                                                                                                                                                                                                              Example code can be found in float16_example.py and bfloat16_example.py.

                                                                                                                                                                                                                                                                                                                                                                                                                                                              +

                                                                                                                                                                                                                                                                                                                                                                                                                                                              Upgraded Architecture

                                                                                                                                                                                                                                                                                                                                                                                                                                                              L0 Segment

                                                                                                                                                                                                                                                                                                                                                                                                                                                              This release includes a new segment called L0 Segment, designed to record deleted data. This segment periodically compacts stored deleted records and splits them into sealed segments, reducing the number of data flushes required for small deletions and leaving a small storage footprint. With this mechanism, Milvus completely separates data compactions from data flushes, enhancing the performance of delete and upsert operations.

                                                                                                                                                                                                                                                                                                                                                                                                                                                              +

                                                                                                                                                                                                                                                                                                                                                                                                                                                              Refactored BulkInsert

                                                                                                                                                                                                                                                                                                                                                                                                                                                              This release also introduces improved bulk-insert logic. This allows you to import multiple files in a single bulk-insert request. With the refactored version, both the performance and stability of bulk insert have seen significant improvements. The user experience has also been enhanced, such as fine-tuned rate limiting and more user-friendly error messages. In addition, you can easily access the bulk-insert endpoints through Milvus’ RESTful API.

                                                                                                                                                                                                                                                                                                                                                                                                                                                              +

                                                                                                                                                                                                                                                                                                                                                                                                                                                              Memory-mapped Storage

                                                                                                                                                                                                                                                                                                                                                                                                                                                              Milvus uses memory-mapped storage (MMap) to optimize its memory usage. Instead of loading file content directly into memory, this mechanism maps the file content into memory. This approach comes with a tradeoff of performance degradation. By enabling MMap for an HNSW-indexed collection on a host with 2 CPUs and 8 GB RAM, you can load 4x more data with less than 10% performance degradation.

                                                                                                                                                                                                                                                                                                                                                                                                                                                              +

                                                                                                                                                                                                                                                                                                                                                                                                                                                              In addition, this release also allows dynamic and fine-grained control over MMap without the need to restart Milvus.

                                                                                                                                                                                                                                                                                                                                                                                                                                                              +

                                                                                                                                                                                                                                                                                                                                                                                                                                                              For details, refer to MMap Storage.

                                                                                                                                                                                                                                                                                                                                                                                                                                                              +

                                                                                                                                                                                                                                                                                                                                                                                                                                                              Others

                                                                                                                                                                                                                                                                                                                                                                                                                                                              Milvus-CDC

                                                                                                                                                                                                                                                                                                                                                                                                                                                              Milvus-CDC is an easy-to-use companion tool to capture and synchronize incremental data between Milvus instances, allowing for easy incremental backup and disaster recovery. In this release, Milvus-CDC has improved stability, and its Change Data Capture (CDC) functionality now becomes generally available.

                                                                                                                                                                                                                                                                                                                                                                                                                                                              +

                                                                                                                                                                                                                                                                                                                                                                                                                                                              To learn more about Milvus-CDC, refer to GitHub repository and Milvus-CDC Overview.

                                                                                                                                                                                                                                                                                                                                                                                                                                                              +

                                                                                                                                                                                                                                                                                                                                                                                                                                                              Refined MilvusClient Interfaces

                                                                                                                                                                                                                                                                                                                                                                                                                                                              MilvusClient is an easy-to-use alternative to the ORM module. It adopts a purely functional approach to simplify interactions with the server. Instead of maintaining a connection pool, each MilvusClient establishes a gRPC connection to the server. +The MilvusClient module has implemented most of the functionalities of the ORM module. +To learn more about the MilvusClient module, visit pymilvus and the reference documents.

                                                                                                                                                                                                                                                                                                                                                                                                                                                              diff --git a/localization/v2.4.x/site/ko/userGuide/data-import/import-data.json b/localization/v2.4.x/site/ko/userGuide/data-import/import-data.json index 998470afd..4a154e3d2 100644 --- a/localization/v2.4.x/site/ko/userGuide/data-import/import-data.json +++ b/localization/v2.4.x/site/ko/userGuide/data-import/import-data.json @@ -1 +1 @@ -{"codeList":["client = MilvusClient(\"http://localhost:19530\")\n\nschema = MilvusClient.create_schema(\n auto_id=False,\n enable_dynamic_field=True\n)\n\nschema.add_field(field_name=\"id\", datatype=DataType.INT64, is_primary=True)\nschema.add_field(field_name=\"vector\", datatype=DataType.FLOAT_VECTOR, dim=768)\nschema.add_field(field_name=\"scalar_1\", datatype=DataType.VARCHAR, max_length=512)\nschema.add_field(field_name=\"scalar_2\", datatype=DataType.INT64)\n\nclient.create_collection(\n collection_name=\"quick_setup\",\n schema=schema\n)\n","import io.milvus.client.MilvusServiceClient;\nimport io.milvus.param.ConnectParam;\nimport io.milvus.grpc.DataType;\nimport io.milvus.param.collection.CollectionSchemaParam;\nimport io.milvus.param.collection.CollectionSchemaParam;\nimport io.milvus.param.collection.FieldType;\n\nfinal MilvusServiceClient milvusClient = new MilvusServiceClient(\nConnectParam.newBuilder()\n .withUri(\"localhost:19530\")\n .withToken(\"root:Milvus\")\n .build()\n);\n\n// Define schema for the target collection\nFieldType id = FieldType.newBuilder()\n .withName(\"id\")\n .withDataType(DataType.Int64)\n .withPrimaryKey(true)\n .withAutoID(false)\n .build();\n\nFieldType vector = FieldType.newBuilder()\n .withName(\"vector\")\n .withDataType(DataType.FloatVector)\n .withDimension(768)\n .build();\n\nFieldType scalar1 = FieldType.newBuilder()\n .withName(\"scalar_1\")\n .withDataType(DataType.VarChar)\n .withMaxLength(512)\n .build();\n\nFieldType scalar2 = FieldType.newBuilder()\n .withName(\"scalar_2\")\n .withDataType(DataType.Int64)\n .build();\n\nCollectionSchemaParam schema = CollectionSchemaParam.newBuilder()\n .withEnableDynamicField(true)\n .addFieldType(id)\n .addFieldType(vector)\n .addFieldType(scalar1)\n .addFieldType(scalar2)\n .build();\n\n// Create a collection with the given schema\nmilvusClient.createCollection(CreateCollectionParam.newBuilder()\n .withCollectionName(\"quick_setup\")\n .withSchema(schema)\n .build()\n);\n","export MILVUS_URI=\"localhost:19530\"\n\ncurl --request POST \"http://${MILVUS_URI}/v2/vectordb/jobs/import/create\" \\\n--header \"Content-Type: application/json\" \\\n--data-raw '{\n \"files\": [\n [\n \"/8ca44f28-47f7-40ba-9604-98918afe26d1/1.parquet\"\n ],\n [\n \"/8ca44f28-47f7-40ba-9604-98918afe26d1/2.parquet\"\n ]\n ],\n \"collectionName\": \"quick_setup\"\n}'\n","[\n \"/d1782fa1-6b65-4ff3-b05a-43a436342445/1.json\"\n],\n","[\n \"/a6fb2d1c-7b1b-427c-a8a3-178944e3b66d/1.parquet\"\n]\n\n","{\n \"code\": 200,\n \"data\": {\n \"jobId\": \"448707763884413158\"\n }\n}\n","export MILVUS_URI=\"localhost:19530\"\n\ncurl --request POST \"http://${MILVUS_URI}/v2/vectordb/jobs/import/get_progress\" \\\n--header \"Content-Type: application/json\" \\\n--data-raw '{\n \"jobId\": \"449839014328146739\"\n}'\n","{\n \"code\": 200,\n \"data\": {\n \"collectionName\": \"quick_setup\",\n \"completeTime\": \"2024-05-18T02:57:13Z\",\n \"details\": [\n {\n \"completeTime\": \"2024-05-18T02:57:11Z\",\n \"fileName\": \"id:449839014328146740 paths:\\\"/8ca44f28-47f7-40ba-9604-98918afe26d1/1.parquet\\\" \",\n \"fileSize\": 31567874,\n \"importedRows\": 100000,\n \"progress\": 100,\n \"state\": \"Completed\",\n \"totalRows\": 100000\n },\n {\n \"completeTime\": \"2024-05-18T02:57:11Z\",\n \"fileName\": \"id:449839014328146741 paths:\\\"/8ca44f28-47f7-40ba-9604-98918afe26d1/2.parquet\\\" \",\n \"fileSize\": 31517224,\n \"importedRows\": 100000,\n \"progress\": 100,\n \"state\": \"Completed\",\n \"totalRows\": 200000 \n }\n ],\n \"fileSize\": 63085098,\n \"importedRows\": 200000,\n \"jobId\": \"449839014328146739\",\n \"progress\": 100,\n \"state\": \"Completed\",\n \"totalRows\": 200000\n }\n}\n","export MILVUS_URI=\"localhost:19530\"\n\ncurl --request POST \"http://${MILVUS_URI}/v2/vectordb/jobs/import/list\" \\\n--header \"Content-Type: application/json\" \\\n--data-raw '{\n \"collectionName\": \"quick_setup\"\n}'\n","{\n \"code\": 200,\n \"data\": {\n \"records\": [\n {\n \"collectionName\": \"quick_setup\",\n \"jobId\": \"448761313698322011\",\n \"progress\": 50,\n \"state\": \"Importing\"\n }\n ]\n }\n}\n"],"headingContent":"","anchorList":[{"label":"데이터 가져오기","href":"Import-data","type":1,"isActive":false},{"label":"시작하기 전에","href":"Before-you-start","type":2,"isActive":false},{"label":"데이터 가져오기","href":"Import-data","type":2,"isActive":false},{"label":"가져오기 진행 상황 확인","href":"Check-import-progress","type":2,"isActive":false},{"label":"가져오기 작업 목록","href":"List-Import-Jobs","type":2,"isActive":false}]} \ No newline at end of file +{"codeList":["from pymilvus.bulk_writer import bulk_import\n\nurl = f\"http://127.0.0.1:19530\"\n\n# Bulk-insert data from a set of JSON files already uploaded to the MinIO server\nresp = bulk_import(\n url=url,\n collection_name=\"quick_setup\",\n files=[['a1e18323-a658-4d1b-95a7-9907a4391bcf/1.parquet'],\n ['a1e18323-a658-4d1b-95a7-9907a4391bcf/2.parquet'],\n ['a1e18323-a658-4d1b-95a7-9907a4391bcf/3.parquet'],\n ['a1e18323-a658-4d1b-95a7-9907a4391bcf/4.parquet'],\n ['a1e18323-a658-4d1b-95a7-9907a4391bcf/5.parquet'],\n ['a1e18323-a658-4d1b-95a7-9907a4391bcf/6.parquet'],\n ['a1e18323-a658-4d1b-95a7-9907a4391bcf/7.parquet'],\n ['a1e18323-a658-4d1b-95a7-9907a4391bcf/8.parquet'],\n ['a1e18323-a658-4d1b-95a7-9907a4391bcf/9.parquet'],\n ['a1e18323-a658-4d1b-95a7-9907a4391bcf/10.parquet']],\n)\n\njob_id = resp.json()['data']['jobId']\nprint(job_id)\n","private static String bulkImport(List> batchFiles) throws InterruptedException {\n MilvusImportRequest milvusImportRequest = MilvusImportRequest.builder()\n .collectionName(\"quick_setup\")\n .files(batchFiles)\n .build();\n String bulkImportResult = BulkImport.bulkImport(\"http://localhost:19530\", milvusImportRequest);\n System.out.println(bulkImportResult);\n\n JsonObject bulkImportObject = new Gson().fromJson(bulkImportResult, JsonObject.class);\n String jobId = bulkImportObject.getAsJsonObject(\"data\").get(\"jobId\").getAsString();\n System.out.println(\"Create a bulkInert task, job id: \" + jobId);\n return jobId;\n}\n\npublic static void main(String[] args) throws Exception {\n List> batchFiles = uploadData();\n String jobId = bulkImport(batchFiles);\n}\n","export MILVUS_URI=\"localhost:19530\"\n\ncurl --request POST \"http://${MILVUS_URI}/v2/vectordb/jobs/import/create\" \\\n--header \"Content-Type: application/json\" \\\n--data-raw '{\n \"files\": [\n [\n \"/8ca44f28-47f7-40ba-9604-98918afe26d1/1.parquet\"\n ],\n [\n \"/8ca44f28-47f7-40ba-9604-98918afe26d1/2.parquet\"\n ]\n ],\n \"collectionName\": \"quick_setup\"\n}'\n","[\n \"/d1782fa1-6b65-4ff3-b05a-43a436342445/1.json\"\n],\n","[\n \"/a6fb2d1c-7b1b-427c-a8a3-178944e3b66d/1.parquet\"\n]\n\n","{\n \"code\": 200,\n \"data\": {\n \"jobId\": \"448707763884413158\"\n }\n}\n","import json\nfrom pymilvus.bulk_writer import get_import_progress\n\nurl = f\"http://127.0.0.1:19530\"\n\n# Get bulk-insert job progress\nresp = get_import_progress(\n url=url,\n job_id=\"453265736269038336\",\n)\n\nprint(json.dumps(resp.json(), indent=4))\n","private static void getImportProgress(String jobId) {\n while (true) {\n System.out.println(\"Wait 5 second to check bulkInsert job state...\");\n try {\n TimeUnit.SECONDS.sleep(5);\n } catch (InterruptedException e) {\n break;\n }\n\n MilvusDescribeImportRequest request = MilvusDescribeImportRequest.builder()\n .jobId(jobId)\n .build();\n String getImportProgressResult = BulkImport.getImportProgress(\"http://localhost:19530\", request);\n\n JsonObject getImportProgressObject = new Gson().fromJson(getImportProgressResult, JsonObject.class);\n String state = getImportProgressObject.getAsJsonObject(\"data\").get(\"state\").getAsString();\n String progress = getImportProgressObject.getAsJsonObject(\"data\").get(\"progress\").getAsString();\n if (\"Failed\".equals(state)) {\n String reason = getImportProgressObject.getAsJsonObject(\"data\").get(\"reason\").getAsString();\n System.out.printf(\"The job %s failed, reason: %s%n\", jobId, reason);\n break;\n } else if (\"Completed\".equals(state)) {\n System.out.printf(\"The job %s completed%n\", jobId);\n break;\n } else {\n System.out.printf(\"The job %s is running, state:%s progress:%s%n\", jobId, state, progress);\n }\n }\n}\n\npublic static void main(String[] args) throws Exception {\n List> batchFiles = uploadData();\n String jobId = bulkImport(batchFiles);\n getImportProgress(jobId);\n}\n","export MILVUS_URI=\"localhost:19530\"\n\ncurl --request POST \"http://${MILVUS_URI}/v2/vectordb/jobs/import/describe\" \\\n--header \"Content-Type: application/json\" \\\n--data-raw '{\n \"jobId\": \"449839014328146739\"\n}'\n","{\n \"code\": 200,\n \"data\": {\n \"collectionName\": \"quick_setup\",\n \"completeTime\": \"2024-05-18T02:57:13Z\",\n \"details\": [\n {\n \"completeTime\": \"2024-05-18T02:57:11Z\",\n \"fileName\": \"id:449839014328146740 paths:\\\"/8ca44f28-47f7-40ba-9604-98918afe26d1/1.parquet\\\" \",\n \"fileSize\": 31567874,\n \"importedRows\": 100000,\n \"progress\": 100,\n \"state\": \"Completed\",\n \"totalRows\": 100000\n },\n {\n \"completeTime\": \"2024-05-18T02:57:11Z\",\n \"fileName\": \"id:449839014328146741 paths:\\\"/8ca44f28-47f7-40ba-9604-98918afe26d1/2.parquet\\\" \",\n \"fileSize\": 31517224,\n \"importedRows\": 100000,\n \"progress\": 100,\n \"state\": \"Completed\",\n \"totalRows\": 200000 \n }\n ],\n \"fileSize\": 63085098,\n \"importedRows\": 200000,\n \"jobId\": \"449839014328146739\",\n \"progress\": 100,\n \"state\": \"Completed\",\n \"totalRows\": 200000\n }\n}\n","import json\nfrom pymilvus.bulk_writer import list_import_jobs\n\nurl = f\"http://127.0.0.1:19530\"\n\n# List bulk-insert jobs\nresp = list_import_jobs(\n url=url,\n collection_name=\"quick_setup\",\n)\n\nprint(json.dumps(resp.json(), indent=4))\n","private static void listImportJobs() {\n MilvusListImportJobsRequest listImportJobsRequest = MilvusListImportJobsRequest.builder().collectionName(\"quick_setup\").build();\n String listImportJobsResult = BulkImport.listImportJobs(\"http://localhost:19530\", listImportJobsRequest);\n System.out.println(listImportJobsResult);\n}\n\npublic static void main(String[] args) throws Exception {\n listImportJobs();\n}\n","export MILVUS_URI=\"localhost:19530\"\n\ncurl --request POST \"http://${MILVUS_URI}/v2/vectordb/jobs/import/list\" \\\n--header \"Content-Type: application/json\" \\\n--data-raw '{\n \"collectionName\": \"quick_setup\"\n}'\n","{\n \"code\": 200,\n \"data\": {\n \"records\": [\n {\n \"collectionName\": \"quick_setup\",\n \"jobId\": \"448761313698322011\",\n \"progress\": 50,\n \"state\": \"Importing\"\n }\n ]\n }\n}\n"],"headingContent":"Import data","anchorList":[{"label":"데이터 가져오기","href":"Import-data","type":1,"isActive":false},{"label":"시작하기 전에","href":"Before-you-start","type":2,"isActive":false},{"label":"데이터 가져오기","href":"Import-data","type":2,"isActive":false},{"label":"가져오기 진행 상황 확인","href":"Check-import-progress","type":2,"isActive":false},{"label":"가져오기 작업 목록","href":"List-Import-Jobs","type":2,"isActive":false},{"label":"제한 사항","href":"Limitations","type":2,"isActive":false},{"label":"제약 조건","href":"Constraints","type":2,"isActive":false},{"label":"권장 사항","href":"Recommendations","type":2,"isActive":false}]} \ No newline at end of file diff --git a/localization/v2.4.x/site/ko/userGuide/data-import/import-data.md b/localization/v2.4.x/site/ko/userGuide/data-import/import-data.md index b5e685c9f..f32e20288 100644 --- a/localization/v2.4.x/site/ko/userGuide/data-import/import-data.md +++ b/localization/v2.4.x/site/ko/userGuide/data-import/import-data.md @@ -46,79 +46,6 @@ summary: 이 페이지에서는 준비된 데이터를 가져오는 절차를

                                                                                                                                                                                                                                                                                                                                                                                                                                                              다음 코드 스니펫은 주어진 스키마로 간단한 컬렉션을 만듭니다. 매개 변수에 대한 자세한 내용은 SDK 참조에서 createCollection() 를 참조하세요.

                                                                                                                                                                                                                                                                                                                                                                                                                                                              - -
                                                                                                                                                                                                                                                                                                                                                                                                                                                              client = MilvusClient("http://localhost:19530")
                                                                                                                                                                                                                                                                                                                                                                                                                                                              -
                                                                                                                                                                                                                                                                                                                                                                                                                                                              -schema = MilvusClient.create_schema(
                                                                                                                                                                                                                                                                                                                                                                                                                                                              -    auto_id=False,
                                                                                                                                                                                                                                                                                                                                                                                                                                                              -    enable_dynamic_field=True
                                                                                                                                                                                                                                                                                                                                                                                                                                                              -)
                                                                                                                                                                                                                                                                                                                                                                                                                                                              -
                                                                                                                                                                                                                                                                                                                                                                                                                                                              -schema.add_field(field_name="id", datatype=DataType.INT64, is_primary=True)
                                                                                                                                                                                                                                                                                                                                                                                                                                                              -schema.add_field(field_name="vector", datatype=DataType.FLOAT_VECTOR, dim=768)
                                                                                                                                                                                                                                                                                                                                                                                                                                                              -schema.add_field(field_name="scalar_1", datatype=DataType.VARCHAR, max_length=512)
                                                                                                                                                                                                                                                                                                                                                                                                                                                              -schema.add_field(field_name="scalar_2", datatype=DataType.INT64)
                                                                                                                                                                                                                                                                                                                                                                                                                                                              -
                                                                                                                                                                                                                                                                                                                                                                                                                                                              -client.create_collection(
                                                                                                                                                                                                                                                                                                                                                                                                                                                              -    collection_name="quick_setup",
                                                                                                                                                                                                                                                                                                                                                                                                                                                              -    schema=schema
                                                                                                                                                                                                                                                                                                                                                                                                                                                              -)
                                                                                                                                                                                                                                                                                                                                                                                                                                                              -
                                                                                                                                                                                                                                                                                                                                                                                                                                                              -
                                                                                                                                                                                                                                                                                                                                                                                                                                                              import io.milvus.client.MilvusServiceClient;
                                                                                                                                                                                                                                                                                                                                                                                                                                                              -import io.milvus.param.ConnectParam;
                                                                                                                                                                                                                                                                                                                                                                                                                                                              -import io.milvus.grpc.DataType;
                                                                                                                                                                                                                                                                                                                                                                                                                                                              -import io.milvus.param.collection.CollectionSchemaParam;
                                                                                                                                                                                                                                                                                                                                                                                                                                                              -import io.milvus.param.collection.CollectionSchemaParam;
                                                                                                                                                                                                                                                                                                                                                                                                                                                              -import io.milvus.param.collection.FieldType;
                                                                                                                                                                                                                                                                                                                                                                                                                                                              -
                                                                                                                                                                                                                                                                                                                                                                                                                                                              -final MilvusServiceClient milvusClient = new MilvusServiceClient(
                                                                                                                                                                                                                                                                                                                                                                                                                                                              -ConnectParam.newBuilder()
                                                                                                                                                                                                                                                                                                                                                                                                                                                              -    .withUri("localhost:19530")
                                                                                                                                                                                                                                                                                                                                                                                                                                                              -    .withToken("root:Milvus")
                                                                                                                                                                                                                                                                                                                                                                                                                                                              -    .build()
                                                                                                                                                                                                                                                                                                                                                                                                                                                              -);
                                                                                                                                                                                                                                                                                                                                                                                                                                                              -
                                                                                                                                                                                                                                                                                                                                                                                                                                                              -// Define schema for the target collection
                                                                                                                                                                                                                                                                                                                                                                                                                                                              -FieldType id = FieldType.newBuilder()
                                                                                                                                                                                                                                                                                                                                                                                                                                                              -    .withName("id")
                                                                                                                                                                                                                                                                                                                                                                                                                                                              -    .withDataType(DataType.Int64)
                                                                                                                                                                                                                                                                                                                                                                                                                                                              -    .withPrimaryKey(true)
                                                                                                                                                                                                                                                                                                                                                                                                                                                              -    .withAutoID(false)
                                                                                                                                                                                                                                                                                                                                                                                                                                                              -    .build();
                                                                                                                                                                                                                                                                                                                                                                                                                                                              -
                                                                                                                                                                                                                                                                                                                                                                                                                                                              -FieldType vector = FieldType.newBuilder()
                                                                                                                                                                                                                                                                                                                                                                                                                                                              -    .withName("vector")
                                                                                                                                                                                                                                                                                                                                                                                                                                                              -    .withDataType(DataType.FloatVector)
                                                                                                                                                                                                                                                                                                                                                                                                                                                              -    .withDimension(768)
                                                                                                                                                                                                                                                                                                                                                                                                                                                              -    .build();
                                                                                                                                                                                                                                                                                                                                                                                                                                                              -
                                                                                                                                                                                                                                                                                                                                                                                                                                                              -FieldType scalar1 = FieldType.newBuilder()
                                                                                                                                                                                                                                                                                                                                                                                                                                                              -    .withName("scalar_1")
                                                                                                                                                                                                                                                                                                                                                                                                                                                              -    .withDataType(DataType.VarChar)
                                                                                                                                                                                                                                                                                                                                                                                                                                                              -    .withMaxLength(512)
                                                                                                                                                                                                                                                                                                                                                                                                                                                              -    .build();
                                                                                                                                                                                                                                                                                                                                                                                                                                                              -
                                                                                                                                                                                                                                                                                                                                                                                                                                                              -FieldType scalar2 = FieldType.newBuilder()
                                                                                                                                                                                                                                                                                                                                                                                                                                                              -    .withName("scalar_2")
                                                                                                                                                                                                                                                                                                                                                                                                                                                              -    .withDataType(DataType.Int64)
                                                                                                                                                                                                                                                                                                                                                                                                                                                              -    .build();
                                                                                                                                                                                                                                                                                                                                                                                                                                                              -
                                                                                                                                                                                                                                                                                                                                                                                                                                                              -CollectionSchemaParam schema = CollectionSchemaParam.newBuilder()
                                                                                                                                                                                                                                                                                                                                                                                                                                                              -    .withEnableDynamicField(true)
                                                                                                                                                                                                                                                                                                                                                                                                                                                              -    .addFieldType(id)
                                                                                                                                                                                                                                                                                                                                                                                                                                                              -    .addFieldType(vector)
                                                                                                                                                                                                                                                                                                                                                                                                                                                              -    .addFieldType(scalar1)
                                                                                                                                                                                                                                                                                                                                                                                                                                                              -    .addFieldType(scalar2)
                                                                                                                                                                                                                                                                                                                                                                                                                                                              -    .build();
                                                                                                                                                                                                                                                                                                                                                                                                                                                              -
                                                                                                                                                                                                                                                                                                                                                                                                                                                              -// Create a collection with the given schema
                                                                                                                                                                                                                                                                                                                                                                                                                                                              -milvusClient.createCollection(CreateCollectionParam.newBuilder()
                                                                                                                                                                                                                                                                                                                                                                                                                                                              -    .withCollectionName("quick_setup")
                                                                                                                                                                                                                                                                                                                                                                                                                                                              -    .withSchema(schema)
                                                                                                                                                                                                                                                                                                                                                                                                                                                              -    .build()
                                                                                                                                                                                                                                                                                                                                                                                                                                                              -);
                                                                                                                                                                                                                                                                                                                                                                                                                                                              -

                                                                                                                                                                                                                                                                                                                                                                                                                                                              데이터 가져오기

                                                                                                                                                                                                                                                                                                                                                                                                                                                              준비된 데이터를 가져오려면 다음과 같이 가져오기 작업을 생성해야 합니다:

                                                                                                                                                                                                                                                                                                                                                                                                                                                              -
                                                                                                                                                                                                                                                                                                                                                                                                                                                              export MILVUS_URI="localhost:19530"
                                                                                                                                                                                                                                                                                                                                                                                                                                                              +
                                                                                                                                                                                                                                                                                                                                                                                                                                                              +
                                                                                                                                                                                                                                                                                                                                                                                                                                                              from pymilvus.bulk_writer import bulk_import
                                                                                                                                                                                                                                                                                                                                                                                                                                                              +
                                                                                                                                                                                                                                                                                                                                                                                                                                                              +url = f"http://127.0.0.1:19530"
                                                                                                                                                                                                                                                                                                                                                                                                                                                              +
                                                                                                                                                                                                                                                                                                                                                                                                                                                              +# Bulk-insert data from a set of JSON files already uploaded to the MinIO server
                                                                                                                                                                                                                                                                                                                                                                                                                                                              +resp = bulk_import(
                                                                                                                                                                                                                                                                                                                                                                                                                                                              +    url=url,
                                                                                                                                                                                                                                                                                                                                                                                                                                                              +    collection_name="quick_setup",
                                                                                                                                                                                                                                                                                                                                                                                                                                                              +    files=[['a1e18323-a658-4d1b-95a7-9907a4391bcf/1.parquet'],
                                                                                                                                                                                                                                                                                                                                                                                                                                                              +           ['a1e18323-a658-4d1b-95a7-9907a4391bcf/2.parquet'],
                                                                                                                                                                                                                                                                                                                                                                                                                                                              +           ['a1e18323-a658-4d1b-95a7-9907a4391bcf/3.parquet'],
                                                                                                                                                                                                                                                                                                                                                                                                                                                              +           ['a1e18323-a658-4d1b-95a7-9907a4391bcf/4.parquet'],
                                                                                                                                                                                                                                                                                                                                                                                                                                                              +           ['a1e18323-a658-4d1b-95a7-9907a4391bcf/5.parquet'],
                                                                                                                                                                                                                                                                                                                                                                                                                                                              +           ['a1e18323-a658-4d1b-95a7-9907a4391bcf/6.parquet'],
                                                                                                                                                                                                                                                                                                                                                                                                                                                              +           ['a1e18323-a658-4d1b-95a7-9907a4391bcf/7.parquet'],
                                                                                                                                                                                                                                                                                                                                                                                                                                                              +           ['a1e18323-a658-4d1b-95a7-9907a4391bcf/8.parquet'],
                                                                                                                                                                                                                                                                                                                                                                                                                                                              +           ['a1e18323-a658-4d1b-95a7-9907a4391bcf/9.parquet'],
                                                                                                                                                                                                                                                                                                                                                                                                                                                              +           ['a1e18323-a658-4d1b-95a7-9907a4391bcf/10.parquet']],
                                                                                                                                                                                                                                                                                                                                                                                                                                                              +)
                                                                                                                                                                                                                                                                                                                                                                                                                                                              +
                                                                                                                                                                                                                                                                                                                                                                                                                                                              +job_id = resp.json()['data']['jobId']
                                                                                                                                                                                                                                                                                                                                                                                                                                                              +print(job_id)
                                                                                                                                                                                                                                                                                                                                                                                                                                                              +
                                                                                                                                                                                                                                                                                                                                                                                                                                                              +
                                                                                                                                                                                                                                                                                                                                                                                                                                                              private static String bulkImport(List<List<String>> batchFiles) throws InterruptedException {
                                                                                                                                                                                                                                                                                                                                                                                                                                                              +    MilvusImportRequest milvusImportRequest = MilvusImportRequest.builder()
                                                                                                                                                                                                                                                                                                                                                                                                                                                              +            .collectionName("quick_setup")
                                                                                                                                                                                                                                                                                                                                                                                                                                                              +            .files(batchFiles)
                                                                                                                                                                                                                                                                                                                                                                                                                                                              +            .build();
                                                                                                                                                                                                                                                                                                                                                                                                                                                              +    String bulkImportResult = BulkImport.bulkImport("http://localhost:19530", milvusImportRequest);
                                                                                                                                                                                                                                                                                                                                                                                                                                                              +    System.out.println(bulkImportResult);
                                                                                                                                                                                                                                                                                                                                                                                                                                                              +
                                                                                                                                                                                                                                                                                                                                                                                                                                                              +    JsonObject bulkImportObject = new Gson().fromJson(bulkImportResult, JsonObject.class);
                                                                                                                                                                                                                                                                                                                                                                                                                                                              +    String jobId = bulkImportObject.getAsJsonObject("data").get("jobId").getAsString();
                                                                                                                                                                                                                                                                                                                                                                                                                                                              +    System.out.println("Create a bulkInert task, job id: " + jobId);
                                                                                                                                                                                                                                                                                                                                                                                                                                                              +    return jobId;
                                                                                                                                                                                                                                                                                                                                                                                                                                                              +}
                                                                                                                                                                                                                                                                                                                                                                                                                                                              +
                                                                                                                                                                                                                                                                                                                                                                                                                                                              +public static void main(String[] args) throws Exception {
                                                                                                                                                                                                                                                                                                                                                                                                                                                              +    List<List<String>> batchFiles = uploadData();
                                                                                                                                                                                                                                                                                                                                                                                                                                                              +    String jobId = bulkImport(batchFiles);
                                                                                                                                                                                                                                                                                                                                                                                                                                                              +}
                                                                                                                                                                                                                                                                                                                                                                                                                                                              +
                                                                                                                                                                                                                                                                                                                                                                                                                                                              +
                                                                                                                                                                                                                                                                                                                                                                                                                                                              export MILVUS_URI="localhost:19530"
                                                                                                                                                                                                                                                                                                                                                                                                                                                               
                                                                                                                                                                                                                                                                                                                                                                                                                                                               curl --request POST "http://${MILVUS_URI}/v2/vectordb/jobs/import/create" \
                                                                                                                                                                                                                                                                                                                                                                                                                                                               --header "Content-Type: application/json" \
                                                                                                                                                                                                                                                                                                                                                                                                                                                              @@ -156,10 +127,10 @@ curl --request POST "http://collectionName

                                                                                                                                                                                                                                                                                                                                                                                                                                                              대상 컬렉션의 이름.

                                                                                                                                                                                                                                                                                                                                                                                                                                                            • files

                                                                                                                                                                                                                                                                                                                                                                                                                                                              -

                                                                                                                                                                                                                                                                                                                                                                                                                                                              밀버스 인스턴스와 함께 시작된 MioIO 인스턴스에서 밀버스 버킷의 루트 경로를 기준으로 한 파일 경로 목록입니다. 가능한 하위 목록은 다음과 같습니다:

                                                                                                                                                                                                                                                                                                                                                                                                                                                              +

                                                                                                                                                                                                                                                                                                                                                                                                                                                              Milvus 인스턴스와 함께 시작된 MioIO 인스턴스에서 Milvus 버킷의 루트 경로를 기준으로 한 파일 경로 목록입니다. 가능한 하위 목록은 다음과 같습니다:

                                                                                                                                                                                                                                                                                                                                                                                                                                                              • JSON 파일

                                                                                                                                                                                                                                                                                                                                                                                                                                                                -

                                                                                                                                                                                                                                                                                                                                                                                                                                                                준비된 파일이 JSON 형식인 경우, 각 하위 목록에는 준비된 단일 JSON 파일의 경로가 포함되어야 합니다.

                                                                                                                                                                                                                                                                                                                                                                                                                                                                +

                                                                                                                                                                                                                                                                                                                                                                                                                                                                준비된 파일이 JSON 형식인 경우, 각 하위 목록에는 준비된 단일 JSON 파일의 경로가 포함되어야 합니다.

                                                                                                                                                                                                                                                                                                                                                                                                                                                                [
                                                                                                                                                                                                                                                                                                                                                                                                                                                                     "/d1782fa1-6b65-4ff3-b05a-43a436342445/1.json"
                                                                                                                                                                                                                                                                                                                                                                                                                                                                 ],
                                                                                                                                                                                                                                                                                                                                                                                                                                                                @@ -174,7 +145,7 @@ curl --request POST "http://{
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +
                                                                                                                                                                                                                                                                                                                                                                                                                                                                {
                                                                                                                                                                                                                                                                                                                                                                                                                                                                     "code": 200,
                                                                                                                                                                                                                                                                                                                                                                                                                                                                     "data": {
                                                                                                                                                                                                                                                                                                                                                                                                                                                                         "jobId": "448707763884413158"
                                                                                                                                                                                                                                                                                                                                                                                                                                                                @@ -197,9 +168,60 @@ curl --request POST "http://export MILVUS_URI="localhost:19530"
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +
                                                                                                                                                                                                                                                                                                                                                                                                                                                                import json
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +from pymilvus.bulk_writer import get_import_progress
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +url = f"http://127.0.0.1:19530"
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +# Get bulk-insert job progress
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +resp = get_import_progress(
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +    url=url,
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +    job_id="453265736269038336",
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +)
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +print(json.dumps(resp.json(), indent=4))
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +
                                                                                                                                                                                                                                                                                                                                                                                                                                                                private static void getImportProgress(String jobId) {
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +    while (true) {
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +        System.out.println("Wait 5 second to check bulkInsert job state...");
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +        try {
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +            TimeUnit.SECONDS.sleep(5);
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +        } catch (InterruptedException e) {
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +            break;
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +        }
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +        MilvusDescribeImportRequest request = MilvusDescribeImportRequest.builder()
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +                .jobId(jobId)
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +                .build();
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +        String getImportProgressResult = BulkImport.getImportProgress("http://localhost:19530", request);
                                                                                                                                                                                                                                                                                                                                                                                                                                                                 
                                                                                                                                                                                                                                                                                                                                                                                                                                                                -curl --request POST "http://${MILVUS_URI}/v2/vectordb/jobs/import/get_progress" \
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +        JsonObject getImportProgressObject = new Gson().fromJson(getImportProgressResult, JsonObject.class);
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +        String state = getImportProgressObject.getAsJsonObject("data").get("state").getAsString();
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +        String progress = getImportProgressObject.getAsJsonObject("data").get("progress").getAsString();
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +        if ("Failed".equals(state)) {
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +            String reason = getImportProgressObject.getAsJsonObject("data").get("reason").getAsString();
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +            System.out.printf("The job %s failed, reason: %s%n", jobId, reason);
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +            break;
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +        } else if ("Completed".equals(state)) {
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +            System.out.printf("The job %s completed%n", jobId);
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +            break;
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +        } else {
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +            System.out.printf("The job %s is running, state:%s progress:%s%n", jobId, state, progress);
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +        }
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +    }
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +}
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +public static void main(String[] args) throws Exception {
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +    List<List<String>> batchFiles = uploadData();
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +    String jobId = bulkImport(batchFiles);
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +    getImportProgress(jobId);
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +}
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +
                                                                                                                                                                                                                                                                                                                                                                                                                                                                export MILVUS_URI="localhost:19530"
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +curl --request POST "http://${MILVUS_URI}/v2/vectordb/jobs/import/describe" \
                                                                                                                                                                                                                                                                                                                                                                                                                                                                 --header "Content-Type: application/json" \
                                                                                                                                                                                                                                                                                                                                                                                                                                                                 --data-raw '{
                                                                                                                                                                                                                                                                                                                                                                                                                                                                     "jobId": "449839014328146739"
                                                                                                                                                                                                                                                                                                                                                                                                                                                                @@ -256,7 +278,32 @@ curl --request POST "http://export MILVUS_URI="localhost:19530"
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +
                                                                                                                                                                                                                                                                                                                                                                                                                                                                import json
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +from pymilvus.bulk_writer import list_import_jobs
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +url = f"http://127.0.0.1:19530"
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +# List bulk-insert jobs
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +resp = list_import_jobs(
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +    url=url,
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +    collection_name="quick_setup",
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +)
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +print(json.dumps(resp.json(), indent=4))
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +
                                                                                                                                                                                                                                                                                                                                                                                                                                                                private static void listImportJobs() {
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +    MilvusListImportJobsRequest listImportJobsRequest = MilvusListImportJobsRequest.builder().collectionName("quick_setup").build();
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +    String listImportJobsResult = BulkImport.listImportJobs("http://localhost:19530", listImportJobsRequest);
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +    System.out.println(listImportJobsResult);
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +}
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +public static void main(String[] args) throws Exception {
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +    listImportJobs();
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +}
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +
                                                                                                                                                                                                                                                                                                                                                                                                                                                                export MILVUS_URI="localhost:19530"
                                                                                                                                                                                                                                                                                                                                                                                                                                                                 
                                                                                                                                                                                                                                                                                                                                                                                                                                                                 curl --request POST "http://${MILVUS_URI}/v2/vectordb/jobs/import/list" \
                                                                                                                                                                                                                                                                                                                                                                                                                                                                 --header "Content-Type: application/json" \
                                                                                                                                                                                                                                                                                                                                                                                                                                                                @@ -265,7 +312,7 @@ curl --request POST "http://

                                                                                                                                                                                                                                                                                                                                                                                                                                                                가능한 값은 다음과 같습니다:

                                                                                                                                                                                                                                                                                                                                                                                                                                                                -
                                                                                                                                                                                                                                                                                                                                                                                                                                                                {
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +
                                                                                                                                                                                                                                                                                                                                                                                                                                                                {
                                                                                                                                                                                                                                                                                                                                                                                                                                                                     "code": 200,
                                                                                                                                                                                                                                                                                                                                                                                                                                                                     "data": {
                                                                                                                                                                                                                                                                                                                                                                                                                                                                         "records": [
                                                                                                                                                                                                                                                                                                                                                                                                                                                                @@ -279,3 +326,76 @@ curl --request POST "http://
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +

                                                                                                                                                                                                                                                                                                                                                                                                                                                                제한 사항

                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +
                                                                                                                                                                                                                                                                                                                                                                                                                                                                • 각 가져오기 파일 크기는 16GB를 초과할 수 없습니다.

                                                                                                                                                                                                                                                                                                                                                                                                                                                                • +
                                                                                                                                                                                                                                                                                                                                                                                                                                                                • 가져오기 요청의 최대 개수는 1024개로 제한됩니다.

                                                                                                                                                                                                                                                                                                                                                                                                                                                                • +
                                                                                                                                                                                                                                                                                                                                                                                                                                                                • 가져오기 요청당 최대 파일 수는 1024개를 초과할 수 없습니다.

                                                                                                                                                                                                                                                                                                                                                                                                                                                                • +
                                                                                                                                                                                                                                                                                                                                                                                                                                                                • 가져오기 요청에는 하나의 파티션 이름만 지정할 수 있습니다. 파티션 이름을 지정하지 않으면 데이터가 기본 파티션에 삽입됩니다. 또한 대상 컬렉션에 파티션 키를 설정한 경우에는 가져오기 요청에서 파티션 이름을 설정할 수 없습니다.

                                                                                                                                                                                                                                                                                                                                                                                                                                                                • +
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +

                                                                                                                                                                                                                                                                                                                                                                                                                                                                제약 조건

                                                                                                                                                                                                                                                                                                                                                                                                                                                                데이터를 가져오기 전에 다음 Milvus 동작에 대한 제약 조건을 확인했는지 확인하세요:

                                                                                                                                                                                                                                                                                                                                                                                                                                                                +
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +
                                                                                                                                                                                                                                                                                                                                                                                                                                                                • 로드 동작에 관한 제약 조건:

                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +
                                                                                                                                                                                                                                                                                                                                                                                                                                                                    +
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  • 가져오기 전에 컬렉션이 이미 로드된 경우, 가져오기가 완료된 후 refresh_load 함수를 사용하여 새로 가져온 데이터를 로드할 수 있습니다.
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                                                                                                                                                                                                                • +
                                                                                                                                                                                                                                                                                                                                                                                                                                                                • 쿼리 및 검색 동작 관련 제약 조건:

                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +
                                                                                                                                                                                                                                                                                                                                                                                                                                                                    +
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  • 가져오기 작업 상태가 완료되기 전에는 새로 가져온 데이터가 쿼리 및 검색에 보이지 않도록 보장됩니다.

                                                                                                                                                                                                                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  • 작업 상태가 완료되면,

                                                                                                                                                                                                                                                                                                                                                                                                                                                                    +
                                                                                                                                                                                                                                                                                                                                                                                                                                                                      +
                                                                                                                                                                                                                                                                                                                                                                                                                                                                    • 컬렉션이 로드되지 않은 경우 load 함수를 사용하여 새로 가져온 데이터를 로드할 수 있습니다.

                                                                                                                                                                                                                                                                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                                                                                                                                                                                                                                                                    • 컬렉션이 이미 로드된 경우 load(is_refresh=True) 을 호출하여 가져온 데이터를 로드할 수 있습니다.

                                                                                                                                                                                                                                                                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                                                                                                                                                                                                                • +
                                                                                                                                                                                                                                                                                                                                                                                                                                                                • 삭제 동작에 관한 제약 조건

                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +
                                                                                                                                                                                                                                                                                                                                                                                                                                                                    +
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  • 가져오기 작업 상태가 완료되기 전에는 삭제가 보장되지 않으며 삭제가 성공할 수도 있고 실패할 수도 있습니다.

                                                                                                                                                                                                                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  • 작업 상태가 완료된 후의 삭제는 성공이 보장됩니다.

                                                                                                                                                                                                                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                                                                                                                                                                                                                • +
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +

                                                                                                                                                                                                                                                                                                                                                                                                                                                                권장 사항

                                                                                                                                                                                                                                                                                                                                                                                                                                                                한 번의 요청으로 여러 개의 파일을 업로드할 수 있는 다중 파일 가져오기 기능을 사용하는 것을 적극 권장합니다. 이 방법은 가져오기 프로세스를 간소화할 뿐만 아니라 가져오기 성능도 크게 향상시킵니다. 한편, 업로드를 통합하면 데이터 관리에 소요되는 시간을 줄이고 워크플로우를 더욱 효율적으로 만들 수 있습니다.

                                                                                                                                                                                                                                                                                                                                                                                                                                                                diff --git a/localization/v2.4.x/site/ko/userGuide/data-import/prepare-source-data.json b/localization/v2.4.x/site/ko/userGuide/data-import/prepare-source-data.json index 11623f7cc..5b8bfdc8a 100644 --- a/localization/v2.4.x/site/ko/userGuide/data-import/prepare-source-data.json +++ b/localization/v2.4.x/site/ko/userGuide/data-import/prepare-source-data.json @@ -1 +1 @@ -{"codeList":["from pymilvus import MilvusClient, DataType\n\n# You need to work out a collection schema out of your dataset.\nschema = MilvusClient.create_schema(\n auto_id=False,\n enable_dynamic_field=True\n)\n\nschema.add_field(field_name=\"id\", datatype=DataType.INT64, is_primary=True)\nschema.add_field(field_name=\"vector\", datatype=DataType.FLOAT_VECTOR, dim=768)\nschema.add_field(field_name=\"scalar_1\", datatype=DataType.VARCHAR, max_length=512)\nschema.add_field(field_name=\"scalar_2\", datatype=DataType.INT64)\n\nschema.verify()\n","import io.milvus.grpc.DataType;\nimport io.milvus.param.collection.CollectionSchemaParam;\nimport io.milvus.param.collection.FieldType;\n\n// Define schema for the target collection\nFieldType id = FieldType.newBuilder()\n .withName(\"id\")\n .withDataType(DataType.Int64)\n .withPrimaryKey(true)\n .withAutoID(false)\n .build();\n\nFieldType vector = FieldType.newBuilder()\n .withName(\"vector\")\n .withDataType(DataType.FloatVector)\n .withDimension(768)\n .build();\n\nFieldType scalar1 = FieldType.newBuilder()\n .withName(\"scalar_1\")\n .withDataType(DataType.VarChar)\n .withMaxLength(512)\n .build();\n\nFieldType scalar2 = FieldType.newBuilder()\n .withName(\"scalar_2\")\n .withDataType(DataType.Int64)\n .build();\n\nCollectionSchemaParam schema = CollectionSchemaParam.newBuilder()\n .withEnableDynamicField(true)\n .addFieldType(id)\n .addFieldType(vector)\n .addFieldType(scalar1)\n .addFieldType(scalar2)\n .build();\n","from pymilvus.bulk_writer import LocalBulkWriter, BulkFileType\n# Use `from pymilvus import LocalBulkWriter, BulkFileType` \n# when you use pymilvus earlier than 2.4.2 \n\nwriter = LocalBulkWriter(\n schema=schema,\n local_path='.',\n segment_size=512 * 1024 * 1024, # Default value\n file_type=BulkFileType.PARQUET\n)\n","import io.milvus.bulkwriter.LocalBulkWriter;\nimport io.milvus.bulkwriter.LocalBulkWriterParam;\nimport io.milvus.bulkwriter.common.clientenum.BulkFileType;\n\nLocalBulkWriterParam localBulkWriterParam = LocalBulkWriterParam.newBuilder()\n .withCollectionSchema(schema)\n .withLocalPath(\".\")\n .withChunkSize(512 * 1024 * 1024)\n .withFileType(BulkFileType.PARQUET)\n .build();\n\nLocalBulkWriter localBulkWriter = new LocalBulkWriter(localBulkWriterParam);\n","from pymilvus.bulk_writer import RemoteBulkWriter\n# Use `from pymilvus import RemoteBulkWriter` \n# when you use pymilvus earlier than 2.4.2 \n\n# Third-party constants\nACCESS_KEY=\"minioadmin\"\nSECRET_KEY=\"minioadmin\"\nBUCKET_NAME=\"milvus-bucket\"\n\n# Connections parameters to access the remote bucket\nconn = RemoteBulkWriter.S3ConnectParam(\n endpoint=\"localhost:9000\", # the default MinIO service started along with Milvus\n access_key=ACCESS_KEY,\n secret_key=SECRET_KEY,\n bucket_name=BUCKET_NAME,\n secure=False\n)\n","import io.milvus.bulkwriter.common.clientenum.BulkFileType;\nimport io.milvus.bulkwriter.connect.S3ConnectParam;\nimport io.milvus.bulkwriter.connect.StorageConnectParam;\n\nString ACCESS_KEY = \"minioadmin\";\nString SECRET_KEY = \"minioadmin\";\nString BUCKET_NAME = \"milvus-bucket\";\n\nStorageConnectParam storageConnectParam = S3ConnectParam.newBuilder()\n .withEndpoint(MINIO_URI)\n .withAccessKey(ACCESS_KEY)\n .withSecretKey(SECRET_KEY)\n .withBucketName(BUCKET_NAME)\n .build();\n","from pymilvus.bulk_writer import BulkFileType\n# Use `from pymilvus import BulkFileType` \n# when you use pymilvus earlier than 2.4.2 \n\nwriter = RemoteBulkWriter(\n schema=schema,\n remote_path=\"/\",\n connect_param=conn,\n file_type=BulkFileType.PARQUET\n)\n","import io.milvus.bulkwriter.RemoteBulkWriter;\nimport io.milvus.bulkwriter.RemoteBulkWriterParam;\n\nRemoteBulkWriterParam remoteBulkWriterParam = RemoteBulkWriterParam.newBuilder()\n .withCollectionSchema(schema)\n .withConnectParam(storageConnectParam)\n .withChunkSize(512 * 1024 * 1024)\n .withRemotePath(\"/\")\n .withFileType(BulkFileType.PARQUET)\n .build();\n\nRemoteBulkWriter remoteBulkWriter = new RemoteBulkWriter(remoteBulkWriterParam);\n","import random\nimport string\n\ndef generate_random_str(length=5):\n letters = string.ascii_uppercase\n digits = string.digits\n \n return ''.join(random.choices(letters + digits, k=length))\n\nfor i in range(10000):\n writer.append_row({\n \"id\": i, \n \"vector\": [random.uniform(-1, 1) for _ in range(768)],\n \"scalar_1\": generate_random_str(random.randint(1, 20)),\n \"scalar_2\": random.randint(0, 100)\n })\n \nwriter.commit()\n","import com.alibaba.fastjson.JSONObject;\n\nfor (int i = 0; i < 10000; i++) {\n JSONObject json = new JSONObject();\n json.put(\"id\", i);\n json.put(\"vector\", get_random_vector(768));\n json.put(\"scalar_1\", get_random_string(20));\n json.put(\"scalar_2\", (long) (Math.random() * 100));\n\n // localBulkWriter.appendRow(json);\n remoteBulkWriter.appendRow(json);\n}\n\n// localBulkWriter.commit(false);\nremoteBulkWriter.commit(false);\n","import random\nimport string\n\ndef generate_random_string(length=5):\n letters = string.ascii_uppercase\n digits = string.digits\n \n return ''.join(random.choices(letters + digits, k=length))\n\nfor i in range(10000):\n writer.append_row({\n \"id\": i, \n \"vector\":[random.uniform(-1, 1) for _ in range(768)],\n \"scalar_1\": generate_random_string(),\n \"scalar_2\": random.randint(0, 100),\n \"dynamic_field_1\": random.choice([True, False]),\n \"dynamic_field_2\": random.randint(0, 100)\n })\n \nwriter.commit()\n","for (int i = 0; i < 10000; i++) {\n JSONObject json = new JSONObject();\n json.put(\"id\", i);\n json.put(\"vector\", get_random_vector(768));\n json.put(\"scalar_1\", get_random_string(20));\n json.put(\"scalar_2\", (long) (Math.random() * 100));\n json.put(\"dynamic_field_1\", get_random_boolean());\n json.put(\"dynamic_field_2\", (long) (Math.random() * 100));\n\n // localBulkWriter.appendRow(json);\n remoteBulkWriter.appendRow(json);\n}\n\n// localBulkWriter.commit(false);\nremoteBulkWriter.commit(false);\n","print(writer.batch_files)\n\n# [['d4220a9e-45be-4ccb-8cb5-bf09304b9f23/1.parquet'],\n# ['d4220a9e-45be-4ccb-8cb5-bf09304b9f23/2.parquet']]\n","// localBulkWriter.getBatchFiles();\nremoteBulkWriter.getBatchFiles();\n\n// \n\n// Close the BulkWriter\ntry {\n localBulkWriter.close();\n remoteBulkWriter.close(); \n} catch (Exception e) {\n // TODO: handle exception\n e.printStackTrace();\n}\n","# JSON\n├── folder\n│ └── 45ae1139-1d87-4aff-85f5-0039111f9e6b\n│ └── 1.json \n\n# Parquet\n├── folder\n│ └── 45ae1139-1d87-4aff-85f5-0039111f9e6b\n│ └── 1.parquet \n"],"headingContent":"","anchorList":[{"label":"소스 데이터 준비","href":"Prepare-Source-Data","type":1,"isActive":false},{"label":"시작하기 전에","href":"Before-you-start","type":2,"isActive":false},{"label":"BulkWriter 설정","href":"Set-up-BulkWriter","type":2,"isActive":false},{"label":"쓰기 시작","href":"Start-writing","type":2,"isActive":false},{"label":"결과 확인","href":"Verify-the-results","type":2,"isActive":false}]} \ No newline at end of file +{"codeList":["from pymilvus import MilvusClient, DataType\n\n# You need to work out a collection schema out of your dataset.\nschema = MilvusClient.create_schema(\n auto_id=False,\n enable_dynamic_field=True\n)\n\nDIM = 512\n\nschema.add_field(field_name=\"id\", datatype=DataType.INT64, is_primary=True),\nschema.add_field(field_name=\"bool\", datatype=DataType.BOOL),\nschema.add_field(field_name=\"int8\", datatype=DataType.INT8),\nschema.add_field(field_name=\"int16\", datatype=DataType.INT16),\nschema.add_field(field_name=\"int32\", datatype=DataType.INT32),\nschema.add_field(field_name=\"int64\", datatype=DataType.INT64),\nschema.add_field(field_name=\"float\", datatype=DataType.FLOAT),\nschema.add_field(field_name=\"double\", datatype=DataType.DOUBLE),\nschema.add_field(field_name=\"varchar\", datatype=DataType.VARCHAR, max_length=512),\nschema.add_field(field_name=\"json\", datatype=DataType.JSON),\nschema.add_field(field_name=\"array_str\", datatype=DataType.ARRAY, max_capacity=100, element_type=DataType.VARCHAR, max_length=128)\nschema.add_field(field_name=\"array_int\", datatype=DataType.ARRAY, max_capacity=100, element_type=DataType.INT64)\nschema.add_field(field_name=\"float_vector\", datatype=DataType.FLOAT_VECTOR, dim=DIM),\nschema.add_field(field_name=\"binary_vector\", datatype=DataType.BINARY_VECTOR, dim=DIM),\nschema.add_field(field_name=\"float16_vector\", datatype=DataType.FLOAT16_VECTOR, dim=DIM),\n# schema.add_field(field_name=\"bfloat16_vector\", datatype=DataType.BFLOAT16_VECTOR, dim=DIM),\nschema.add_field(field_name=\"sparse_vector\", datatype=DataType.SPARSE_FLOAT_VECTOR)\n\nschema.verify()\n\nprint(schema)\n","import com.google.gson.Gson;\nimport com.google.gson.JsonObject;\nimport io.milvus.bulkwriter.BulkImport;\nimport io.milvus.bulkwriter.RemoteBulkWriter;\nimport io.milvus.bulkwriter.RemoteBulkWriterParam;\nimport io.milvus.bulkwriter.common.clientenum.BulkFileType;\nimport io.milvus.bulkwriter.common.clientenum.CloudStorage;\nimport io.milvus.bulkwriter.connect.S3ConnectParam;\nimport io.milvus.bulkwriter.connect.StorageConnectParam;\nimport io.milvus.bulkwriter.request.describe.MilvusDescribeImportRequest;\nimport io.milvus.bulkwriter.request.import_.MilvusImportRequest;\nimport io.milvus.bulkwriter.request.list.MilvusListImportJobsRequest;\nimport io.milvus.common.utils.Float16Utils;\nimport io.milvus.v2.client.ConnectConfig;\nimport io.milvus.v2.client.MilvusClientV2;\nimport io.milvus.v2.common.DataType;\nimport io.milvus.v2.service.collection.request.*;\n\nimport java.io.IOException;\nimport java.nio.ByteBuffer;\nimport java.util.*;\nimport java.util.concurrent.TimeUnit;\n\nprivate static final String MINIO_ENDPOINT = CloudStorage.MINIO.getEndpoint(\"http://127.0.0.1:9000\");\nprivate static final String BUCKET_NAME = \"a-bucket\";\nprivate static final String ACCESS_KEY = \"minioadmin\";\nprivate static final String SECRET_KEY = \"minioadmin\";\n\nprivate static final Integer DIM = 512;\nprivate static final Gson GSON_INSTANCE = new Gson();\n\nprivate static CreateCollectionReq.CollectionSchema createSchema() {\n CreateCollectionReq.CollectionSchema schema = CreateCollectionReq.CollectionSchema.builder()\n .enableDynamicField(true)\n .build();\n schema.addField(AddFieldReq.builder()\n .fieldName(\"id\")\n .dataType(io.milvus.v2.common.DataType.Int64)\n .isPrimaryKey(Boolean.TRUE)\n .autoID(false)\n .build());\n schema.addField(AddFieldReq.builder()\n .fieldName(\"bool\")\n .dataType(DataType.Bool)\n .build());\n schema.addField(AddFieldReq.builder()\n .fieldName(\"int8\")\n .dataType(DataType.Int8)\n .build());\n schema.addField(AddFieldReq.builder()\n .fieldName(\"int16\")\n .dataType(DataType.Int16)\n .build());\n schema.addField(AddFieldReq.builder()\n .fieldName(\"int32\")\n .dataType(DataType.Int32)\n .build());\n schema.addField(AddFieldReq.builder()\n .fieldName(\"int64\")\n .dataType(DataType.Int64)\n .build());\n schema.addField(AddFieldReq.builder()\n .fieldName(\"float\")\n .dataType(DataType.Float)\n .build());\n schema.addField(AddFieldReq.builder()\n .fieldName(\"double\")\n .dataType(DataType.Double)\n .build());\n schema.addField(AddFieldReq.builder()\n .fieldName(\"varchar\")\n .dataType(DataType.VarChar)\n .maxLength(512)\n .build());\n schema.addField(AddFieldReq.builder()\n .fieldName(\"json\")\n .dataType(io.milvus.v2.common.DataType.JSON)\n .build());\n schema.addField(AddFieldReq.builder()\n .fieldName(\"array_int\")\n .dataType(io.milvus.v2.common.DataType.Array)\n .maxCapacity(100)\n .elementType(io.milvus.v2.common.DataType.Int64)\n .build());\n schema.addField(AddFieldReq.builder()\n .fieldName(\"array_str\")\n .dataType(io.milvus.v2.common.DataType.Array)\n .maxCapacity(100)\n .elementType(io.milvus.v2.common.DataType.VarChar)\n .maxLength(128)\n .build());\n schema.addField(AddFieldReq.builder()\n .fieldName(\"float_vector\")\n .dataType(io.milvus.v2.common.DataType.FloatVector)\n .dimension(DIM)\n .build());\n schema.addField(AddFieldReq.builder()\n .fieldName(\"binary_vector\")\n .dataType(io.milvus.v2.common.DataType.BinaryVector)\n .dimension(DIM)\n .build());\n schema.addField(AddFieldReq.builder()\n .fieldName(\"float16_vector\")\n .dataType(io.milvus.v2.common.DataType.Float16Vector)\n .dimension(DIM)\n .build());\n schema.addField(AddFieldReq.builder()\n .fieldName(\"sparse_vector\")\n .dataType(io.milvus.v2.common.DataType.SparseFloatVector)\n .build());\n \n return schema;\n}\n","from pymilvus.bulk_writer import LocalBulkWriter, BulkFileType\n# Use `from pymilvus import LocalBulkWriter, BulkFileType` \n# when you use pymilvus earlier than 2.4.2 \n\nwriter = LocalBulkWriter(\n schema=schema,\n local_path='.',\n segment_size=512 * 1024 * 1024, # Default value\n file_type=BulkFileType.PARQUET\n)\n","import io.milvus.bulkwriter.LocalBulkWriter;\nimport io.milvus.bulkwriter.LocalBulkWriterParam;\nimport io.milvus.bulkwriter.common.clientenum.BulkFileType;\n\nLocalBulkWriterParam localBulkWriterParam = LocalBulkWriterParam.newBuilder()\n .withCollectionSchema(schema)\n .withLocalPath(\".\")\n .withChunkSize(512 * 1024 * 1024)\n .withFileType(BulkFileType.PARQUET)\n .build();\n\nLocalBulkWriter localBulkWriter = new LocalBulkWriter(localBulkWriterParam);\n","from pymilvus.bulk_writer import RemoteBulkWriter\n# Use `from pymilvus import RemoteBulkWriter` \n# when you use pymilvus earlier than 2.4.2 \n\n# Third-party constants\nACCESS_KEY=\"minioadmin\"\nSECRET_KEY=\"minioadmin\"\nBUCKET_NAME=\"a-bucket\"\n\n# Connections parameters to access the remote bucket\nconn = RemoteBulkWriter.S3ConnectParam(\n endpoint=\"localhost:9000\", # the default MinIO service started along with Milvus\n access_key=ACCESS_KEY,\n secret_key=SECRET_KEY,\n bucket_name=BUCKET_NAME,\n secure=False\n)\n\nfrom pymilvus.bulk_writer import BulkFileType\n# Use `from pymilvus import BulkFileType` \n# when you use pymilvus earlier than 2.4.2 \n\nwriter = RemoteBulkWriter(\n schema=schema,\n remote_path=\"/\",\n connect_param=conn,\n file_type=BulkFileType.PARQUET\n)\n\nprint('bulk writer created.')\n","private static RemoteBulkWriter createRemoteBulkWriter(CreateCollectionReq.CollectionSchema collectionSchema) throws IOException {\n StorageConnectParam connectParam = S3ConnectParam.newBuilder()\n .withEndpoint(MINIO_ENDPOINT)\n .withBucketName(BUCKET_NAME)\n .withAccessKey(ACCESS_KEY)\n .withSecretKey(SECRET_KEY)\n .build();\n RemoteBulkWriterParam bulkWriterParam = RemoteBulkWriterParam.newBuilder()\n .withCollectionSchema(collectionSchema)\n .withRemotePath(\"/\")\n .withConnectParam(connectParam)\n .withFileType(BulkFileType.PARQUET)\n .build();\n return new RemoteBulkWriter(bulkWriterParam);\n}\n","from pymilvus.bulk_writer import BulkFileType\n# Use `from pymilvus import BulkFileType` \n# when you use pymilvus earlier than 2.4.2 \n\nwriter = RemoteBulkWriter(\n schema=schema,\n remote_path=\"/\",\n connect_param=conn,\n file_type=BulkFileType.PARQUET\n)\n","import io.milvus.bulkwriter.RemoteBulkWriter;\nimport io.milvus.bulkwriter.RemoteBulkWriterParam;\n\nRemoteBulkWriterParam remoteBulkWriterParam = RemoteBulkWriterParam.newBuilder()\n .withCollectionSchema(schema)\n .withConnectParam(storageConnectParam)\n .withChunkSize(512 * 1024 * 1024)\n .withRemotePath(\"/\")\n .withFileType(BulkFileType.PARQUET)\n .build();\n\nRemoteBulkWriter remoteBulkWriter = new RemoteBulkWriter(remoteBulkWriterParam);\n","import random, string, json\nimport numpy as np\nimport tensorflow as tf\n\ndef generate_random_str(length=5):\n letters = string.ascii_uppercase\n digits = string.digits\n \n return ''.join(random.choices(letters + digits, k=length))\n\n# optional input for binary vector:\n# 1. list of int such as [1, 0, 1, 1, 0, 0, 1, 0]\n# 2. numpy array of uint8\ndef gen_binary_vector(to_numpy_arr):\n raw_vector = [random.randint(0, 1) for i in range(DIM)]\n if to_numpy_arr:\n return np.packbits(raw_vector, axis=-1)\n return raw_vector\n\n# optional input for float vector:\n# 1. list of float such as [0.56, 1.859, 6.55, 9.45]\n# 2. numpy array of float32\ndef gen_float_vector(to_numpy_arr):\n raw_vector = [random.random() for _ in range(DIM)]\n if to_numpy_arr:\n return np.array(raw_vector, dtype=\"float32\")\n return raw_vector\n\n# # optional input for bfloat16 vector:\n# # 1. list of float such as [0.56, 1.859, 6.55, 9.45]\n# # 2. numpy array of bfloat16\n# def gen_bf16_vector(to_numpy_arr):\n# raw_vector = [random.random() for _ in range(DIM)]\n# if to_numpy_arr:\n# return tf.cast(raw_vector, dtype=tf.bfloat16).numpy()\n# return raw_vector\n\n# optional input for float16 vector:\n# 1. list of float such as [0.56, 1.859, 6.55, 9.45]\n# 2. numpy array of float16\ndef gen_fp16_vector(to_numpy_arr):\n raw_vector = [random.random() for _ in range(DIM)]\n if to_numpy_arr:\n return np.array(raw_vector, dtype=np.float16)\n return raw_vector\n\n# optional input for sparse vector:\n# only accepts dict like {2: 13.23, 45: 0.54} or {\"indices\": [1, 2], \"values\": [0.1, 0.2]}\n# note: no need to sort the keys\ndef gen_sparse_vector(pair_dict: bool):\n raw_vector = {}\n dim = random.randint(2, 20)\n if pair_dict:\n raw_vector[\"indices\"] = [i for i in range(dim)]\n raw_vector[\"values\"] = [random.random() for _ in range(dim)]\n else:\n for i in range(dim):\n raw_vector[i] = random.random()\n return raw_vector\n\nfor i in range(10000):\n writer.append_row({\n \"id\": np.int64(i),\n \"bool\": True if i % 3 == 0 else False,\n \"int8\": np.int8(i%128),\n \"int16\": np.int16(i%1000),\n \"int32\": np.int32(i%100000),\n \"int64\": np.int64(i),\n \"float\": np.float32(i/3),\n \"double\": np.float64(i/7),\n \"varchar\": f\"varchar_{i}\",\n \"json\": json.dumps({\"dummy\": i, \"ok\": f\"name_{i}\"}),\n \"array_str\": np.array([f\"str_{k}\" for k in range(5)], np.dtype(\"str\")),\n \"array_int\": np.array([k for k in range(10)], np.dtype(\"int64\")),\n \"float_vector\": gen_float_vector(True),\n \"binary_vector\": gen_binary_vector(True),\n \"float16_vector\": gen_fp16_vector(True),\n # \"bfloat16_vector\": gen_bf16_vector(True),\n \"sparse_vector\": gen_sparse_vector(True),\n f\"dynamic_{i}\": i,\n })\n if (i+1)%1000 == 0:\n writer.commit()\n print('committed')\n\nprint(writer.batch_files)\n","private static byte[] genBinaryVector() {\n Random ran = new Random();\n int byteCount = DIM / 8;\n ByteBuffer vector = ByteBuffer.allocate(byteCount);\n for (int i = 0; i < byteCount; ++i) {\n vector.put((byte) ran.nextInt(Byte.MAX_VALUE));\n }\n return vector.array();\n}\n\nprivate static List genFloatVector() {\n Random ran = new Random();\n List vector = new ArrayList<>();\n for (int i = 0; i < DIM; ++i) {\n vector.add(ran.nextFloat());\n }\n return vector;\n}\n\nprivate static byte[] genFloat16Vector() {\n List originalVector = genFloatVector();\n return Float16Utils.f32VectorToFp16Buffer(originalVector).array();\n}\n\nprivate static SortedMap genSparseVector() {\n Random ran = new Random();\n SortedMap sparse = new TreeMap<>();\n int dim = ran.nextInt(18) + 2; // [2, 20)\n for (int i = 0; i < dim; ++i) {\n sparse.put((long)ran.nextInt(1000000), ran.nextFloat());\n }\n return sparse;\n}\n\nprivate static List genStringArray(int length) {\n List arr = new ArrayList<>();\n for (int i = 0; i < length; i++) {\n arr.add(\"str_\" + i);\n }\n return arr;\n}\n\nprivate static List genIntArray(int length) {\n List arr = new ArrayList<>();\n for (long i = 0; i < length; i++) {\n arr.add(i);\n }\n return arr;\n}\n\nprivate static RemoteBulkWriter createRemoteBulkWriter(CreateCollectionReq.CollectionSchema collectionSchema) throws IOException {\n StorageConnectParam connectParam = S3ConnectParam.newBuilder()\n .withEndpoint(MINIO_ENDPOINT)\n .withBucketName(BUCKET_NAME)\n .withAccessKey(ACCESS_KEY)\n .withSecretKey(SECRET_KEY)\n .build();\n RemoteBulkWriterParam bulkWriterParam = RemoteBulkWriterParam.newBuilder()\n .withCollectionSchema(collectionSchema)\n .withRemotePath(\"/\")\n .withConnectParam(connectParam)\n .withFileType(BulkFileType.PARQUET)\n .build();\n return new RemoteBulkWriter(bulkWriterParam);\n}\n\nprivate static List> uploadData() throws Exception {\n CreateCollectionReq.CollectionSchema collectionSchema = createSchema();\n try (RemoteBulkWriter remoteBulkWriter = createRemoteBulkWriter(collectionSchema)) {\n for (int i = 0; i < 10000; ++i) {\n JsonObject rowObject = new JsonObject();\n\n rowObject.addProperty(\"id\", i);\n rowObject.addProperty(\"bool\", i % 3 == 0);\n rowObject.addProperty(\"int8\", i % 128);\n rowObject.addProperty(\"int16\", i % 1000);\n rowObject.addProperty(\"int32\", i % 100000);\n rowObject.addProperty(\"int64\", i);\n rowObject.addProperty(\"float\", i / 3);\n rowObject.addProperty(\"double\", i / 7);\n rowObject.addProperty(\"varchar\", \"varchar_\" + i);\n rowObject.addProperty(\"json\", String.format(\"{\\\"dummy\\\": %s, \\\"ok\\\": \\\"name_%s\\\"}\", i, i));\n rowObject.add(\"array_str\", GSON_INSTANCE.toJsonTree(genStringArray(5)));\n rowObject.add(\"array_int\", GSON_INSTANCE.toJsonTree(genIntArray(10)));\n rowObject.add(\"float_vector\", GSON_INSTANCE.toJsonTree(genFloatVector()));\n rowObject.add(\"binary_vector\", GSON_INSTANCE.toJsonTree(genBinaryVector()));\n rowObject.add(\"float16_vector\", GSON_INSTANCE.toJsonTree(genFloat16Vector()));\n rowObject.add(\"sparse_vector\", GSON_INSTANCE.toJsonTree(genSparseVector()));\n rowObject.addProperty(\"dynamic\", \"dynamic_\" + i);\n\n remoteBulkWriter.appendRow(rowObject);\n\n if ((i+1)%1000 == 0) {\n remoteBulkWriter.commit(false);\n }\n }\n\n List> batchFiles = remoteBulkWriter.getBatchFiles();\n System.out.println(batchFiles);\n return batchFiles;\n } catch (Exception e) {\n throw e;\n }\n}\n\npublic static void main(String[] args) throws Exception {\n List> batchFiles = uploadData();\n}\n","print(writer.batch_files)\n\n# [['d4220a9e-45be-4ccb-8cb5-bf09304b9f23/1.parquet'],\n# ['d4220a9e-45be-4ccb-8cb5-bf09304b9f23/2.parquet']]\n","// localBulkWriter.getBatchFiles();\nremoteBulkWriter.getBatchFiles();\n\n// \n\n// Close the BulkWriter\ntry {\n localBulkWriter.close();\n remoteBulkWriter.close(); \n} catch (Exception e) {\n // TODO: handle exception\n e.printStackTrace();\n}\n","# JSON\n├── folder\n│ └── 45ae1139-1d87-4aff-85f5-0039111f9e6b\n│ └── 1.json \n\n# Parquet\n├── folder\n│ └── 45ae1139-1d87-4aff-85f5-0039111f9e6b\n│ └── 1.parquet \n"],"headingContent":"Prepare Source Data","anchorList":[{"label":"소스 데이터 준비","href":"Prepare-Source-Data","type":1,"isActive":false},{"label":"시작하기 전에","href":"Before-you-start","type":2,"isActive":false},{"label":"BulkWriter 설정","href":"Set-up-BulkWriter","type":2,"isActive":false},{"label":"쓰기 시작","href":"Start-writing","type":2,"isActive":false},{"label":"결과 확인","href":"Verify-the-results","type":2,"isActive":false}]} \ No newline at end of file diff --git a/localization/v2.4.x/site/ko/userGuide/data-import/prepare-source-data.md b/localization/v2.4.x/site/ko/userGuide/data-import/prepare-source-data.md index 4128f32de..c519f521b 100644 --- a/localization/v2.4.x/site/ko/userGuide/data-import/prepare-source-data.md +++ b/localization/v2.4.x/site/ko/userGuide/data-import/prepare-source-data.md @@ -66,49 +66,143 @@ schema = MilvusClient.create_schema( enable_dynamic_field=True ) -schema.add_field(field_name="id", datatype=DataType.INT64, is_primary=True) -schema.add_field(field_name="vector", datatype=DataType.FLOAT_VECTOR, dim=768) -schema.add_field(field_name="scalar_1", datatype=DataType.VARCHAR, max_length=512) -schema.add_field(field_name="scalar_2", datatype=DataType.INT64) +DIM = 512 + +schema.add_field(field_name="id", datatype=DataType.INT64, is_primary=True), +schema.add_field(field_name="bool", datatype=DataType.BOOL), +schema.add_field(field_name="int8", datatype=DataType.INT8), +schema.add_field(field_name="int16", datatype=DataType.INT16), +schema.add_field(field_name="int32", datatype=DataType.INT32), +schema.add_field(field_name="int64", datatype=DataType.INT64), +schema.add_field(field_name="float", datatype=DataType.FLOAT), +schema.add_field(field_name="double", datatype=DataType.DOUBLE), +schema.add_field(field_name="varchar", datatype=DataType.VARCHAR, max_length=512), +schema.add_field(field_name="json", datatype=DataType.JSON), +schema.add_field(field_name="array_str", datatype=DataType.ARRAY, max_capacity=100, element_type=DataType.VARCHAR, max_length=128) +schema.add_field(field_name="array_int", datatype=DataType.ARRAY, max_capacity=100, element_type=DataType.INT64) +schema.add_field(field_name="float_vector", datatype=DataType.FLOAT_VECTOR, dim=DIM), +schema.add_field(field_name="binary_vector", datatype=DataType.BINARY_VECTOR, dim=DIM), +schema.add_field(field_name="float16_vector", datatype=DataType.FLOAT16_VECTOR, dim=DIM), +# schema.add_field(field_name="bfloat16_vector", datatype=DataType.BFLOAT16_VECTOR, dim=DIM), +schema.add_field(field_name="sparse_vector", datatype=DataType.SPARSE_FLOAT_VECTOR) schema.verify() + +print(schema)
                                                                                                                                                                                                                                                                                                                                                                                                                                                                -
                                                                                                                                                                                                                                                                                                                                                                                                                                                                import io.milvus.grpc.DataType;
                                                                                                                                                                                                                                                                                                                                                                                                                                                                -import io.milvus.param.collection.CollectionSchemaParam;
                                                                                                                                                                                                                                                                                                                                                                                                                                                                -import io.milvus.param.collection.FieldType;
                                                                                                                                                                                                                                                                                                                                                                                                                                                                -
                                                                                                                                                                                                                                                                                                                                                                                                                                                                -// Define schema for the target collection
                                                                                                                                                                                                                                                                                                                                                                                                                                                                -FieldType id = FieldType.newBuilder()
                                                                                                                                                                                                                                                                                                                                                                                                                                                                -        .withName("id")
                                                                                                                                                                                                                                                                                                                                                                                                                                                                -        .withDataType(DataType.Int64)
                                                                                                                                                                                                                                                                                                                                                                                                                                                                -        .withPrimaryKey(true)
                                                                                                                                                                                                                                                                                                                                                                                                                                                                -        .withAutoID(false)
                                                                                                                                                                                                                                                                                                                                                                                                                                                                -        .build();
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +
                                                                                                                                                                                                                                                                                                                                                                                                                                                                import com.google.gson.Gson;
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +import com.google.gson.JsonObject;
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +import io.milvus.bulkwriter.BulkImport;
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +import io.milvus.bulkwriter.RemoteBulkWriter;
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +import io.milvus.bulkwriter.RemoteBulkWriterParam;
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +import io.milvus.bulkwriter.common.clientenum.BulkFileType;
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +import io.milvus.bulkwriter.common.clientenum.CloudStorage;
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +import io.milvus.bulkwriter.connect.S3ConnectParam;
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +import io.milvus.bulkwriter.connect.StorageConnectParam;
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +import io.milvus.bulkwriter.request.describe.MilvusDescribeImportRequest;
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +import io.milvus.bulkwriter.request.import_.MilvusImportRequest;
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +import io.milvus.bulkwriter.request.list.MilvusListImportJobsRequest;
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +import io.milvus.common.utils.Float16Utils;
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +import io.milvus.v2.client.ConnectConfig;
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +import io.milvus.v2.client.MilvusClientV2;
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +import io.milvus.v2.common.DataType;
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +import io.milvus.v2.service.collection.request.*;
                                                                                                                                                                                                                                                                                                                                                                                                                                                                 
                                                                                                                                                                                                                                                                                                                                                                                                                                                                -FieldType vector = FieldType.newBuilder()
                                                                                                                                                                                                                                                                                                                                                                                                                                                                -        .withName("vector")
                                                                                                                                                                                                                                                                                                                                                                                                                                                                -        .withDataType(DataType.FloatVector)
                                                                                                                                                                                                                                                                                                                                                                                                                                                                -        .withDimension(768)
                                                                                                                                                                                                                                                                                                                                                                                                                                                                -        .build();
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +import java.io.IOException;
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +import java.nio.ByteBuffer;
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +import java.util.*;
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +import java.util.concurrent.TimeUnit;
                                                                                                                                                                                                                                                                                                                                                                                                                                                                 
                                                                                                                                                                                                                                                                                                                                                                                                                                                                -FieldType scalar1 = FieldType.newBuilder()
                                                                                                                                                                                                                                                                                                                                                                                                                                                                -        .withName("scalar_1")
                                                                                                                                                                                                                                                                                                                                                                                                                                                                -        .withDataType(DataType.VarChar)
                                                                                                                                                                                                                                                                                                                                                                                                                                                                -        .withMaxLength(512)
                                                                                                                                                                                                                                                                                                                                                                                                                                                                -        .build();
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +private static final String MINIO_ENDPOINT = CloudStorage.MINIO.getEndpoint("http://127.0.0.1:9000");
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +private static final String BUCKET_NAME = "a-bucket";
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +private static final String ACCESS_KEY = "minioadmin";
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +private static final String SECRET_KEY = "minioadmin";
                                                                                                                                                                                                                                                                                                                                                                                                                                                                 
                                                                                                                                                                                                                                                                                                                                                                                                                                                                -FieldType scalar2 = FieldType.newBuilder()
                                                                                                                                                                                                                                                                                                                                                                                                                                                                -        .withName("scalar_2")
                                                                                                                                                                                                                                                                                                                                                                                                                                                                -        .withDataType(DataType.Int64)
                                                                                                                                                                                                                                                                                                                                                                                                                                                                -        .build();
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +private static final Integer DIM = 512;
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +private static final Gson GSON_INSTANCE = new Gson();
                                                                                                                                                                                                                                                                                                                                                                                                                                                                 
                                                                                                                                                                                                                                                                                                                                                                                                                                                                -CollectionSchemaParam schema = CollectionSchemaParam.newBuilder()
                                                                                                                                                                                                                                                                                                                                                                                                                                                                -        .withEnableDynamicField(true)
                                                                                                                                                                                                                                                                                                                                                                                                                                                                -        .addFieldType(id)
                                                                                                                                                                                                                                                                                                                                                                                                                                                                -        .addFieldType(vector)
                                                                                                                                                                                                                                                                                                                                                                                                                                                                -        .addFieldType(scalar1)
                                                                                                                                                                                                                                                                                                                                                                                                                                                                -        .addFieldType(scalar2)
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +private static CreateCollectionReq.CollectionSchema createSchema() {
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +    CreateCollectionReq.CollectionSchema schema = CreateCollectionReq.CollectionSchema.builder()
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +        .enableDynamicField(true)
                                                                                                                                                                                                                                                                                                                                                                                                                                                                         .build();
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +    schema.addField(AddFieldReq.builder()
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +            .fieldName("id")
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +            .dataType(io.milvus.v2.common.DataType.Int64)
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +            .isPrimaryKey(Boolean.TRUE)
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +            .autoID(false)
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +            .build());
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +    schema.addField(AddFieldReq.builder()
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +            .fieldName("bool")
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +            .dataType(DataType.Bool)
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +            .build());
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +    schema.addField(AddFieldReq.builder()
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +            .fieldName("int8")
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +            .dataType(DataType.Int8)
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +            .build());
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +    schema.addField(AddFieldReq.builder()
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +            .fieldName("int16")
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +            .dataType(DataType.Int16)
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +            .build());
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +    schema.addField(AddFieldReq.builder()
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +            .fieldName("int32")
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +            .dataType(DataType.Int32)
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +            .build());
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +    schema.addField(AddFieldReq.builder()
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +            .fieldName("int64")
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +            .dataType(DataType.Int64)
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +            .build());
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +    schema.addField(AddFieldReq.builder()
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +            .fieldName("float")
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +            .dataType(DataType.Float)
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +            .build());
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +    schema.addField(AddFieldReq.builder()
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +            .fieldName("double")
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +            .dataType(DataType.Double)
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +            .build());
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +    schema.addField(AddFieldReq.builder()
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +            .fieldName("varchar")
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +            .dataType(DataType.VarChar)
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +            .maxLength(512)
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +            .build());
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +    schema.addField(AddFieldReq.builder()
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +            .fieldName("json")
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +            .dataType(io.milvus.v2.common.DataType.JSON)
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +            .build());
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +    schema.addField(AddFieldReq.builder()
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +            .fieldName("array_int")
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +            .dataType(io.milvus.v2.common.DataType.Array)
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +            .maxCapacity(100)
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +            .elementType(io.milvus.v2.common.DataType.Int64)
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +            .build());
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +    schema.addField(AddFieldReq.builder()
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +            .fieldName("array_str")
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +            .dataType(io.milvus.v2.common.DataType.Array)
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +            .maxCapacity(100)
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +            .elementType(io.milvus.v2.common.DataType.VarChar)
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +            .maxLength(128)
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +            .build());
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +    schema.addField(AddFieldReq.builder()
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +            .fieldName("float_vector")
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +            .dataType(io.milvus.v2.common.DataType.FloatVector)
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +            .dimension(DIM)
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +            .build());
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +    schema.addField(AddFieldReq.builder()
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +            .fieldName("binary_vector")
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +            .dataType(io.milvus.v2.common.DataType.BinaryVector)
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +            .dimension(DIM)
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +            .build());
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +    schema.addField(AddFieldReq.builder()
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +            .fieldName("float16_vector")
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +            .dataType(io.milvus.v2.common.DataType.Float16Vector)
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +            .dimension(DIM)
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +            .build());
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +    schema.addField(AddFieldReq.builder()
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +            .fieldName("sparse_vector")
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +            .dataType(io.milvus.v2.common.DataType.SparseFloatVector)
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +            .build());
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +    
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +    return schema;
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +}
                                                                                                                                                                                                                                                                                                                                                                                                                                                                 

                                                                                                                                                                                                                                                                                                                                                                                                                                                                BulkWriter 설정

                                                                                                                                                                                                                                                                                                                                                                                                                                                                -
                                                                                                                                                                                                                                                                                                                                                                                                                                                                import io.milvus.bulkwriter.common.clientenum.BulkFileType;
                                                                                                                                                                                                                                                                                                                                                                                                                                                                -import io.milvus.bulkwriter.connect.S3ConnectParam;
                                                                                                                                                                                                                                                                                                                                                                                                                                                                -import io.milvus.bulkwriter.connect.StorageConnectParam;
                                                                                                                                                                                                                                                                                                                                                                                                                                                                 
                                                                                                                                                                                                                                                                                                                                                                                                                                                                -String ACCESS_KEY = "minioadmin";
                                                                                                                                                                                                                                                                                                                                                                                                                                                                -String SECRET_KEY = "minioadmin";
                                                                                                                                                                                                                                                                                                                                                                                                                                                                -String BUCKET_NAME = "milvus-bucket";
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +from pymilvus.bulk_writer import BulkFileType
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +# Use `from pymilvus import BulkFileType` 
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +# when you use pymilvus earlier than 2.4.2 
                                                                                                                                                                                                                                                                                                                                                                                                                                                                 
                                                                                                                                                                                                                                                                                                                                                                                                                                                                -StorageConnectParam storageConnectParam = S3ConnectParam.newBuilder()
                                                                                                                                                                                                                                                                                                                                                                                                                                                                -    .withEndpoint(MINIO_URI)
                                                                                                                                                                                                                                                                                                                                                                                                                                                                -    .withAccessKey(ACCESS_KEY)
                                                                                                                                                                                                                                                                                                                                                                                                                                                                -    .withSecretKey(SECRET_KEY)
                                                                                                                                                                                                                                                                                                                                                                                                                                                                -    .withBucketName(BUCKET_NAME)
                                                                                                                                                                                                                                                                                                                                                                                                                                                                -    .build();
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +writer = RemoteBulkWriter(
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +    schema=schema,
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +    remote_path="/",
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +    connect_param=conn,
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +    file_type=BulkFileType.PARQUET
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +)
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +print('bulk writer created.')
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +
                                                                                                                                                                                                                                                                                                                                                                                                                                                                private static RemoteBulkWriter createRemoteBulkWriter(CreateCollectionReq.CollectionSchema collectionSchema) throws IOException {
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +    StorageConnectParam connectParam = S3ConnectParam.newBuilder()
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +            .withEndpoint(MINIO_ENDPOINT)
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +            .withBucketName(BUCKET_NAME)
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +            .withAccessKey(ACCESS_KEY)
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +            .withSecretKey(SECRET_KEY)
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +            .build();
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +    RemoteBulkWriterParam bulkWriterParam = RemoteBulkWriterParam.newBuilder()
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +            .withCollectionSchema(collectionSchema)
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +            .withRemotePath("/")
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +            .withConnectParam(connectParam)
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +            .withFileType(BulkFileType.PARQUET)
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +            .build();
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +    return new RemoteBulkWriter(bulkWriterParam);
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +}
                                                                                                                                                                                                                                                                                                                                                                                                                                                                 

                                                                                                                                                                                                                                                                                                                                                                                                                                                                연결 매개변수가 준비되면 다음과 같이 RemoteBulkWriter에서 이를 참조할 수 있습니다:

                                                                                                                                                                                                                                                                                                                                                                                                                                                                @@ -271,80 +379,201 @@ writer = RemoteBulkWriter(

                                                                                                                                                                                                                                                                                                                                                                                                                                                                데모를 위해 다음 코드는 무작위로 생성된 데이터를 추가합니다.

                                                                                                                                                                                                                                                                                                                                                                                                                                                                -
                                                                                                                                                                                                                                                                                                                                                                                                                                                                import random
                                                                                                                                                                                                                                                                                                                                                                                                                                                                -import string
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +
                                                                                                                                                                                                                                                                                                                                                                                                                                                                import random, string, json
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +import numpy as np
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +import tensorflow as tf
                                                                                                                                                                                                                                                                                                                                                                                                                                                                 
                                                                                                                                                                                                                                                                                                                                                                                                                                                                -def generate_random_str(length=5):
                                                                                                                                                                                                                                                                                                                                                                                                                                                                -    letters = string.ascii_uppercase
                                                                                                                                                                                                                                                                                                                                                                                                                                                                -    digits = string.digits
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +def generate_random_str(length=5):
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +    letters = string.ascii_uppercase
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +    digits = string.digits
                                                                                                                                                                                                                                                                                                                                                                                                                                                                     
                                                                                                                                                                                                                                                                                                                                                                                                                                                                     return ''.join(random.choices(letters + digits, k=length))
                                                                                                                                                                                                                                                                                                                                                                                                                                                                 
                                                                                                                                                                                                                                                                                                                                                                                                                                                                -for i in range(10000):
                                                                                                                                                                                                                                                                                                                                                                                                                                                                -    writer.append_row({
                                                                                                                                                                                                                                                                                                                                                                                                                                                                -        "id": i, 
                                                                                                                                                                                                                                                                                                                                                                                                                                                                -        "vector": [random.uniform(-1, 1) for _ in range(768)],
                                                                                                                                                                                                                                                                                                                                                                                                                                                                -        "scalar_1": generate_random_str(random.randint(1, 20)),
                                                                                                                                                                                                                                                                                                                                                                                                                                                                -        "scalar_2": random.randint(0, 100)
                                                                                                                                                                                                                                                                                                                                                                                                                                                                -    })
                                                                                                                                                                                                                                                                                                                                                                                                                                                                -    
                                                                                                                                                                                                                                                                                                                                                                                                                                                                -writer.commit()
                                                                                                                                                                                                                                                                                                                                                                                                                                                                -
                                                                                                                                                                                                                                                                                                                                                                                                                                                                -
                                                                                                                                                                                                                                                                                                                                                                                                                                                                import com.alibaba.fastjson.JSONObject;
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +# optional input for binary vector:
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +# 1. list of int such as [1, 0, 1, 1, 0, 0, 1, 0]
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +# 2. numpy array of uint8
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +def gen_binary_vector(to_numpy_arr):
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +    raw_vector = [random.randint(0, 1) for i in range(DIM)]
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +    if to_numpy_arr:
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +        return np.packbits(raw_vector, axis=-1)
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +    return raw_vector
                                                                                                                                                                                                                                                                                                                                                                                                                                                                 
                                                                                                                                                                                                                                                                                                                                                                                                                                                                -for (int i = 0; i < 10000; i++) {
                                                                                                                                                                                                                                                                                                                                                                                                                                                                -    JSONObject json = new JSONObject();
                                                                                                                                                                                                                                                                                                                                                                                                                                                                -    json.put("id", i);
                                                                                                                                                                                                                                                                                                                                                                                                                                                                -    json.put("vector", get_random_vector(768));
                                                                                                                                                                                                                                                                                                                                                                                                                                                                -    json.put("scalar_1", get_random_string(20));
                                                                                                                                                                                                                                                                                                                                                                                                                                                                -    json.put("scalar_2", (long) (Math.random() * 100));
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +# optional input for float vector:
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +# 1. list of float such as [0.56, 1.859, 6.55, 9.45]
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +# 2. numpy array of float32
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +def gen_float_vector(to_numpy_arr):
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +    raw_vector = [random.random() for _ in range(DIM)]
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +    if to_numpy_arr:
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +        return np.array(raw_vector, dtype="float32")
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +    return raw_vector
                                                                                                                                                                                                                                                                                                                                                                                                                                                                 
                                                                                                                                                                                                                                                                                                                                                                                                                                                                -    // localBulkWriter.appendRow(json);
                                                                                                                                                                                                                                                                                                                                                                                                                                                                -    remoteBulkWriter.appendRow(json);
                                                                                                                                                                                                                                                                                                                                                                                                                                                                -}
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +# # optional input for bfloat16 vector:
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +# # 1. list of float such as [0.56, 1.859, 6.55, 9.45]
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +# # 2. numpy array of bfloat16
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +# def gen_bf16_vector(to_numpy_arr):
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +#     raw_vector = [random.random() for _ in range(DIM)]
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +#     if to_numpy_arr:
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +#         return tf.cast(raw_vector, dtype=tf.bfloat16).numpy()
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +#     return raw_vector
                                                                                                                                                                                                                                                                                                                                                                                                                                                                 
                                                                                                                                                                                                                                                                                                                                                                                                                                                                -// localBulkWriter.commit(false);
                                                                                                                                                                                                                                                                                                                                                                                                                                                                -remoteBulkWriter.commit(false);
                                                                                                                                                                                                                                                                                                                                                                                                                                                                -
                                                                                                                                                                                                                                                                                                                                                                                                                                                                -

                                                                                                                                                                                                                                                                                                                                                                                                                                                                정의된 스키마는 동적 필드를 허용하므로, 다음과 같이 데이터에 스키마에 정의되지 않은 필드를 포함하여 삽입할 수도 있습니다.

                                                                                                                                                                                                                                                                                                                                                                                                                                                                - -
                                                                                                                                                                                                                                                                                                                                                                                                                                                                import random
                                                                                                                                                                                                                                                                                                                                                                                                                                                                -import string
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +# optional input for float16 vector:
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +# 1. list of float such as [0.56, 1.859, 6.55, 9.45]
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +# 2. numpy array of float16
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +def gen_fp16_vector(to_numpy_arr):
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +    raw_vector = [random.random() for _ in range(DIM)]
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +    if to_numpy_arr:
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +        return np.array(raw_vector, dtype=np.float16)
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +    return raw_vector
                                                                                                                                                                                                                                                                                                                                                                                                                                                                 
                                                                                                                                                                                                                                                                                                                                                                                                                                                                -def generate_random_string(length=5):
                                                                                                                                                                                                                                                                                                                                                                                                                                                                -    letters = string.ascii_uppercase
                                                                                                                                                                                                                                                                                                                                                                                                                                                                -    digits = string.digits
                                                                                                                                                                                                                                                                                                                                                                                                                                                                -    
                                                                                                                                                                                                                                                                                                                                                                                                                                                                -    return ''.join(random.choices(letters + digits, k=length))
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +# optional input for sparse vector:
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +# only accepts dict like {2: 13.23, 45: 0.54} or {"indices": [1, 2], "values": [0.1, 0.2]}
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +# note: no need to sort the keys
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +def gen_sparse_vector(pair_dict: bool):
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +    raw_vector = {}
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +    dim = random.randint(2, 20)
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +    if pair_dict:
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +        raw_vector["indices"] = [i for i in range(dim)]
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +        raw_vector["values"] = [random.random() for _ in range(dim)]
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +    else:
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +        for i in range(dim):
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +            raw_vector[i] = random.random()
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +    return raw_vector
                                                                                                                                                                                                                                                                                                                                                                                                                                                                 
                                                                                                                                                                                                                                                                                                                                                                                                                                                                 for i in range(10000):
                                                                                                                                                                                                                                                                                                                                                                                                                                                                     writer.append_row({
                                                                                                                                                                                                                                                                                                                                                                                                                                                                -        "id": i, 
                                                                                                                                                                                                                                                                                                                                                                                                                                                                -        "vector":[random.uniform(-1, 1) for _ in range(768)],
                                                                                                                                                                                                                                                                                                                                                                                                                                                                -        "scalar_1": generate_random_string(),
                                                                                                                                                                                                                                                                                                                                                                                                                                                                -        "scalar_2": random.randint(0, 100),
                                                                                                                                                                                                                                                                                                                                                                                                                                                                -        "dynamic_field_1": random.choice([True, False]),
                                                                                                                                                                                                                                                                                                                                                                                                                                                                -        "dynamic_field_2": random.randint(0, 100)
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +        "id": np.int64(i),
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +        "bool": True if i % 3 == 0 else False,
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +        "int8": np.int8(i%128),
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +        "int16": np.int16(i%1000),
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +        "int32": np.int32(i%100000),
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +        "int64": np.int64(i),
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +        "float": np.float32(i/3),
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +        "double": np.float64(i/7),
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +        "varchar": f"varchar_{i}",
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +        "json": json.dumps({"dummy": i, "ok": f"name_{i}"}),
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +        "array_str": np.array([f"str_{k}" for k in range(5)], np.dtype("str")),
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +        "array_int": np.array([k for k in range(10)], np.dtype("int64")),
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +        "float_vector": gen_float_vector(True),
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +        "binary_vector": gen_binary_vector(True),
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +        "float16_vector": gen_fp16_vector(True),
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +        # "bfloat16_vector": gen_bf16_vector(True),
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +        "sparse_vector": gen_sparse_vector(True),
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +        f"dynamic_{i}": i,
                                                                                                                                                                                                                                                                                                                                                                                                                                                                     })
                                                                                                                                                                                                                                                                                                                                                                                                                                                                -    
                                                                                                                                                                                                                                                                                                                                                                                                                                                                -writer.commit()
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +    if (i+1)%1000 == 0:
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +        writer.commit()
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +        print('committed')
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +print(writer.batch_files)
                                                                                                                                                                                                                                                                                                                                                                                                                                                                 
                                                                                                                                                                                                                                                                                                                                                                                                                                                                -
                                                                                                                                                                                                                                                                                                                                                                                                                                                                for (int i = 0; i < 10000; i++) {
                                                                                                                                                                                                                                                                                                                                                                                                                                                                -    JSONObject json = new JSONObject();
                                                                                                                                                                                                                                                                                                                                                                                                                                                                -    json.put("id", i);
                                                                                                                                                                                                                                                                                                                                                                                                                                                                -    json.put("vector", get_random_vector(768));
                                                                                                                                                                                                                                                                                                                                                                                                                                                                -    json.put("scalar_1", get_random_string(20));
                                                                                                                                                                                                                                                                                                                                                                                                                                                                -    json.put("scalar_2", (long) (Math.random() * 100));
                                                                                                                                                                                                                                                                                                                                                                                                                                                                -    json.put("dynamic_field_1", get_random_boolean());
                                                                                                                                                                                                                                                                                                                                                                                                                                                                -    json.put("dynamic_field_2", (long) (Math.random() * 100));
                                                                                                                                                                                                                                                                                                                                                                                                                                                                -
                                                                                                                                                                                                                                                                                                                                                                                                                                                                -    // localBulkWriter.appendRow(json);
                                                                                                                                                                                                                                                                                                                                                                                                                                                                -    remoteBulkWriter.appendRow(json);
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +
                                                                                                                                                                                                                                                                                                                                                                                                                                                                private static byte[] genBinaryVector() {
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +    Random ran = new Random();
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +    int byteCount = DIM / 8;
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +    ByteBuffer vector = ByteBuffer.allocate(byteCount);
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +    for (int i = 0; i < byteCount; ++i) {
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +        vector.put((byte) ran.nextInt(Byte.MAX_VALUE));
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +    }
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +    return vector.array();
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +}
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +private static List<Float> genFloatVector() {
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +    Random ran = new Random();
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +    List<Float> vector = new ArrayList<>();
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +    for (int i = 0; i < DIM; ++i) {
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +        vector.add(ran.nextFloat());
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +    }
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +    return vector;
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +}
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +private static byte[] genFloat16Vector() {
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +    List<Float> originalVector = genFloatVector();
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +    return Float16Utils.f32VectorToFp16Buffer(originalVector).array();
                                                                                                                                                                                                                                                                                                                                                                                                                                                                 }
                                                                                                                                                                                                                                                                                                                                                                                                                                                                 
                                                                                                                                                                                                                                                                                                                                                                                                                                                                -// localBulkWriter.commit(false);
                                                                                                                                                                                                                                                                                                                                                                                                                                                                -remoteBulkWriter.commit(false);
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +private static SortedMap<Long, Float> genSparseVector() {
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +    Random ran = new Random();
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +    SortedMap<Long, Float> sparse = new TreeMap<>();
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +    int dim = ran.nextInt(18) + 2; // [2, 20)
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +    for (int i = 0; i < dim; ++i) {
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +        sparse.put((long)ran.nextInt(1000000), ran.nextFloat());
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +    }
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +    return sparse;
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +}
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +private static List<String> genStringArray(int length) {
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +    List<String> arr = new ArrayList<>();
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +    for (int i = 0; i < length; i++) {
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +        arr.add("str_" + i);
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +    }
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +    return arr;
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +}
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +private static List<Long> genIntArray(int length) {
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +    List<Long> arr = new ArrayList<>();
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +    for (long i = 0; i < length; i++) {
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +        arr.add(i);
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +    }
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +    return arr;
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +}
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +private static RemoteBulkWriter createRemoteBulkWriter(CreateCollectionReq.CollectionSchema collectionSchema) throws IOException {
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +    StorageConnectParam connectParam = S3ConnectParam.newBuilder()
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +            .withEndpoint(MINIO_ENDPOINT)
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +            .withBucketName(BUCKET_NAME)
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +            .withAccessKey(ACCESS_KEY)
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +            .withSecretKey(SECRET_KEY)
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +            .build();
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +    RemoteBulkWriterParam bulkWriterParam = RemoteBulkWriterParam.newBuilder()
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +            .withCollectionSchema(collectionSchema)
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +            .withRemotePath("/")
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +            .withConnectParam(connectParam)
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +            .withFileType(BulkFileType.PARQUET)
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +            .build();
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +    return new RemoteBulkWriter(bulkWriterParam);
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +}
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +private static List<List<String>> uploadData() throws Exception {
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +    CreateCollectionReq.CollectionSchema collectionSchema = createSchema();
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +    try (RemoteBulkWriter remoteBulkWriter = createRemoteBulkWriter(collectionSchema)) {
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +        for (int i = 0; i < 10000; ++i) {
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +            JsonObject rowObject = new JsonObject();
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +            rowObject.addProperty("id", i);
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +            rowObject.addProperty("bool", i % 3 == 0);
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +            rowObject.addProperty("int8", i % 128);
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +            rowObject.addProperty("int16", i % 1000);
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +            rowObject.addProperty("int32", i % 100000);
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +            rowObject.addProperty("int64", i);
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +            rowObject.addProperty("float", i / 3);
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +            rowObject.addProperty("double", i / 7);
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +            rowObject.addProperty("varchar", "varchar_" + i);
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +            rowObject.addProperty("json", String.format("{\"dummy\": %s, \"ok\": \"name_%s\"}", i, i));
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +            rowObject.add("array_str", GSON_INSTANCE.toJsonTree(genStringArray(5)));
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +            rowObject.add("array_int", GSON_INSTANCE.toJsonTree(genIntArray(10)));
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +            rowObject.add("float_vector", GSON_INSTANCE.toJsonTree(genFloatVector()));
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +            rowObject.add("binary_vector", GSON_INSTANCE.toJsonTree(genBinaryVector()));
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +            rowObject.add("float16_vector", GSON_INSTANCE.toJsonTree(genFloat16Vector()));
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +            rowObject.add("sparse_vector", GSON_INSTANCE.toJsonTree(genSparseVector()));
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +            rowObject.addProperty("dynamic", "dynamic_" + i);
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +            remoteBulkWriter.appendRow(rowObject);
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +            if ((i+1)%1000 == 0) {
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +                remoteBulkWriter.commit(false);
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +            }
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +        }
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +        List<List<String>> batchFiles = remoteBulkWriter.getBatchFiles();
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +        System.out.println(batchFiles);
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +        return batchFiles;
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +    } catch (Exception e) {
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +        throw e;
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +    }
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +}
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +public static void main(String[] args) throws Exception {
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +    List<List<String>> batchFiles = uploadData();
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +}
                                                                                                                                                                                                                                                                                                                                                                                                                                                                 

                                                                                                                                                                                                                                                                                                                                                                                                                                                                결과 확인

                                                                                                                                                                                                                                                                                                                                                                                                                                                                -

                                                                                                                                                                                                                                                                                                                                                                                                                                                                벌크라이터는 UUID를 생성하고, 제공된 출력 디렉토리에 UUID를 사용하여 하위 폴더를 생성한 후 생성된 모든 파일을 하위 폴더에 배치합니다. 준비된 샘플 데이터를 다운로드하려면 여기를 클릭하세요.

                                                                                                                                                                                                                                                                                                                                                                                                                                                                +

                                                                                                                                                                                                                                                                                                                                                                                                                                                                벌크라이터는 UUID를 생성하고, 제공된 출력 디렉토리에 UUID를 사용하여 하위 폴더를 생성하며, 생성된 모든 파일을 하위 폴더에 배치합니다. 준비된 샘플 데이터를 다운로드하려면 여기를 클릭하세요.

                                                                                                                                                                                                                                                                                                                                                                                                                                                                가능한 폴더 구조는 다음과 같습니다:

                                                                                                                                                                                                                                                                                                                                                                                                                                                                # JSON
                                                                                                                                                                                                                                                                                                                                                                                                                                                                 ├── folder
                                                                                                                                                                                                                                                                                                                                                                                                                                                                diff --git a/localization/v2.4.x/site/ko/userGuide/manage-indexes/index-vector-fields.md b/localization/v2.4.x/site/ko/userGuide/manage-indexes/index-vector-fields.md
                                                                                                                                                                                                                                                                                                                                                                                                                                                                index 3d15607d0..a51d0b7f5 100644
                                                                                                                                                                                                                                                                                                                                                                                                                                                                --- a/localization/v2.4.x/site/ko/userGuide/manage-indexes/index-vector-fields.md
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +++ b/localization/v2.4.x/site/ko/userGuide/manage-indexes/index-vector-fields.md
                                                                                                                                                                                                                                                                                                                                                                                                                                                                @@ -36,7 +36,7 @@ title: 벡터 필드 색인 생성
                                                                                                                                                                                                                                                                                                                                                                                                                                                                         >
                                                                                                                                                                                                                                                                                                                                                                                                                                                                       
                                                                                                                                                                                                                                                                                                                                                                                                                                                                     

                                                                                                                                                                                                                                                                                                                                                                                                                                                                Milvus는 인덱스 파일에 저장된 메타데이터를 활용하여 데이터를 특수한 구조로 구성함으로써 검색 또는 쿼리 중에 요청된 정보를 신속하게 검색할 수 있도록 도와줍니다.

                                                                                                                                                                                                                                                                                                                                                                                                                                                                -

                                                                                                                                                                                                                                                                                                                                                                                                                                                                Milvus는 효율적인 유사도 검색을 위해 필드 값을 정렬하는 여러 가지 인덱스 유형과 메트릭을 제공합니다. 다음 표에는 다양한 벡터 필드 유형에 대해 지원되는 인덱스 유형과 메트릭이 나와 있습니다. 자세한 내용은 인메모리 인덱스유사성 메트릭을 참조하세요.

                                                                                                                                                                                                                                                                                                                                                                                                                                                                +

                                                                                                                                                                                                                                                                                                                                                                                                                                                                Milvus는 효율적인 유사도 검색을 위해 필드 값을 정렬하는 여러 가지 인덱스 유형과 메트릭을 제공합니다. 다음 표에는 다양한 벡터 필드 유형에 대해 지원되는 인덱스 유형과 메트릭이 나와 있습니다. 현재 Milvus는 부동 소수점 임베딩(부동 소수점 벡터 또는 고밀도 벡터라고도 함), 이진 임베딩(이진 벡터라고도 함), 스파스 임베딩(스파스 벡터라고도 함)을 포함한 다양한 유형의 벡터 데이터를 지원합니다. 자세한 내용은 인메모리 인덱스유사성 메트릭을 참조하세요.

                                                                                                                                                                                                                                                                                                                                                                                                                                                                diff --git a/localization/v2.4.x/site/pt/adminGuide/configure-docker.json b/localization/v2.4.x/site/pt/adminGuide/configure-docker.json index 2824b7ebe..8ffe62713 100644 --- a/localization/v2.4.x/site/pt/adminGuide/configure-docker.json +++ b/localization/v2.4.x/site/pt/adminGuide/configure-docker.json @@ -1 +1 @@ -{"codeList":["$ wget https://raw.githubusercontent.com/milvus-io/milvus/v2.4.15/configs/milvus.yaml\n","# For Milvus standalone\n$ wget https://github.com/milvus-io/milvus/releases/download/v2.4.15/milvus-standalone-docker-compose.yml -O docker-compose.yml\n","...\n standalone:\n container_name: milvus-standalone\n image: milvusdb/milvus:v2.2.13\n command: [\"milvus\", \"run\", \"standalone\"]\n environment:\n ETCD_ENDPOINTS: etcd:2379\n MINIO_ADDRESS: minio:9000\n volumes:\n - /local/path/to/your/milvus.yaml:/milvus/configs/milvus.yaml # Map the local path to the container path\n - ${DOCKER_VOLUME_DIRECTORY:-.}/volumes/milvus:/var/lib/milvus\n ports:\n - \"19530:19530\"\n - \"9091:9091\"\n depends_on:\n - \"etcd\"\n - \"minio\"\n...\n","$ sudo docker compose up -d\n"],"headingContent":"Configure Milvus with Docker Compose","anchorList":[{"label":"Configurar o Milvus com o Docker Compose","href":"Configure-Milvus-with-Docker-Compose","type":1,"isActive":false},{"label":"Descarregar um ficheiro de configuração","href":"Download-a-configuration-file","type":2,"isActive":false},{"label":"Modificar o ficheiro de configuração","href":"Modify-the-configuration-file","type":2,"isActive":false},{"label":"Descarregar um ficheiro de instalação","href":"Download-an-installation-file","type":2,"isActive":false},{"label":"Modificar o ficheiro de instalação","href":"Modify-the-installation-file","type":2,"isActive":false},{"label":"Iniciar o Milvus","href":"Start-Milvus","type":2,"isActive":false},{"label":"O que se segue","href":"Whats-next","type":2,"isActive":false}]} \ No newline at end of file +{"codeList":["$ wget https://raw.githubusercontent.com/milvus-io/milvus/v2.4.17/configs/milvus.yaml\n","# For Milvus standalone\n$ wget https://github.com/milvus-io/milvus/releases/download/v2.4.17/milvus-standalone-docker-compose.yml -O docker-compose.yml\n","...\n standalone:\n container_name: milvus-standalone\n image: milvusdb/milvus:v2.2.13\n command: [\"milvus\", \"run\", \"standalone\"]\n environment:\n ETCD_ENDPOINTS: etcd:2379\n MINIO_ADDRESS: minio:9000\n volumes:\n - /local/path/to/your/milvus.yaml:/milvus/configs/milvus.yaml # Map the local path to the container path\n - ${DOCKER_VOLUME_DIRECTORY:-.}/volumes/milvus:/var/lib/milvus\n ports:\n - \"19530:19530\"\n - \"9091:9091\"\n depends_on:\n - \"etcd\"\n - \"minio\"\n...\n","$ sudo docker compose up -d\n"],"headingContent":"Configure Milvus with Docker Compose","anchorList":[{"label":"Configurar o Milvus com o Docker Compose","href":"Configure-Milvus-with-Docker-Compose","type":1,"isActive":false},{"label":"Descarregar um ficheiro de configuração","href":"Download-a-configuration-file","type":2,"isActive":false},{"label":"Modificar o ficheiro de configuração","href":"Modify-the-configuration-file","type":2,"isActive":false},{"label":"Descarregar um ficheiro de instalação","href":"Download-an-installation-file","type":2,"isActive":false},{"label":"Modificar o ficheiro de instalação","href":"Modify-the-installation-file","type":2,"isActive":false},{"label":"Iniciar o Milvus","href":"Start-Milvus","type":2,"isActive":false},{"label":"O que se segue","href":"Whats-next","type":2,"isActive":false}]} \ No newline at end of file diff --git a/localization/v2.4.x/site/pt/adminGuide/configure-docker.md b/localization/v2.4.x/site/pt/adminGuide/configure-docker.md index d18c17352..521bf26af 100644 --- a/localization/v2.4.x/site/pt/adminGuide/configure-docker.md +++ b/localization/v2.4.x/site/pt/adminGuide/configure-docker.md @@ -38,8 +38,8 @@ Na versão atual, todos os parâmetros entram em vigor somente após o reinício d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z" > -

                                                                                                                                                                                                                                                                                                                                                                                                                                                                Faça o download de milvus.yaml diretamente ou com o seguinte comando.

                                                                                                                                                                                                                                                                                                                                                                                                                                                                -
                                                                                                                                                                                                                                                                                                                                                                                                                                                                $ wget https://raw.githubusercontent.com/milvus-io/milvus/v2.4.15/configs/milvus.yaml
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +    

                                                                                                                                                                                                                                                                                                                                                                                                                                                                Faça o download de milvus.yaml diretamente ou com o seguinte comando.

                                                                                                                                                                                                                                                                                                                                                                                                                                                                +
                                                                                                                                                                                                                                                                                                                                                                                                                                                                $ wget https://raw.githubusercontent.com/milvus-io/milvus/v2.4.17/configs/milvus.yaml
                                                                                                                                                                                                                                                                                                                                                                                                                                                                 

                                                                                                                                                                                                                                                                                                                                                                                                                                                                Modificar o ficheiro de configuração

                                                                                                                                                                                                                                                                                                                                                                                                                                                                Descarregue o ficheiro de instalação do Milvus standalone e guarde-o como docker-compose.yml.

                                                                                                                                                                                                                                                                                                                                                                                                                                                                +

                                                                                                                                                                                                                                                                                                                                                                                                                                                                Descarregue o ficheiro de instalação do Milvus standalone e guarde-o como docker-compose.yml.

                                                                                                                                                                                                                                                                                                                                                                                                                                                                Também pode simplesmente executar o seguinte comando.

                                                                                                                                                                                                                                                                                                                                                                                                                                                                # For Milvus standalone
                                                                                                                                                                                                                                                                                                                                                                                                                                                                -$ wget https://github.com/milvus-io/milvus/releases/download/v2.4.15/milvus-standalone-docker-compose.yml -O docker-compose.yml
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +$ wget https://github.com/milvus-io/milvus/releases/download/v2.4.17/milvus-standalone-docker-compose.yml -O docker-compose.yml
                                                                                                                                                                                                                                                                                                                                                                                                                                                                 

                                                                                                                                                                                                                                                                                                                                                                                                                                                                Modificar o ficheiro de instalação

                                                                                                                                                                                                                                                                                                                                                                                                                                                                Este tópico descreve como atualizar seu Milvus usando o Docker Compose.

                                                                                                                                                                                                                                                                                                                                                                                                                                                                -

                                                                                                                                                                                                                                                                                                                                                                                                                                                                Em casos normais, você pode atualizar o Milvus alterando sua imagem. No entanto, é necessário migrar os metadados antes de qualquer atualização da v2.1.x para a v2.4.15.

                                                                                                                                                                                                                                                                                                                                                                                                                                                                +

                                                                                                                                                                                                                                                                                                                                                                                                                                                                Em casos normais, você pode atualizar o Milvus alterando sua imagem. No entanto, é necessário migrar os metadados antes de qualquer atualização da v2.1.x para a v2.4.17.

                                                                                                                                                                                                                                                                                                                                                                                                                                                                Atualizar o Milvus alterando a sua imagem

                                                                                                                                                                                                                                                                                                                                                                                                                                                              • Execute os seguintes comandos para realizar a atualização.

                                                                                                                                                                                                                                                                                                                                                                                                                                                                docker compose down
                                                                                                                                                                                                                                                                                                                                                                                                                                                                @@ -105,7 +105,7 @@ cmd:
                                                                                                                                                                                                                                                                                                                                                                                                                                                                   runWithBackup: true
                                                                                                                                                                                                                                                                                                                                                                                                                                                                 config:
                                                                                                                                                                                                                                                                                                                                                                                                                                                                   sourceVersion: 2.1.4   # Specify your milvus version
                                                                                                                                                                                                                                                                                                                                                                                                                                                                -  targetVersion: 2.4.15
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +  targetVersion: 2.4.17
                                                                                                                                                                                                                                                                                                                                                                                                                                                                   backupFilePath: /tmp/migration.bak
                                                                                                                                                                                                                                                                                                                                                                                                                                                                 metastore:
                                                                                                                                                                                                                                                                                                                                                                                                                                                                   type: etcd
                                                                                                                                                                                                                                                                                                                                                                                                                                                                @@ -148,7 +148,7 @@ docker compose up -d
                                                                                                                                                                                                                                                                                                                                                                                                                                                                 
                                                                                                                                                                                                                                                                                                                                                                                                                                                            • Se estiver pronto para implantar seu cluster em nuvens:
                                                                                                                                                                                                                                                                                                                                                                                                                                                            diff --git a/localization/v2.4.x/site/pt/adminGuide/upgrade_milvus_cluster-helm.json b/localization/v2.4.x/site/pt/adminGuide/upgrade_milvus_cluster-helm.json index 2312e678a..57ac3b2e6 100644 --- a/localization/v2.4.x/site/pt/adminGuide/upgrade_milvus_cluster-helm.json +++ b/localization/v2.4.x/site/pt/adminGuide/upgrade_milvus_cluster-helm.json @@ -1 +1 @@ -{"codeList":["$ helm repo update\n$ helm search repo zilliztech/milvus --versions\n","helm repo add zilliztech https://zilliztech.github.io/milvus-helm\nhelm repo update\n# upgrade existing helm release\nhelm upgrade my-release zilliztech/milvus\n","NAME CHART VERSION APP VERSION DESCRIPTION \nzilliztech/milvus 4.1.34 2.4.5 Milvus is an open-source vector database built ...\nzilliztech/milvus 4.1.33 2.4.4 Milvus is an open-source vector database built ...\nzilliztech/milvus 4.1.32 2.4.3 Milvus is an open-source vector database built ...\nzilliztech/milvus 4.1.31 2.4.1 Milvus is an open-source vector database built ...\nzilliztech/milvus 4.1.30 2.4.1 Milvus is an open-source vector database built ...\nzilliztech/milvus 4.1.29 2.4.0 Milvus is an open-source vector database built ...\nzilliztech/milvus 4.1.24 2.3.11 Milvus is an open-source vector database built ...\nzilliztech/milvus 4.1.23 2.3.10 Milvus is an open-source vector database built ...\nzilliztech/milvus 4.1.22 2.3.10 Milvus is an open-source vector database built ...\nzilliztech/milvus 4.1.21 2.3.10 Milvus is an open-source vector database built ...\nzilliztech/milvus 4.1.20 2.3.10 Milvus is an open-source vector database built ...\nzilliztech/milvus 4.1.18 2.3.10 Milvus is an open-source vector database built ... \nzilliztech/milvus 4.1.18 2.3.9 Milvus is an open-source vector database built ... \nzilliztech/milvus 4.1.17 2.3.8 Milvus is an open-source vector database built ...\nzilliztech/milvus 4.1.16 2.3.7 Milvus is an open-source vector database built ...\nzilliztech/milvus 4.1.15 2.3.5 Milvus is an open-source vector database built ...\nzilliztech/milvus 4.1.14 2.3.6 Milvus is an open-source vector database built ...\nzilliztech/milvus 4.1.13 2.3.5 Milvus is an open-source vector database built ...\nzilliztech/milvus 4.1.12 2.3.5 Milvus is an open-source vector database built ...\nzilliztech/milvus 4.1.11 2.3.4 Milvus is an open-source vector database built ...\nzilliztech/milvus 4.1.10 2.3.3 Milvus is an open-source vector database built ...\nzilliztech/milvus 4.1.9 2.3.3 Milvus is an open-source vector database built ...\nzilliztech/milvus 4.1.8 2.3.2 Milvus is an open-source vector database built ...\nzilliztech/milvus 4.1.7 2.3.2 Milvus is an open-source vector database built ...\nzilliztech/milvus 4.1.6 2.3.1 Milvus is an open-source vector database built ...\nzilliztech/milvus 4.1.5 2.3.1 Milvus is an open-source vector database built ...\nzilliztech/milvus 4.1.4 2.3.1 Milvus is an open-source vector database built ...\nzilliztech/milvus 4.1.3 2.3.1 Milvus is an open-source vector database built ...\nzilliztech/milvus 4.1.2 2.3.1 Milvus is an open-source vector database built ...\nzilliztech/milvus 4.1.1 2.3.0 Milvus is an open-source vector database built ...\nzilliztech/milvus 4.1.0 2.3.0 Milvus is an open-source vector database built ...\n","sh rollingUpdate.sh -n default -i my-release -o update -t 2.4.15 -w 'milvusdb/milvus:v2.4.15'\n","helm repo update\nhelm upgrade my-release zilliztech/milvus --reuse-values --version=4.1.24 # use the helm chart version here\n","NAME NAMESPACE REVISION UPDATED STATUS CHART APP VERSION \nnew-release default 1 2022-11-21 15:41:25.51539 +0800 CST deployed milvus-3.2.18 2.1.4 \n","NAME READY STATUS RESTARTS AGE\nmy-release-etcd-0 1/1 Running 0 21m\nmy-release-etcd-1 1/1 Running 0 21m\nmy-release-etcd-2 1/1 Running 0 21m\nmy-release-milvus-datacoord-664c58798d-fl75s 1/1 Running 0 21m\nmy-release-milvus-datanode-5f75686c55-xfg2r 1/1 Running 0 21m\nmy-release-milvus-indexcoord-5f98b97589-2l48r 1/1 Running 0 21m\nmy-release-milvus-indexnode-857b4ddf98-vmd75 1/1 Running 0 21m\nmy-release-milvus-proxy-6c548f787f-scspp 1/1 Running 0 21m\nmy-release-milvus-querycoord-c454f44cd-dwmwq 1/1 Running 0 21m\nmy-release-milvus-querynode-76bb4946d-lbrz6 1/1 Running 0 21m\nmy-release-milvus-rootcoord-7764c5b686-62msm 1/1 Running 0 21m\nmy-release-minio-0 1/1 Running 0 21m\nmy-release-minio-1 1/1 Running 0 21m\nmy-release-minio-2 1/1 Running 0 21m\nmy-release-minio-3 1/1 Running 0 21m\nmy-release-pulsar-bookie-0 1/1 Running 0 21m\nmy-release-pulsar-bookie-1 1/1 Running 0 21m\nmy-release-pulsar-bookie-2 1/1 Running 0 21m\nmy-release-pulsar-bookie-init-tjxpj 0/1 Completed 0 21m\nmy-release-pulsar-broker-0 1/1 Running 0 21m\nmy-release-pulsar-proxy-0 1/1 Running 0 21m\nmy-release-pulsar-pulsar-init-c8vvc 0/1 Completed 0 21m\nmy-release-pulsar-recovery-0 1/1 Running 0 21m\nmy-release-pulsar-zookeeper-0 1/1 Running 0 21m\nmy-release-pulsar-zookeeper-1 1/1 Running 0 20m\nmy-release-pulsar-zookeeper-2 1/1 Running 0 20m\n","$ kubectl get pods my-release-milvus-proxy-6c548f787f-scspp -o=jsonpath='{$.spec.containers[0].image}'\n# milvusdb/milvus:v2.1.4\n","./migrate.sh -i my-release -s 2.1.4 -t 2.2.0\n","./migrate.sh -i my-release -n milvus -s 2.1.4 -t 2.2.0\n","./migrate.sh -i my-release -n milvus -s 2.1.4 -t 2.2.0 -r by-dev\n","./migrate.sh -i my-release -n milvus -s 2.1.4 -t 2.2.0 -r by-dev -w milvusdb/milvus:v2.2.0\n","./migrate.sh -i my-release -n milvus -s 2.1.4 -t 2.2.0 -w milvusdb/milvus:v2.2.0 -d true\n","./migrate.sh -i my-release -n milvus -s 2.1.4 -t 2.2.0 -r by-dev -o rollback -w milvusdb/milvus:v2.1.4\n./migrate.sh -i my-release -n milvus -s 2.1.4 -t 2.2.0 -r by-dev -o migrate -w milvusdb/milvus:v2.2.0\n"],"headingContent":"Upgrade Milvus Cluster with Helm Chart","anchorList":[{"label":"Atualizar o Cluster Milvus com o Gráfico Helm","href":"Upgrade-Milvus-Cluster-with-Helm-Chart","type":1,"isActive":false},{"label":"Verificar o gráfico do Milvus Helm","href":"Check-Milvus-Helm-Chart","type":2,"isActive":false},{"label":"Realizar uma atualização contínua","href":"Conduct-a-rolling-upgrade","type":2,"isActive":false},{"label":"Atualizar o Milvus usando o Helm","href":"Upgrade-Milvus-using-Helm","type":2,"isActive":false},{"label":"Migrar os metadados","href":"Migrate-the-metadata","type":2,"isActive":false}]} \ No newline at end of file +{"codeList":["$ helm repo update zilliztech\n$ helm search repo zilliztech/milvus --versions\n","helm repo add zilliztech https://zilliztech.github.io/milvus-helm\nhelm repo update\n# upgrade existing helm release\nhelm upgrade my-release zilliztech/milvus --reset-then-reuse-values\n","NAME CHART VERSION APP VERSION DESCRIPTION \nzilliztech/milvus 4.1.34 2.4.5 Milvus is an open-source vector database built ...\nzilliztech/milvus 4.1.33 2.4.4 Milvus is an open-source vector database built ...\nzilliztech/milvus 4.1.32 2.4.3 Milvus is an open-source vector database built ...\nzilliztech/milvus 4.1.31 2.4.1 Milvus is an open-source vector database built ...\nzilliztech/milvus 4.1.30 2.4.1 Milvus is an open-source vector database built ...\nzilliztech/milvus 4.1.29 2.4.0 Milvus is an open-source vector database built ...\nzilliztech/milvus 4.1.24 2.3.11 Milvus is an open-source vector database built ...\nzilliztech/milvus 4.1.23 2.3.10 Milvus is an open-source vector database built ...\nzilliztech/milvus 4.1.22 2.3.10 Milvus is an open-source vector database built ...\nzilliztech/milvus 4.1.21 2.3.10 Milvus is an open-source vector database built ...\nzilliztech/milvus 4.1.20 2.3.10 Milvus is an open-source vector database built ...\nzilliztech/milvus 4.1.18 2.3.10 Milvus is an open-source vector database built ... \nzilliztech/milvus 4.1.18 2.3.9 Milvus is an open-source vector database built ... \nzilliztech/milvus 4.1.17 2.3.8 Milvus is an open-source vector database built ...\nzilliztech/milvus 4.1.16 2.3.7 Milvus is an open-source vector database built ...\nzilliztech/milvus 4.1.15 2.3.5 Milvus is an open-source vector database built ...\nzilliztech/milvus 4.1.14 2.3.6 Milvus is an open-source vector database built ...\nzilliztech/milvus 4.1.13 2.3.5 Milvus is an open-source vector database built ...\nzilliztech/milvus 4.1.12 2.3.5 Milvus is an open-source vector database built ...\nzilliztech/milvus 4.1.11 2.3.4 Milvus is an open-source vector database built ...\nzilliztech/milvus 4.1.10 2.3.3 Milvus is an open-source vector database built ...\nzilliztech/milvus 4.1.9 2.3.3 Milvus is an open-source vector database built ...\nzilliztech/milvus 4.1.8 2.3.2 Milvus is an open-source vector database built ...\nzilliztech/milvus 4.1.7 2.3.2 Milvus is an open-source vector database built ...\nzilliztech/milvus 4.1.6 2.3.1 Milvus is an open-source vector database built ...\nzilliztech/milvus 4.1.5 2.3.1 Milvus is an open-source vector database built ...\nzilliztech/milvus 4.1.4 2.3.1 Milvus is an open-source vector database built ...\nzilliztech/milvus 4.1.3 2.3.1 Milvus is an open-source vector database built ...\nzilliztech/milvus 4.1.2 2.3.1 Milvus is an open-source vector database built ...\nzilliztech/milvus 4.1.1 2.3.0 Milvus is an open-source vector database built ...\nzilliztech/milvus 4.1.0 2.3.0 Milvus is an open-source vector database built ...\n","sh rollingUpdate.sh -n default -i my-release -o update -t 2.4.17 -w 'milvusdb/milvus:v2.4.17'\n","helm repo update zilliztech\nhelm upgrade my-release zilliztech/milvus --reset-then-reuse-values --version=4.1.24 # use the helm chart version here\n","NAME NAMESPACE REVISION UPDATED STATUS CHART APP VERSION \nnew-release default 1 2022-11-21 15:41:25.51539 +0800 CST deployed milvus-3.2.18 2.1.4 \n","NAME READY STATUS RESTARTS AGE\nmy-release-etcd-0 1/1 Running 0 21m\nmy-release-etcd-1 1/1 Running 0 21m\nmy-release-etcd-2 1/1 Running 0 21m\nmy-release-milvus-datacoord-664c58798d-fl75s 1/1 Running 0 21m\nmy-release-milvus-datanode-5f75686c55-xfg2r 1/1 Running 0 21m\nmy-release-milvus-indexcoord-5f98b97589-2l48r 1/1 Running 0 21m\nmy-release-milvus-indexnode-857b4ddf98-vmd75 1/1 Running 0 21m\nmy-release-milvus-proxy-6c548f787f-scspp 1/1 Running 0 21m\nmy-release-milvus-querycoord-c454f44cd-dwmwq 1/1 Running 0 21m\nmy-release-milvus-querynode-76bb4946d-lbrz6 1/1 Running 0 21m\nmy-release-milvus-rootcoord-7764c5b686-62msm 1/1 Running 0 21m\nmy-release-minio-0 1/1 Running 0 21m\nmy-release-minio-1 1/1 Running 0 21m\nmy-release-minio-2 1/1 Running 0 21m\nmy-release-minio-3 1/1 Running 0 21m\nmy-release-pulsar-bookie-0 1/1 Running 0 21m\nmy-release-pulsar-bookie-1 1/1 Running 0 21m\nmy-release-pulsar-bookie-2 1/1 Running 0 21m\nmy-release-pulsar-bookie-init-tjxpj 0/1 Completed 0 21m\nmy-release-pulsar-broker-0 1/1 Running 0 21m\nmy-release-pulsar-proxy-0 1/1 Running 0 21m\nmy-release-pulsar-pulsar-init-c8vvc 0/1 Completed 0 21m\nmy-release-pulsar-recovery-0 1/1 Running 0 21m\nmy-release-pulsar-zookeeper-0 1/1 Running 0 21m\nmy-release-pulsar-zookeeper-1 1/1 Running 0 20m\nmy-release-pulsar-zookeeper-2 1/1 Running 0 20m\n","$ kubectl get pods my-release-milvus-proxy-6c548f787f-scspp -o=jsonpath='{$.spec.containers[0].image}'\n# milvusdb/milvus:v2.1.4\n","./migrate.sh -i my-release -s 2.1.4 -t 2.2.0\n","./migrate.sh -i my-release -n milvus -s 2.1.4 -t 2.2.0\n","./migrate.sh -i my-release -n milvus -s 2.1.4 -t 2.2.0 -r by-dev\n","./migrate.sh -i my-release -n milvus -s 2.1.4 -t 2.2.0 -r by-dev -w milvusdb/milvus:v2.2.0\n","./migrate.sh -i my-release -n milvus -s 2.1.4 -t 2.2.0 -w milvusdb/milvus:v2.2.0 -d true\n","./migrate.sh -i my-release -n milvus -s 2.1.4 -t 2.2.0 -r by-dev -o rollback -w milvusdb/milvus:v2.1.4\n./migrate.sh -i my-release -n milvus -s 2.1.4 -t 2.2.0 -r by-dev -o migrate -w milvusdb/milvus:v2.2.0\n"],"headingContent":"Upgrade Milvus Cluster with Helm Chart","anchorList":[{"label":"Atualizar o Cluster Milvus com o Gráfico Helm","href":"Upgrade-Milvus-Cluster-with-Helm-Chart","type":1,"isActive":false},{"label":"Pré-requisitos","href":"Prerequisites","type":2,"isActive":false},{"label":"Verificar a carta do Milvus Helm","href":"Check-Milvus-Helm-Chart","type":2,"isActive":false},{"label":"Realizar uma atualização contínua","href":"Conduct-a-rolling-upgrade","type":2,"isActive":false},{"label":"Atualizar o Milvus usando o Helm","href":"Upgrade-Milvus-using-Helm","type":2,"isActive":false},{"label":"Migrar os metadados","href":"Migrate-the-metadata","type":2,"isActive":false}]} \ No newline at end of file diff --git a/localization/v2.4.x/site/pt/adminGuide/upgrade_milvus_cluster-helm.md b/localization/v2.4.x/site/pt/adminGuide/upgrade_milvus_cluster-helm.md index bd4ff0503..9542be4ba 100644 --- a/localization/v2.4.x/site/pt/adminGuide/upgrade_milvus_cluster-helm.md +++ b/localization/v2.4.x/site/pt/adminGuide/upgrade_milvus_cluster-helm.md @@ -23,8 +23,30 @@ title: Atualizar o Cluster Milvus com o Gráfico Helm d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z" > -

                                                                                                                                                                                                                                                                                                                                                                                                                                                            Este guia descreve como atualizar o seu cluster Milvus com as cartas do Milvus Helm.

                                                                                                                                                                                                                                                                                                                                                                                                                                                            -

                                                                                                                                                                                                                                                                                                                                                                                                                                                            Verificar o gráfico do Milvus Helm

                                                                                                                                                                                                                                                                                                                                                                                                                                                            Este guia descreve como atualizar seu cluster Milvus com gráficos do Milvus Helm.

                                                                                                                                                                                                                                                                                                                                                                                                                                                            +

                                                                                                                                                                                                                                                                                                                                                                                                                                                            Pré-requisitos

                                                                                                                                                                                                                                                                                                                                                                                                                                                              +
                                                                                                                                                                                                                                                                                                                                                                                                                                                            • Versão do Helm >= 3.14.0
                                                                                                                                                                                                                                                                                                                                                                                                                                                            • +
                                                                                                                                                                                                                                                                                                                                                                                                                                                            • Versão do Kubernetes >= 1.20.0
                                                                                                                                                                                                                                                                                                                                                                                                                                                            • +
                                                                                                                                                                                                                                                                                                                                                                                                                                                            +
                                                                                                                                                                                                                                                                                                                                                                                                                                                            +

                                                                                                                                                                                                                                                                                                                                                                                                                                                            Desde a versão 4.2.21 do gráfico Milvus-Helm, introduzimos o gráfico pulsar-v3.x como dependência. Para compatibilidade com versões anteriores, atualize seu helm para a versão v3.14 ou posterior, e certifique-se de adicionar a opção --reset-then-reuse-values sempre que usar helm upgrade.

                                                                                                                                                                                                                                                                                                                                                                                                                                                            +
                                                                                                                                                                                                                                                                                                                                                                                                                                                            +

                                                                                                                                                                                                                                                                                                                                                                                                                                                            Verificar a carta do Milvus Helm

                                                                                                                                                                                                                                                                                                                                                                                                                                                            Execute os seguintes comandos para verificar as novas versões do Milvus.

                                                                                                                                                                                                                                                                                                                                                                                                                                                            -
                                                                                                                                                                                                                                                                                                                                                                                                                                                            $ helm repo update
                                                                                                                                                                                                                                                                                                                                                                                                                                                            +
                                                                                                                                                                                                                                                                                                                                                                                                                                                            $ helm repo update zilliztech
                                                                                                                                                                                                                                                                                                                                                                                                                                                             $ helm search repo zilliztech/milvus --versions
                                                                                                                                                                                                                                                                                                                                                                                                                                                             
                                                                                                                                                                                                                                                                                                                                                                                                                                                            -

                                                                                                                                                                                                                                                                                                                                                                                                                                                            O repositório do Milvus Helm Charts em https://milvus-io.github.io/milvus-helm/ foi arquivado e pode obter mais actualizações em https://zilliztech.github.io/milvus-helm/ da seguinte forma:

                                                                                                                                                                                                                                                                                                                                                                                                                                                            +

                                                                                                                                                                                                                                                                                                                                                                                                                                                            O repositório Milvus Helm Charts em https://milvus-io.github.io/milvus-helm/ foi arquivado e pode obter mais actualizações em https://zilliztech.github.io/milvus-helm/ da seguinte forma:

                                                                                                                                                                                                                                                                                                                                                                                                                                                            helm repo add zilliztech https://zilliztech.github.io/milvus-helm
                                                                                                                                                                                                                                                                                                                                                                                                                                                             helm repo update
                                                                                                                                                                                                                                                                                                                                                                                                                                                             # upgrade existing helm release
                                                                                                                                                                                                                                                                                                                                                                                                                                                            -helm upgrade my-release zilliztech/milvus
                                                                                                                                                                                                                                                                                                                                                                                                                                                            +helm upgrade my-release zilliztech/milvus --reset-then-reuse-values
                                                                                                                                                                                                                                                                                                                                                                                                                                                             

                                                                                                                                                                                                                                                                                                                                                                                                                                                            O repositório arquivado ainda está disponível para os gráficos até à versão 4.0.31. Para versões posteriores, utilize o novo repositório.

                                                                                                                                                                                                                                                                                                                                                                                                                                                            @@ -86,10 +108,10 @@ zilliztech/milvus 4.1.1 2.3.0 Milvus is an ope zilliztech/milvus 4.1.0 2.3.0 Milvus is an open-source vector database built ...

                                                                                                                                                                                                                                                                                                                                                                                                                                                            Pode escolher o caminho de atualização para o seu Milvus da seguinte forma:

                                                                                                                                                                                                                                                                                                                                                                                                                                                            -
                                                                                                                                                                                                                                                                                                                                                                                                                                                            - [Conduzir uma atualização contínua](#conduct-a-rolling-upgrade) do Milvus v2.2.3 e versões posteriores para a v2.4.15.
                                                                                                                                                                                                                                                                                                                                                                                                                                                            +
                                                                                                                                                                                                                                                                                                                                                                                                                                                            - [Conduzir uma atualização contínua](#conduct-a-rolling-upgrade) do Milvus v2.2.3 e versões posteriores para a v2.4.17.

                                                                                                                                                                                                                                                                                                                                                                                                                                                            Realizar uma atualização contínua

                                                                                                                                                                                                                                                                                                                                                                                                                                                            Desde a versão 2.2.3 do Milvus, é possível configurar os coordenadores do Milvus para funcionarem em modo de espera ativa e ativar a funcionalidade de atualização contínua para os mesmos, de modo a que o Milvus possa responder aos pedidos recebidos durante as actualizações dos coordenadores. Nas versões anteriores, os coordenadores devem ser removidos e depois criados durante uma atualização, o que pode provocar um certo tempo de inatividade do serviço.

                                                                                                                                                                                                                                                                                                                                                                                                                                                            As actualizações contínuas requerem que os coordenadores trabalhem em modo de espera ativa. Pode utilizar o script que fornecemos para configurar os coordenadores para trabalharem em modo de espera ativa e iniciar a atualização contínua.

                                                                                                                                                                                                                                                                                                                                                                                                                                                            Com base nos recursos de atualização contínua fornecidos pelo Kubernetes, o script acima impõe uma atualização ordenada das implantações de acordo com suas dependências. Além disso, o Milvus implementa um mecanismo para garantir que os seus componentes permanecem compatíveis com os que dependem deles durante a atualização, reduzindo significativamente o potencial tempo de inatividade do serviço.

                                                                                                                                                                                                                                                                                                                                                                                                                                                            -

                                                                                                                                                                                                                                                                                                                                                                                                                                                            O script aplica-se apenas à atualização do Milvus instalado com o Helm. A tabela seguinte lista as flags de comando disponíveis nos scripts.

                                                                                                                                                                                                                                                                                                                                                                                                                                                            +

                                                                                                                                                                                                                                                                                                                                                                                                                                                            O script aplica-se apenas à atualização do Milvus instalado com o Helm. A tabela a seguir lista os sinalizadores de comando disponíveis nos scripts.

                                                                                                                                                                                                                                                                                                                                                                                                                                                            @@ -118,13 +140,13 @@ zilliztech/milvus 4.1.0 2.3.0 Milvus is an ope - +
                                                                                                                                                                                                                                                                                                                                                                                                                                                            ParâmetrosDescriçãoValor por defeitoNecessário
                                                                                                                                                                                                                                                                                                                                                                                                                                                            iNome da instância MilvusNoneVerdadeiro
                                                                                                                                                                                                                                                                                                                                                                                                                                                            nEspaço de nomes em que o Milvus está instaladodefaultFalso
                                                                                                                                                                                                                                                                                                                                                                                                                                                            tVersão alvo do MilvusNoneVerdadeiro
                                                                                                                                                                                                                                                                                                                                                                                                                                                            tVersão de destino do MilvusNoneVerdadeiro
                                                                                                                                                                                                                                                                                                                                                                                                                                                            wNova etiqueta de imagem do Milvusmilvusdb/milvus:v2.2.3Verdadeiro
                                                                                                                                                                                                                                                                                                                                                                                                                                                            oFuncionamentoupdateFalso
                                                                                                                                                                                                                                                                                                                                                                                                                                                            -

                                                                                                                                                                                                                                                                                                                                                                                                                                                            Depois de se ter assegurado de que todas as implementações na sua instância Milvus estão no seu estado normal. Pode executar o seguinte comando para atualizar a instância do Milvus para a versão 2.4.15.

                                                                                                                                                                                                                                                                                                                                                                                                                                                            -
                                                                                                                                                                                                                                                                                                                                                                                                                                                            sh rollingUpdate.sh -n default -i my-release -o update -t 2.4.15 -w 'milvusdb/milvus:v2.4.15'
                                                                                                                                                                                                                                                                                                                                                                                                                                                            +

                                                                                                                                                                                                                                                                                                                                                                                                                                                            Depois de se ter assegurado de que todas as implementações na sua instância Milvus estão no seu estado normal. Pode executar o seguinte comando para atualizar a instância do Milvus para a versão 2.4.17.

                                                                                                                                                                                                                                                                                                                                                                                                                                                            +
                                                                                                                                                                                                                                                                                                                                                                                                                                                            sh rollingUpdate.sh -n default -i my-release -o update -t 2.4.17 -w 'milvusdb/milvus:v2.4.17'
                                                                                                                                                                                                                                                                                                                                                                                                                                                             
                                                                                                                                                                                                                                                                                                                                                                                                                                                              @@ -150,8 +172,8 @@ zilliztech/milvus 4.1.0 2.3.0 Milvus is an ope >

                                                                                                                                                                                                                                                                                                                                                                                                                                                              Para atualizar o Milvus de uma versão menor antes da v2.2.3 para a mais recente, execute os seguintes comandos:

                                                                                                                                                                                                                                                                                                                                                                                                                                                              -
                                                                                                                                                                                                                                                                                                                                                                                                                                                              helm repo update
                                                                                                                                                                                                                                                                                                                                                                                                                                                              -helm upgrade my-release zilliztech/milvus --reuse-values --version=4.1.24 # use the helm chart version here
                                                                                                                                                                                                                                                                                                                                                                                                                                                              +
                                                                                                                                                                                                                                                                                                                                                                                                                                                              helm repo update zilliztech
                                                                                                                                                                                                                                                                                                                                                                                                                                                              +helm upgrade my-release zilliztech/milvus --reset-then-reuse-values --version=4.1.24 # use the helm chart version here
                                                                                                                                                                                                                                                                                                                                                                                                                                                               

                                                                                                                                                                                                                                                                                                                                                                                                                                                              Use a versão do Helm chart no comando anterior. Para obter detalhes sobre como obter a versão do Helm chart, consulte Verificar a versão do Milvus.

                                                                                                                                                                                                                                                                                                                                                                                                                                                              Migrar os metadados

                                                                                                                                                                                                                                                                                                                                                                                                                                                              Execute $ helm list para verificar a versão da sua aplicação Milvus. Pode ver que APP VERSION é 2.1.4.

                                                                                                                                                                                                                                                                                                                                                                                                                                                              +

                                                                                                                                                                                                                                                                                                                                                                                                                                                              1. Verificar a versão do Milvus

                                                                                                                                                                                                                                                                                                                                                                                                                                                              Execute $ helm list para verificar a versão da sua aplicação Milvus. Pode ver que a APP VERSION é a 2.1.4.

                                                                                                                                                                                                                                                                                                                                                                                                                                                              NAME                NAMESPACE   REVISION    UPDATED                                 STATUS      CHART           APP VERSION    
                                                                                                                                                                                                                                                                                                                                                                                                                                                               new-release         default     1           2022-11-21 15:41:25.51539 +0800 CST     deployed    milvus-3.2.18   2.1.4 
                                                                                                                                                                                                                                                                                                                                                                                                                                                               
                                                                                                                                                                                                                                                                                                                                                                                                                                                              diff --git a/localization/v2.4.x/site/pt/adminGuide/upgrade_milvus_cluster-operator.json b/localization/v2.4.x/site/pt/adminGuide/upgrade_milvus_cluster-operator.json index 58c3c6f5e..a50595630 100644 --- a/localization/v2.4.x/site/pt/adminGuide/upgrade_milvus_cluster-operator.json +++ b/localization/v2.4.x/site/pt/adminGuide/upgrade_milvus_cluster-operator.json @@ -1 +1 @@ -{"codeList":["helm repo add zilliztech-milvus-operator https://zilliztech.github.io/milvus-operator/\nhelm repo update zilliztech-milvus-operator\nhelm -n milvus-operator upgrade milvus-operator zilliztech-milvus-operator/milvus-operator\n","apiVersion: milvus.io/v1beta1\nkind: Milvus\nmetadata:\n name: my-release\nspec:\n components:\n enableRollingUpdate: true\n imageUpdateMode: rollingUpgrade # Default value, can be omitted\n image: milvusdb/milvus:v2.4.15\n","apiVersion: milvus.io/v1beta1\nkind: Milvus\nmetadata:\n name: my-release\nspec:\n components:\n enableRollingUpdate: true\n imageUpdateMode: all\n image: milvusdb/milvus:v2.4.15\n","apiVersion: milvus.io/v1beta1\nkind: Milvus\nmetadata:\n name: my-release\nspec:\n components:\n enableRollingUpdate: true\n imageUpdateMode: rollingDowngrade\n image: milvusdb/milvus:\n","kubectl apply -f milvusupgrade.yml\n","apiVersion: milvus.io/v1beta1\nkind: Milvus\nmetadata:\n name: my-release\nspec:\n # Omit other fields ...\n components:\n image: milvusdb/milvus:v2.4.15\n","kubectl apply -f milvusupgrade.yaml\n","apiVersion: milvus.io/v1beta1\nkind: MilvusUpgrade\nmetadata:\n name: my-release-upgrade\nspec:\n milvus:\n namespace: default\n name: my-release\n sourceVersion: \"v2.1.4\"\n targetVersion: \"v2.4.15\"\n # below are some omit default values:\n # targetImage: \"milvusdb/milvus:v2.4.15\"\n # toolImage: \"milvusdb/meta-migration:v2.2.0\"\n # operation: upgrade\n # rollbackIfFailed: true\n # backupPVC: \"\"\n # maxRetry: 3\n","$ kubectl apply -f https://github.com/zilliztech/milvus-operator/blob/main/config/samples/beta/milvusupgrade.yaml\n","kubectl describe milvus release-name\n"],"headingContent":"Upgrade Milvus Cluster with Milvus Operator","anchorList":[{"label":"Atualizar o Cluster Milvus com o Milvus Operator","href":"Upgrade-Milvus-Cluster-with-Milvus-Operator","type":1,"isActive":false},{"label":"Atualize seu operador Milvus","href":"Upgrade-your-Milvus-operator","type":2,"isActive":false},{"label":"Realizar uma atualização contínua","href":"Conduct-a-rolling-upgrade","type":2,"isActive":false},{"label":"Atualizar o Milvus alterando sua imagem","href":"Upgrade-Milvus-by-changing-its-image","type":2,"isActive":false},{"label":"Migrar os metadados","href":"Migrate-the-metadata","type":2,"isActive":false}]} \ No newline at end of file +{"codeList":["helm repo add zilliztech-milvus-operator https://zilliztech.github.io/milvus-operator/\nhelm repo update zilliztech-milvus-operator\nhelm -n milvus-operator upgrade milvus-operator zilliztech-milvus-operator/milvus-operator\n","apiVersion: milvus.io/v1beta1\nkind: Milvus\nmetadata:\n name: my-release\nspec:\n components:\n enableRollingUpdate: true\n imageUpdateMode: rollingUpgrade # Default value, can be omitted\n image: milvusdb/milvus:v2.4.17\n","apiVersion: milvus.io/v1beta1\nkind: Milvus\nmetadata:\n name: my-release\nspec:\n components:\n enableRollingUpdate: true\n imageUpdateMode: all\n image: milvusdb/milvus:v2.4.17\n","apiVersion: milvus.io/v1beta1\nkind: Milvus\nmetadata:\n name: my-release\nspec:\n components:\n enableRollingUpdate: true\n imageUpdateMode: rollingDowngrade\n image: milvusdb/milvus:\n","kubectl patch -f milvusupgrade.yml\n","apiVersion: milvus.io/v1beta1\nkind: Milvus\nmetadata:\n name: my-release\nspec:\n # Omit other fields ...\n components:\n image: milvusdb/milvus:v2.4.17\n","kubectl patch -f milvusupgrade.yaml\n","apiVersion: milvus.io/v1beta1\nkind: MilvusUpgrade\nmetadata:\n name: my-release-upgrade\nspec:\n milvus:\n namespace: default\n name: my-release\n sourceVersion: \"v2.1.4\"\n targetVersion: \"v2.4.17\"\n # below are some omit default values:\n # targetImage: \"milvusdb/milvus:v2.4.17\"\n # toolImage: \"milvusdb/meta-migration:v2.2.0\"\n # operation: upgrade\n # rollbackIfFailed: true\n # backupPVC: \"\"\n # maxRetry: 3\n","$ kubectl create -f https://github.com/zilliztech/milvus-operator/blob/main/config/samples/beta/milvusupgrade.yaml\n","kubectl describe milvus release-name\n"],"headingContent":"Upgrade Milvus Cluster with Milvus Operator","anchorList":[{"label":"Atualizar o Cluster Milvus com o Milvus Operator","href":"Upgrade-Milvus-Cluster-with-Milvus-Operator","type":1,"isActive":false},{"label":"Atualize seu operador Milvus","href":"Upgrade-your-Milvus-operator","type":2,"isActive":false},{"label":"Realizar uma atualização contínua","href":"Conduct-a-rolling-upgrade","type":2,"isActive":false},{"label":"Atualizar o Milvus alterando sua imagem","href":"Upgrade-Milvus-by-changing-its-image","type":2,"isActive":false},{"label":"Migrar os metadados","href":"Migrate-the-metadata","type":2,"isActive":false}]} \ No newline at end of file diff --git a/localization/v2.4.x/site/pt/adminGuide/upgrade_milvus_cluster-operator.md b/localization/v2.4.x/site/pt/adminGuide/upgrade_milvus_cluster-operator.md index c25c58f64..c4fc8b8c7 100644 --- a/localization/v2.4.x/site/pt/adminGuide/upgrade_milvus_cluster-operator.md +++ b/localization/v2.4.x/site/pt/adminGuide/upgrade_milvus_cluster-operator.md @@ -46,9 +46,9 @@ helm -n milvus-operator upgrade milvus-

                                                                                                                                                                                                                                                                                                                                                                                                                                                              Depois de ter atualizado o seu Milvus Operator para a versão mais recente, tem as seguintes opções:

                                                                                                                                                                                                                                                                                                                                                                                                                                                              Realizar uma atualização contínua

                                                                                                                                                                                                                                                                                                                                                                                                                                                            Neste ficheiro de configuração acima, defina spec.components.enableRollingUpdate para true e defina spec.components.image para a versão desejada do Milvus.

                                                                                                                                                                                                                                                                                                                                                                                                                                                            -

                                                                                                                                                                                                                                                                                                                                                                                                                                                            Por predefinição, o Milvus efectua a atualização contínua dos coordenadores de forma ordenada, substituindo as imagens do pod do coordenador uma após a outra. Para reduzir o tempo de atualização, considere definir spec.components.imageUpdateMode como all para que o Milvus substitua todas as imagens de pod ao mesmo tempo.

                                                                                                                                                                                                                                                                                                                                                                                                                                                            +

                                                                                                                                                                                                                                                                                                                                                                                                                                                            Por predefinição, o Milvus efectua a atualização contínua dos coordenadores de forma ordenada, substituindo as imagens do pod do coordenador uma após a outra. Para reduzir o tempo de atualização, considere definir spec.components.imageUpdateMode para all para que o Milvus substitua todas as imagens de pod ao mesmo tempo.

                                                                                                                                                                                                                                                                                                                                                                                                                                                            apiVersion: milvus.io/v1beta1
                                                                                                                                                                                                                                                                                                                                                                                                                                                             kind: Milvus
                                                                                                                                                                                                                                                                                                                                                                                                                                                             metadata:
                                                                                                                                                                                                                                                                                                                                                                                                                                                            @@ -88,7 +88,7 @@ spec:
                                                                                                                                                                                                                                                                                                                                                                                                                                                               components:
                                                                                                                                                                                                                                                                                                                                                                                                                                                                 enableRollingUpdate: true
                                                                                                                                                                                                                                                                                                                                                                                                                                                                 imageUpdateMode: all
                                                                                                                                                                                                                                                                                                                                                                                                                                                            -    image: milvusdb/milvus:v2.4.15
                                                                                                                                                                                                                                                                                                                                                                                                                                                            +    image: milvusdb/milvus:v2.4.17
                                                                                                                                                                                                                                                                                                                                                                                                                                                             

                                                                                                                                                                                                                                                                                                                                                                                                                                                            Você pode definir spec.components.imageUpdateMode como rollingDowngrade para que o Milvus substitua as imagens do pod coordenador por uma versão inferior.

                                                                                                                                                                                                                                                                                                                                                                                                                                                            apiVersion: milvus.io/v1beta1
                                                                                                                                                                                                                                                                                                                                                                                                                                                            @@ -101,8 +101,8 @@ spec:
                                                                                                                                                                                                                                                                                                                                                                                                                                                                 imageUpdateMode: rollingDowngrade
                                                                                                                                                                                                                                                                                                                                                                                                                                                                 image: milvusdb/milvus:<some-old-version>
                                                                                                                                                                                                                                                                                                                                                                                                                                                             
                                                                                                                                                                                                                                                                                                                                                                                                                                                            -

                                                                                                                                                                                                                                                                                                                                                                                                                                                            Em seguida, salve sua configuração como um arquivo YAML (por exemplo, milvusupgrade.yml) e aplique esse arquivo de configuração à sua instância do Milvus da seguinte maneira:

                                                                                                                                                                                                                                                                                                                                                                                                                                                            -
                                                                                                                                                                                                                                                                                                                                                                                                                                                            kubectl apply -f milvusupgrade.yml
                                                                                                                                                                                                                                                                                                                                                                                                                                                            +

                                                                                                                                                                                                                                                                                                                                                                                                                                                            Em seguida, salve sua configuração como um arquivo YAML (por exemplo, milvusupgrade.yml) e faça o patch desse arquivo de configuração para sua instância do Milvus da seguinte forma:

                                                                                                                                                                                                                                                                                                                                                                                                                                                            +
                                                                                                                                                                                                                                                                                                                                                                                                                                                            kubectl patch -f milvusupgrade.yml
                                                                                                                                                                                                                                                                                                                                                                                                                                                             

                                                                                                                                                                                                                                                                                                                                                                                                                                                            Atualizar o Milvus alterando sua imagem

                                                                                                                                                                                                                                                                                                                                                                                                                                                            Em casos normais, pode simplesmente atualizar o seu Milvus para a versão mais recente, alterando a sua imagem. No entanto, tenha em atenção que haverá um certo tempo de inatividade ao atualizar o Milvus desta forma.

                                                                                                                                                                                                                                                                                                                                                                                                                                                            +

                                                                                                                                                                                                                                                                                                                                                                                                                                                            Em casos normais, pode simplesmente atualizar o seu Milvus para a versão mais recente alterando a sua imagem. No entanto, tenha em atenção que haverá um certo tempo de inatividade ao atualizar o Milvus desta forma.

                                                                                                                                                                                                                                                                                                                                                                                                                                                            Crie um ficheiro de configuração da seguinte forma e guarde-o como milvusupgrade.yaml:

                                                                                                                                                                                                                                                                                                                                                                                                                                                            apiVersion: milvus.io/v1beta1
                                                                                                                                                                                                                                                                                                                                                                                                                                                             kind: Milvus
                                                                                                                                                                                                                                                                                                                                                                                                                                                            @@ -128,10 +128,10 @@ metadata:
                                                                                                                                                                                                                                                                                                                                                                                                                                                             spec:
                                                                                                                                                                                                                                                                                                                                                                                                                                                               # Omit other fields ...
                                                                                                                                                                                                                                                                                                                                                                                                                                                               components:
                                                                                                                                                                                                                                                                                                                                                                                                                                                            -   image: milvusdb/milvus:v2.4.15
                                                                                                                                                                                                                                                                                                                                                                                                                                                            +   image: milvusdb/milvus:v2.4.17
                                                                                                                                                                                                                                                                                                                                                                                                                                                             

                                                                                                                                                                                                                                                                                                                                                                                                                                                            Em seguida, execute o seguinte para realizar a atualização:

                                                                                                                                                                                                                                                                                                                                                                                                                                                            -
                                                                                                                                                                                                                                                                                                                                                                                                                                                            kubectl apply -f milvusupgrade.yaml
                                                                                                                                                                                                                                                                                                                                                                                                                                                            +
                                                                                                                                                                                                                                                                                                                                                                                                                                                            kubectl patch -f milvusupgrade.yaml
                                                                                                                                                                                                                                                                                                                                                                                                                                                             

                                                                                                                                                                                                                                                                                                                                                                                                                                                            Migrar os metadados

                                                                                                                                                                                                                                                                                                                                                                                                                                                            Desde o Milvus 2.2.0, os metadados são incompatíveis com os das versões anteriores. Os seguintes exemplos assumem uma atualização do Milvus 2.1.4 para o Milvus 2.4.15.

                                                                                                                                                                                                                                                                                                                                                                                                                                                            -

                                                                                                                                                                                                                                                                                                                                                                                                                                                            1. Criar um ficheiro .yaml para migração de metadados

                                                                                                                                                                                                                                                                                                                                                                                                                                                            Crie um ficheiro de migração de metadados. Segue-se um exemplo. É necessário especificar name, sourceVersion e targetVersion no ficheiro de configuração. O exemplo seguinte define name para my-release-upgrade, sourceVersion para v2.1.4 e targetVersion para v2.4.15. Isto significa que o seu cluster Milvus será atualizado da v2.1.4 para a v2.4.15.

                                                                                                                                                                                                                                                                                                                                                                                                                                                            +

                                                                                                                                                                                                                                                                                                                                                                                                                                                            Desde o Milvus 2.2.0, os metadados são incompatíveis com os das versões anteriores. Os seguintes exemplos pressupõem uma atualização do Milvus 2.1.4 para o Milvus 2.4.17.

                                                                                                                                                                                                                                                                                                                                                                                                                                                            +

                                                                                                                                                                                                                                                                                                                                                                                                                                                            1. Criar um ficheiro .yaml para migração de metadados

                                                                                                                                                                                                                                                                                                                                                                                                                                                            Crie um ficheiro de migração de metadados. Segue-se um exemplo. É necessário especificar name, sourceVersion e targetVersion no ficheiro de configuração. O exemplo seguinte define name para my-release-upgrade, sourceVersion para v2.1.4 e targetVersion para v2.4.17. Isto significa que o seu cluster Milvus será atualizado da v2.1.4 para a v2.4.17.

                                                                                                                                                                                                                                                                                                                                                                                                                                                            apiVersion: milvus.io/v1beta1
                                                                                                                                                                                                                                                                                                                                                                                                                                                             kind: MilvusUpgrade
                                                                                                                                                                                                                                                                                                                                                                                                                                                             metadata:
                                                                                                                                                                                                                                                                                                                                                                                                                                                            @@ -159,17 +159,17 @@ spec:
                                                                                                                                                                                                                                                                                                                                                                                                                                                                 namespace: default
                                                                                                                                                                                                                                                                                                                                                                                                                                                                 name: my-release
                                                                                                                                                                                                                                                                                                                                                                                                                                                               sourceVersion: "v2.1.4"
                                                                                                                                                                                                                                                                                                                                                                                                                                                            -  targetVersion: "v2.4.15"
                                                                                                                                                                                                                                                                                                                                                                                                                                                            +  targetVersion: "v2.4.17"
                                                                                                                                                                                                                                                                                                                                                                                                                                                               # below are some omit default values:
                                                                                                                                                                                                                                                                                                                                                                                                                                                            -  # targetImage: "milvusdb/milvus:v2.4.15"
                                                                                                                                                                                                                                                                                                                                                                                                                                                            +  # targetImage: "milvusdb/milvus:v2.4.17"
                                                                                                                                                                                                                                                                                                                                                                                                                                                               # toolImage: "milvusdb/meta-migration:v2.2.0"
                                                                                                                                                                                                                                                                                                                                                                                                                                                               # operation: upgrade
                                                                                                                                                                                                                                                                                                                                                                                                                                                               # rollbackIfFailed: true
                                                                                                                                                                                                                                                                                                                                                                                                                                                               # backupPVC: ""
                                                                                                                                                                                                                                                                                                                                                                                                                                                               # maxRetry: 3
                                                                                                                                                                                                                                                                                                                                                                                                                                                             
                                                                                                                                                                                                                                                                                                                                                                                                                                                            -

                                                                                                                                                                                                                                                                                                                                                                                                                                                            2. Aplicar a nova configuração

                                                                                                                                                                                                                                                                                                                                                                                                                                                            Execute o seguinte comando para aplicar a nova configuração.

                                                                                                                                                                                                                                                                                                                                                                                                                                                            -
                                                                                                                                                                                                                                                                                                                                                                                                                                                            $ kubectl apply -f https://github.com/zilliztech/milvus-operator/blob/main/config/samples/beta/milvusupgrade.yaml
                                                                                                                                                                                                                                                                                                                                                                                                                                                            +

                                                                                                                                                                                                                                                                                                                                                                                                                                                            2. Aplicar a nova configuração

                                                                                                                                                                                                                                                                                                                                                                                                                                                            Execute o seguinte comando para criar a nova configuração.

                                                                                                                                                                                                                                                                                                                                                                                                                                                            +
                                                                                                                                                                                                                                                                                                                                                                                                                                                            $ kubectl create -f https://github.com/zilliztech/milvus-operator/blob/main/config/samples/beta/milvusupgrade.yaml
                                                                                                                                                                                                                                                                                                                                                                                                                                                             

                                                                                                                                                                                                                                                                                                                                                                                                                                                            3. Verificar o estado da migração de metadados

                                                                                                                                                                                                                                                                                                                                                                                                                                                            Execute o seguinte comando para verificar o estado da migração de metadados.

                                                                                                                                                                                                                                                                                                                                                                                                                                                            kubectl describe milvus release-name
                                                                                                                                                                                                                                                                                                                                                                                                                                                            diff --git a/localization/v2.4.x/site/pt/adminGuide/upgrade_milvus_standalone-docker.json b/localization/v2.4.x/site/pt/adminGuide/upgrade_milvus_standalone-docker.json
                                                                                                                                                                                                                                                                                                                                                                                                                                                            index 83bec6be7..84bfe4ee2 100644
                                                                                                                                                                                                                                                                                                                                                                                                                                                            --- a/localization/v2.4.x/site/pt/adminGuide/upgrade_milvus_standalone-docker.json
                                                                                                                                                                                                                                                                                                                                                                                                                                                            +++ b/localization/v2.4.x/site/pt/adminGuide/upgrade_milvus_standalone-docker.json
                                                                                                                                                                                                                                                                                                                                                                                                                                                            @@ -1 +1 @@
                                                                                                                                                                                                                                                                                                                                                                                                                                                            -{"codeList":["...\nstandalone:\n  container_name: milvus-standalone\n  image: milvusdb/milvus:v2.4.15\n","docker compose down\ndocker compose up -d\n","docker stop \n","# migration.yaml\ncmd:\n  # Option: run/backup/rollback\n  type: run\n  runWithBackup: true\nconfig:\n  sourceVersion: 2.1.4   # Specify your milvus version\n  targetVersion: 2.4.15\n  backupFilePath: /tmp/migration.bak\nmetastore:\n  type: etcd\netcd:\n  endpoints:\n    - milvus-etcd:2379  # Use the etcd container name\n  rootPath: by-dev # The root path where data is stored in etcd\n  metaSubPath: meta\n  kvSubPath: kv\n","# Suppose your docker-compose run with the default milvus network,\n# and you put migration.yaml in the same directory with docker-compose.yaml.\ndocker run --rm -it --network milvus -v $(pwd)/migration.yaml:/milvus/configs/migration.yaml milvusdb/meta-migration:v2.2.0 /milvus/bin/meta-migration -config=/milvus/configs/migration.yaml\n","// Run the following only after update the milvus image tag in the docker-compose.yaml\ndocker compose down\ndocker compose up -d\n"],"headingContent":"Upgrade Milvus Standalone with Docker Compose","anchorList":[{"label":"Atualizar o Milvus Standalone com o Docker Compose","href":"Upgrade-Milvus-Standalone-with-Docker-Compose","type":1,"isActive":false},{"label":"Atualizar o Milvus alterando sua imagem","href":"Upgrade-Milvus-by-changing-its-image","type":2,"isActive":false},{"label":"Migrar os metadados","href":"Migrate-the-metadata","type":2,"isActive":false},{"label":"O que se segue","href":"Whats-next","type":2,"isActive":false}]}
                                                                                                                                                                                                                                                                                                                                                                                                                                                            \ No newline at end of file
                                                                                                                                                                                                                                                                                                                                                                                                                                                            +{"codeList":["...\nstandalone:\n  container_name: milvus-standalone\n  image: milvusdb/milvus:v2.4.17\n","docker compose down\ndocker compose up -d\n","docker stop \n","# migration.yaml\ncmd:\n  # Option: run/backup/rollback\n  type: run\n  runWithBackup: true\nconfig:\n  sourceVersion: 2.1.4   # Specify your milvus version\n  targetVersion: 2.4.17\n  backupFilePath: /tmp/migration.bak\nmetastore:\n  type: etcd\netcd:\n  endpoints:\n    - milvus-etcd:2379  # Use the etcd container name\n  rootPath: by-dev # The root path where data is stored in etcd\n  metaSubPath: meta\n  kvSubPath: kv\n","# Suppose your docker-compose run with the default milvus network,\n# and you put migration.yaml in the same directory with docker-compose.yaml.\ndocker run --rm -it --network milvus -v $(pwd)/migration.yaml:/milvus/configs/migration.yaml milvusdb/meta-migration:v2.2.0 /milvus/bin/meta-migration -config=/milvus/configs/migration.yaml\n","// Run the following only after update the milvus image tag in the docker-compose.yaml\ndocker compose down\ndocker compose up -d\n"],"headingContent":"Upgrade Milvus Standalone with Docker Compose","anchorList":[{"label":"Atualizar o Milvus Standalone com o Docker Compose","href":"Upgrade-Milvus-Standalone-with-Docker-Compose","type":1,"isActive":false},{"label":"Atualizar o Milvus alterando sua imagem","href":"Upgrade-Milvus-by-changing-its-image","type":2,"isActive":false},{"label":"Migrar os metadados","href":"Migrate-the-metadata","type":2,"isActive":false},{"label":"O que se segue","href":"Whats-next","type":2,"isActive":false}]}
                                                                                                                                                                                                                                                                                                                                                                                                                                                            \ No newline at end of file
                                                                                                                                                                                                                                                                                                                                                                                                                                                            diff --git a/localization/v2.4.x/site/pt/adminGuide/upgrade_milvus_standalone-docker.md b/localization/v2.4.x/site/pt/adminGuide/upgrade_milvus_standalone-docker.md
                                                                                                                                                                                                                                                                                                                                                                                                                                                            index 3f5798bd1..fd632ae4e 100644
                                                                                                                                                                                                                                                                                                                                                                                                                                                            --- a/localization/v2.4.x/site/pt/adminGuide/upgrade_milvus_standalone-docker.md
                                                                                                                                                                                                                                                                                                                                                                                                                                                            +++ b/localization/v2.4.x/site/pt/adminGuide/upgrade_milvus_standalone-docker.md
                                                                                                                                                                                                                                                                                                                                                                                                                                                            @@ -24,9 +24,9 @@ title: Atualizar o Milvus Standalone com o Docker Compose
                                                                                                                                                                                                                                                                                                                                                                                                                                                                     >
                                                                                                                                                                                                                                                                                                                                                                                                                                                                   
                                                                                                                                                                                                                                                                                                                                                                                                                                                                 

                                                                                                                                                                                                                                                                                                                                                                                                                                                            Este tópico descreve como atualizar seu Milvus usando o Docker Compose.

                                                                                                                                                                                                                                                                                                                                                                                                                                                            -

                                                                                                                                                                                                                                                                                                                                                                                                                                                            Em casos normais, você pode atualizar o Milvus alterando sua imagem. No entanto, é necessário migrar os metadados antes de qualquer atualização da v2.1.x para a v2.4.15.

                                                                                                                                                                                                                                                                                                                                                                                                                                                            +

                                                                                                                                                                                                                                                                                                                                                                                                                                                            Em casos normais, você pode atualizar o Milvus alterando sua imagem. No entanto, é necessário migrar os metadados antes de qualquer atualização da v2.1.x para a v2.4.17.

                                                                                                                                                                                                                                                                                                                                                                                                                                                            -

                                                                                                                                                                                                                                                                                                                                                                                                                                                            Devido a questões de segurança, o Milvus actualiza o seu MinIO para RELEASE.2023-03-20T20-16-18Z com o lançamento da v2.2.5. Antes de qualquer atualização de versões anteriores do Milvus Standalone instaladas usando o Docker Compose, você deve criar uma implantação do MinIO de nó único e unidade única e migrar as configurações e o conteúdo existentes do MinIO para a nova implantação. Para obter detalhes, consulte este guia.

                                                                                                                                                                                                                                                                                                                                                                                                                                                            +

                                                                                                                                                                                                                                                                                                                                                                                                                                                            Devido a questões de segurança, o Milvus actualiza o seu MinIO para RELEASE.2023-03-20T20-16-18Z com o lançamento da v2.2.5. Antes de qualquer atualização de versões anteriores do Milvus Standalone instaladas usando o Docker Compose, você deve criar uma implantação MinIO de nó único e unidade única e migrar as configurações e o conteúdo existentes do MinIO para a nova implantação. Para obter detalhes, consulte este guia.

                                                                                                                                                                                                                                                                                                                                                                                                                                                            Atualizar o Milvus alterando sua imagem

                                                                                                                                                                                                                                                                                                                                                                                                                                                          • Execute os seguintes comandos para realizar a atualização.

                                                                                                                                                                                                                                                                                                                                                                                                                                                            docker compose down
                                                                                                                                                                                                                                                                                                                                                                                                                                                            @@ -83,7 +83,7 @@ cmd:
                                                                                                                                                                                                                                                                                                                                                                                                                                                               runWithBackup: true
                                                                                                                                                                                                                                                                                                                                                                                                                                                             config:
                                                                                                                                                                                                                                                                                                                                                                                                                                                               sourceVersion: 2.1.4   # Specify your milvus version
                                                                                                                                                                                                                                                                                                                                                                                                                                                            -  targetVersion: 2.4.15
                                                                                                                                                                                                                                                                                                                                                                                                                                                            +  targetVersion: 2.4.17
                                                                                                                                                                                                                                                                                                                                                                                                                                                               backupFilePath: /tmp/migration.bak
                                                                                                                                                                                                                                                                                                                                                                                                                                                             metastore:
                                                                                                                                                                                                                                                                                                                                                                                                                                                               type: etcd
                                                                                                                                                                                                                                                                                                                                                                                                                                                            @@ -126,7 +126,7 @@ docker compose up -d
                                                                                                                                                                                                                                                                                                                                                                                                                                                             
                                                                                                                                                                                                                                                                                                                                                                                                                                                        • Se estiver pronto para implantar seu cluster em nuvens:
                                                                                                                                                                                                                                                                                                                                                                                                                                                        diff --git a/localization/v2.4.x/site/pt/adminGuide/upgrade_milvus_standalone-helm.json b/localization/v2.4.x/site/pt/adminGuide/upgrade_milvus_standalone-helm.json index 409059162..1eb80b77c 100644 --- a/localization/v2.4.x/site/pt/adminGuide/upgrade_milvus_standalone-helm.json +++ b/localization/v2.4.x/site/pt/adminGuide/upgrade_milvus_standalone-helm.json @@ -1 +1 @@ -{"codeList":["$ helm repo update\n$ helm search repo zilliztech/milvus --versions\n","helm repo add zilliztech https://zilliztech.github.io/milvus-helm\nhelm repo update\n# upgrade existing helm release\nhelm upgrade my-release zilliztech/milvus\n","NAME CHART VERSION APP VERSION DESCRIPTION \nzilliztech/milvus 4.1.34 2.4.5 Milvus is an open-source vector database built ...\nzilliztech/milvus 4.1.33 2.4.4 Milvus is an open-source vector database built ...\nzilliztech/milvus 4.1.32 2.4.3 Milvus is an open-source vector database built ...\nzilliztech/milvus 4.1.31 2.4.1 Milvus is an open-source vector database built ...\nzilliztech/milvus 4.1.30 2.4.1 Milvus is an open-source vector database built ...\nzilliztech/milvus 4.1.29 2.4.0 Milvus is an open-source vector database built ...\nzilliztech/milvus 4.1.24 2.3.11 Milvus is an open-source vector database built ...\nzilliztech/milvus 4.1.23 2.3.10 Milvus is an open-source vector database built ...\nzilliztech/milvus 4.1.22 2.3.10 Milvus is an open-source vector database built ...\nzilliztech/milvus 4.1.21 2.3.10 Milvus is an open-source vector database built ...\nzilliztech/milvus 4.1.20 2.3.10 Milvus is an open-source vector database built ...\nzilliztech/milvus 4.1.18 2.3.10 Milvus is an open-source vector database built ... \nzilliztech/milvus 4.1.18 2.3.9 Milvus is an open-source vector database built ... \nzilliztech/milvus 4.1.17 2.3.8 Milvus is an open-source vector database built ...\nzilliztech/milvus 4.1.16 2.3.7 Milvus is an open-source vector database built ...\nzilliztech/milvus 4.1.15 2.3.5 Milvus is an open-source vector database built ...\nzilliztech/milvus 4.1.14 2.3.6 Milvus is an open-source vector database built ...\nzilliztech/milvus 4.1.13 2.3.5 Milvus is an open-source vector database built ...\nzilliztech/milvus 4.1.12 2.3.5 Milvus is an open-source vector database built ...\nzilliztech/milvus 4.1.11 2.3.4 Milvus is an open-source vector database built ...\nzilliztech/milvus 4.1.10 2.3.3 Milvus is an open-source vector database built ...\nzilliztech/milvus 4.1.9 2.3.3 Milvus is an open-source vector database built ...\nzilliztech/milvus 4.1.8 2.3.2 Milvus is an open-source vector database built ...\nzilliztech/milvus 4.1.7 2.3.2 Milvus is an open-source vector database built ...\nzilliztech/milvus 4.1.6 2.3.1 Milvus is an open-source vector database built ...\nzilliztech/milvus 4.1.5 2.3.1 Milvus is an open-source vector database built ...\nzilliztech/milvus 4.1.4 2.3.1 Milvus is an open-source vector database built ...\nzilliztech/milvus 4.1.3 2.3.1 Milvus is an open-source vector database built ...\nzilliztech/milvus 4.1.2 2.3.1 Milvus is an open-source vector database built ...\nzilliztech/milvus 4.1.1 2.3.0 Milvus is an open-source vector database built ...\nzilliztech/milvus 4.1.0 2.3.0 Milvus is an open-source vector database built ...\n","sh rollingUpdate.sh -n default -i my-release -o update -t 2.4.15 -w 'milvusdb/milvus:v2.4.15'\n","helm repo update\nhelm upgrade my-release milvus/milvus --reuse-values --version=4.1.24 # use the helm chart version here\n","NAME NAMESPACE REVISION UPDATED STATUS CHART APP VERSION \nmy-release default 1 2022-11-21 15:41:25.51539 +0800 CST deployed milvus-3.2.18 2.1.4\n","NAME READY STATUS RESTARTS AGE\nmy-release-etcd-0 1/1 Running 0 84s\nmy-release-milvus-standalone-75c599fffc-6rwlj 1/1 Running 0 84s\nmy-release-minio-744dd9586f-qngzv 1/1 Running 0 84s\n","$ kubectl get pods my-release-milvus-proxy-6c548f787f-scspp -o=jsonpath='{$.spec.containers[0].image}'\n# milvusdb/milvus:v2.1.4\n","./migrate.sh -i my-release -s 2.1.4 -t 2.4.15\n","./migrate.sh -i my-release -n milvus -s 2.1.4 -t 2.4.15\n","./migrate.sh -i my-release -n milvus -s 2.1.4 -t 2.4.15 -r by-dev\n","./migrate.sh -i my-release -n milvus -s 2.1.4 -t 2.4.15 -r by-dev -w milvusdb/milvus:v2.4.15\n","./migrate.sh -i my-release -n milvus -s 2.1.4 -t 2.4.15 -w milvusdb/milvus:v2.4.15 -d true\n","./migrate.sh -i my-release -n milvus -s 2.1.4 -t 2.4.15 -r by-dev -o rollback -w milvusdb/milvus:v2.1.1\n./migrate.sh -i my-release -n milvus -s 2.1.4 -t 2.4.15 -r by-dev -o migrate -w milvusdb/milvus:v2.4.15\n"],"headingContent":"Upgrade Milvus Standalone with Helm Chart","anchorList":[{"label":"Atualizar o Milvus Standalone com o Helm Chart","href":"Upgrade-Milvus-Standalone-with-Helm-Chart","type":1,"isActive":false},{"label":"Verificar a versão do Milvus","href":"Check-the-Milvus-version","type":2,"isActive":false},{"label":"Realizar uma atualização contínua","href":"Conduct-a-rolling-upgrade","type":2,"isActive":false},{"label":"Atualizar o Milvus usando o Helm","href":"Upgrade-Milvus-using-Helm","type":2,"isActive":false},{"label":"Migrar os metadados","href":"Migrate-the-metadata","type":2,"isActive":false}]} \ No newline at end of file +{"codeList":["$ helm repo update\n$ helm search repo zilliztech/milvus --versions\n","helm repo add zilliztech https://zilliztech.github.io/milvus-helm\nhelm repo update zilliztech\n# upgrade existing helm release\nhelm upgrade my-release zilliztech/milvus --reset-then-reuse-values\n","NAME CHART VERSION APP VERSION DESCRIPTION \nzilliztech/milvus 4.1.34 2.4.5 Milvus is an open-source vector database built ...\nzilliztech/milvus 4.1.33 2.4.4 Milvus is an open-source vector database built ...\nzilliztech/milvus 4.1.32 2.4.3 Milvus is an open-source vector database built ...\nzilliztech/milvus 4.1.31 2.4.1 Milvus is an open-source vector database built ...\nzilliztech/milvus 4.1.30 2.4.1 Milvus is an open-source vector database built ...\nzilliztech/milvus 4.1.29 2.4.0 Milvus is an open-source vector database built ...\nzilliztech/milvus 4.1.24 2.3.11 Milvus is an open-source vector database built ...\nzilliztech/milvus 4.1.23 2.3.10 Milvus is an open-source vector database built ...\nzilliztech/milvus 4.1.22 2.3.10 Milvus is an open-source vector database built ...\nzilliztech/milvus 4.1.21 2.3.10 Milvus is an open-source vector database built ...\nzilliztech/milvus 4.1.20 2.3.10 Milvus is an open-source vector database built ...\nzilliztech/milvus 4.1.18 2.3.10 Milvus is an open-source vector database built ... \nzilliztech/milvus 4.1.18 2.3.9 Milvus is an open-source vector database built ... \nzilliztech/milvus 4.1.17 2.3.8 Milvus is an open-source vector database built ...\nzilliztech/milvus 4.1.16 2.3.7 Milvus is an open-source vector database built ...\nzilliztech/milvus 4.1.15 2.3.5 Milvus is an open-source vector database built ...\nzilliztech/milvus 4.1.14 2.3.6 Milvus is an open-source vector database built ...\nzilliztech/milvus 4.1.13 2.3.5 Milvus is an open-source vector database built ...\nzilliztech/milvus 4.1.12 2.3.5 Milvus is an open-source vector database built ...\nzilliztech/milvus 4.1.11 2.3.4 Milvus is an open-source vector database built ...\nzilliztech/milvus 4.1.10 2.3.3 Milvus is an open-source vector database built ...\nzilliztech/milvus 4.1.9 2.3.3 Milvus is an open-source vector database built ...\nzilliztech/milvus 4.1.8 2.3.2 Milvus is an open-source vector database built ...\nzilliztech/milvus 4.1.7 2.3.2 Milvus is an open-source vector database built ...\nzilliztech/milvus 4.1.6 2.3.1 Milvus is an open-source vector database built ...\nzilliztech/milvus 4.1.5 2.3.1 Milvus is an open-source vector database built ...\nzilliztech/milvus 4.1.4 2.3.1 Milvus is an open-source vector database built ...\nzilliztech/milvus 4.1.3 2.3.1 Milvus is an open-source vector database built ...\nzilliztech/milvus 4.1.2 2.3.1 Milvus is an open-source vector database built ...\nzilliztech/milvus 4.1.1 2.3.0 Milvus is an open-source vector database built ...\nzilliztech/milvus 4.1.0 2.3.0 Milvus is an open-source vector database built ...\n","sh rollingUpdate.sh -n default -i my-release -o update -t 2.4.17 -w 'milvusdb/milvus:v2.4.17'\n","helm repo update\nhelm upgrade my-release milvus/milvus --reset-then-reuse-values --version=4.1.24 # use the helm chart version here\n","NAME NAMESPACE REVISION UPDATED STATUS CHART APP VERSION \nmy-release default 1 2022-11-21 15:41:25.51539 +0800 CST deployed milvus-3.2.18 2.1.4\n","NAME READY STATUS RESTARTS AGE\nmy-release-etcd-0 1/1 Running 0 84s\nmy-release-milvus-standalone-75c599fffc-6rwlj 1/1 Running 0 84s\nmy-release-minio-744dd9586f-qngzv 1/1 Running 0 84s\n","$ kubectl get pods my-release-milvus-proxy-6c548f787f-scspp -o=jsonpath='{$.spec.containers[0].image}'\n# milvusdb/milvus:v2.1.4\n","./migrate.sh -i my-release -s 2.1.4 -t 2.4.17\n","./migrate.sh -i my-release -n milvus -s 2.1.4 -t 2.4.17\n","./migrate.sh -i my-release -n milvus -s 2.1.4 -t 2.4.17 -r by-dev\n","./migrate.sh -i my-release -n milvus -s 2.1.4 -t 2.4.17 -r by-dev -w milvusdb/milvus:v2.4.17\n","./migrate.sh -i my-release -n milvus -s 2.1.4 -t 2.4.17 -w milvusdb/milvus:v2.4.17 -d true\n","./migrate.sh -i my-release -n milvus -s 2.1.4 -t 2.4.17 -r by-dev -o rollback -w milvusdb/milvus:v2.1.1\n./migrate.sh -i my-release -n milvus -s 2.1.4 -t 2.4.17 -r by-dev -o migrate -w milvusdb/milvus:v2.4.17\n"],"headingContent":"Upgrade Milvus Standalone with Helm Chart","anchorList":[{"label":"Atualizar o Milvus Standalone com o Helm Chart","href":"Upgrade-Milvus-Standalone-with-Helm-Chart","type":1,"isActive":false},{"label":"Pré-requisitos","href":"Prerequisites","type":2,"isActive":false},{"label":"Verificar a versão do Milvus","href":"Check-the-Milvus-version","type":2,"isActive":false},{"label":"Realizar uma atualização contínua","href":"Conduct-a-rolling-upgrade","type":2,"isActive":false},{"label":"Atualizar o Milvus usando o Helm","href":"Upgrade-Milvus-using-Helm","type":2,"isActive":false},{"label":"Migrar os metadados","href":"Migrate-the-metadata","type":2,"isActive":false}]} \ No newline at end of file diff --git a/localization/v2.4.x/site/pt/adminGuide/upgrade_milvus_standalone-helm.md b/localization/v2.4.x/site/pt/adminGuide/upgrade_milvus_standalone-helm.md index 44bd994ad..8b86e6d46 100644 --- a/localization/v2.4.x/site/pt/adminGuide/upgrade_milvus_standalone-helm.md +++ b/localization/v2.4.x/site/pt/adminGuide/upgrade_milvus_standalone-helm.md @@ -23,7 +23,29 @@ title: Atualizar o Milvus Standalone com o Helm Chart d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z" > -

                                                                                                                                                                                                                                                                                                                                                                                                                                                        Este guia descreve como atualizar o seu Milvus standalone com as cartas do Milvus Helm.

                                                                                                                                                                                                                                                                                                                                                                                                                                                        +

                                                                                                                                                                                                                                                                                                                                                                                                                                                        Este guia descreve como atualizar seu Milvus standalone com Milvus Helm charts.

                                                                                                                                                                                                                                                                                                                                                                                                                                                        +

                                                                                                                                                                                                                                                                                                                                                                                                                                                        Pré-requisitos

                                                                                                                                                                                                                                                                                                                                                                                                                                                          +
                                                                                                                                                                                                                                                                                                                                                                                                                                                        • Versão do Helm >= 3.14.0
                                                                                                                                                                                                                                                                                                                                                                                                                                                        • +
                                                                                                                                                                                                                                                                                                                                                                                                                                                        • Versão do Kubernetes >= 1.20.0
                                                                                                                                                                                                                                                                                                                                                                                                                                                        • +
                                                                                                                                                                                                                                                                                                                                                                                                                                                        +
                                                                                                                                                                                                                                                                                                                                                                                                                                                        +

                                                                                                                                                                                                                                                                                                                                                                                                                                                        Desde a versão 4.2.21 do gráfico Milvus-Helm, introduzimos o gráfico pulsar-v3.x como dependência. Para compatibilidade com versões anteriores, atualize seu helm para a versão v3.14 ou posterior e certifique-se de adicionar a opção --reset-then-reuse-values sempre que usar helm upgrade.

                                                                                                                                                                                                                                                                                                                                                                                                                                                        +

                                                                                                                                                                                                                                                                                                                                                                                                                                                        Verificar a versão do Milvus

                                                                                                                                                                                                                                    -

                                                                                                                                                                                                                                    O repositório do Milvus Helm Charts em https://milvus-io.github.io/milvus-helm/ foi arquivado e pode obter mais actualizações em https://zilliztech.github.io/milvus-helm/ da seguinte forma:

                                                                                                                                                                                                                                    +

                                                                                                                                                                                                                                    O repositório Milvus Helm Charts em https://milvus-io.github.io/milvus-helm/ foi arquivado e pode obter mais actualizações em https://zilliztech.github.io/milvus-helm/ da seguinte forma:

                                                                                                                                                                                                                                    helm repo add zilliztech https://zilliztech.github.io/milvus-helm
                                                                                                                                                                                                                                    -helm repo update
                                                                                                                                                                                                                                    +helm repo update zilliztech
                                                                                                                                                                                                                                     # upgrade existing helm release
                                                                                                                                                                                                                                    -helm upgrade my-release zilliztech/milvus
                                                                                                                                                                                                                                    +helm upgrade my-release zilliztech/milvus --reset-then-reuse-values
                                                                                                                                                                                                                                     

                                                                                                                                                                                                                                    O repositório arquivado ainda está disponível para os gráficos até à versão 4.0.31. Para versões posteriores, utilize o novo repositório.

                                                                                                                                                                                                                                    @@ -86,10 +108,10 @@ zilliztech/milvus 4.1.1 2.3.0 Milvus is an ope zilliztech/milvus 4.1.0 2.3.0 Milvus is an open-source vector database built ...

                                                                                                                                                                                                                                    Pode escolher o caminho de atualização para o seu Milvus da seguinte forma:

                                                                                                                                                                                                                                    -
                                                                                                                                                                                                                                    - [Conduzir uma atualização contínua](#conduct-a-rolling-upgrade) do Milvus v2.2.3 e versões posteriores para a v2.4.15.
                                                                                                                                                                                                                                    +
                                                                                                                                                                                                                                    - [Conduzir uma atualização contínua](#conduct-a-rolling-upgrade) do Milvus v2.2.3 e versões posteriores para a v2.4.17.

                                                                                                                                                                                                                                    Realizar uma atualização contínua

                                                                                                                                                                                                                                      @@ -152,7 +174,7 @@ zilliztech/milvus 4.1.0 2.3.0 Milvus is an ope

                                                                                                                                                                                                                                      Para atualizar o Milvus de uma versão menor antes da v2.2.3 para a mais recente, execute os seguintes comandos:

                                                                                                                                                                                                                                      helm repo update
                                                                                                                                                                                                                                      -helm upgrade my-release milvus/milvus --reuse-values --version=4.1.24 # use the helm chart version here
                                                                                                                                                                                                                                      +helm upgrade my-release milvus/milvus --reset-then-reuse-values --version=4.1.24 # use the helm chart version here
                                                                                                                                                                                                                                       

                                                                                                                                                                                                                                      Use a versão do Helm chart no comando anterior. Para obter detalhes sobre como obter a versão do Helm chart, consulte Verificar a versão do Milvus.

                                                                                                                                                                                                                                      Migrar os metadados

                                                                                                                                                                                                                                    4. Migrar os metadados

                                                                                                                                                                                                                                    Uma grande mudança no Milvus 2.2 é a estrutura de metadados dos índices de segmento. Por conseguinte, é necessário utilizar o Helm para migrar os metadados durante a atualização do Milvus da v2.1.x para a v2.2.0. Eis um script para migrar os metadados em segurança.

                                                                                                                                                                                                                                    -

                                                                                                                                                                                                                                    Este script só se aplica ao Milvus instalado em um cluster K8s. Se ocorrer um erro durante o processo, reverta primeiro para a versão anterior com a operação de reversão.

                                                                                                                                                                                                                                    +

                                                                                                                                                                                                                                    Este script se aplica apenas ao Milvus instalado em um cluster K8s. Se ocorrer um erro durante o processo, reverta primeiro para a versão anterior com a operação de reversão.

                                                                                                                                                                                                                                    A tabela seguinte lista as operações que pode efetuar para a meta-migração.

                                                                                                                                                                                                                                    @@ -209,29 +231,29 @@ my-release-minio-744dd9586f-qngzv 1/1 Running 0 84s

                                                                                                                                                                                                                                    1. Migrar os metadados

                                                                                                                                                                                                                                    1. Descarregar o script de migração.
                                                                                                                                                                                                                                    2. Parar os componentes do Milvus. Qualquer sessão em direto no Milvus etcd pode causar uma falha na migração.
                                                                                                                                                                                                                                    3. -
                                                                                                                                                                                                                                    4. Crie uma cópia de segurança dos metadados do Milvus.
                                                                                                                                                                                                                                    5. +
                                                                                                                                                                                                                                    6. Crie uma cópia de segurança para os metadados do Milvus.
                                                                                                                                                                                                                                    7. Migrar os metadados do Milvus.
                                                                                                                                                                                                                                    8. Inicie os componentes do Milvus com uma nova imagem.
                                                                                                                                                                                                                                    -

                                                                                                                                                                                                                                    2. Atualizar o Milvus da v2.1.x para a 2.4.15

                                                                                                                                                                                                                                    Os comandos a seguir assumem que você atualizou o Milvus da v2.1.4 para a 2.4.15. Altere-os para as versões que atendam às suas necessidades.

                                                                                                                                                                                                                                    +

                                                                                                                                                                                                                                    2. Atualizar o Milvus da v2.1.x para a 2.4.17

                                                                                                                                                                                                                                    Os comandos a seguir assumem que você atualizou o Milvus da v2.1.4 para a 2.4.17. Altere-os para as versões que atendam às suas necessidades.

                                                                                                                                                                                                                                      -
                                                                                                                                                                                                                                    1. Especifique o nome da instância do Milvus, a versão de origem do Milvus e a versão de destino do Milvus.

                                                                                                                                                                                                                                      -
                                                                                                                                                                                                                                      ./migrate.sh -i my-release -s 2.1.4 -t 2.4.15
                                                                                                                                                                                                                                      +
                                                                                                                                                                                                                                    2. Especifique o nome da instância do Milvus, a versão do Milvus de origem e a versão do Milvus de destino.

                                                                                                                                                                                                                                      +
                                                                                                                                                                                                                                      ./migrate.sh -i my-release -s 2.1.4 -t 2.4.17
                                                                                                                                                                                                                                       
                                                                                                                                                                                                                                    3. Especifique o espaço de nomes com -n se o seu Milvus não estiver instalado no espaço de nomes K8s predefinido.

                                                                                                                                                                                                                                      -
                                                                                                                                                                                                                                      ./migrate.sh -i my-release -n milvus -s 2.1.4 -t 2.4.15
                                                                                                                                                                                                                                      +
                                                                                                                                                                                                                                      ./migrate.sh -i my-release -n milvus -s 2.1.4 -t 2.4.17
                                                                                                                                                                                                                                       
                                                                                                                                                                                                                                    4. Especifique o caminho da raiz com -r se o seu Milvus estiver instalado com o rootpath personalizado.

                                                                                                                                                                                                                                      -
                                                                                                                                                                                                                                      ./migrate.sh -i my-release -n milvus -s 2.1.4 -t 2.4.15 -r by-dev
                                                                                                                                                                                                                                      +
                                                                                                                                                                                                                                      ./migrate.sh -i my-release -n milvus -s 2.1.4 -t 2.4.17 -r by-dev
                                                                                                                                                                                                                                       
                                                                                                                                                                                                                                    5. Especifique a tag de imagem com -w se o seu Milvus estiver instalado com um image personalizado.

                                                                                                                                                                                                                                      -
                                                                                                                                                                                                                                      ./migrate.sh -i my-release -n milvus -s 2.1.4 -t 2.4.15 -r by-dev -w milvusdb/milvus:v2.4.15
                                                                                                                                                                                                                                      +
                                                                                                                                                                                                                                      ./migrate.sh -i my-release -n milvus -s 2.1.4 -t 2.4.17 -r by-dev -w milvusdb/milvus:v2.4.17
                                                                                                                                                                                                                                       
                                                                                                                                                                                                                                    6. Defina -d true se pretender remover automaticamente o pod de migração após a conclusão da migração.

                                                                                                                                                                                                                                      -
                                                                                                                                                                                                                                      ./migrate.sh -i my-release -n milvus -s 2.1.4 -t 2.4.15 -w milvusdb/milvus:v2.4.15 -d true
                                                                                                                                                                                                                                      +
                                                                                                                                                                                                                                      ./migrate.sh -i my-release -n milvus -s 2.1.4 -t 2.4.17 -w milvusdb/milvus:v2.4.17 -d true
                                                                                                                                                                                                                                       
                                                                                                                                                                                                                                    7. Reverter e migrar novamente se a migração falhar.

                                                                                                                                                                                                                                      -
                                                                                                                                                                                                                                      ./migrate.sh -i my-release -n milvus -s 2.1.4 -t 2.4.15 -r by-dev -o rollback -w milvusdb/milvus:v2.1.1
                                                                                                                                                                                                                                      -./migrate.sh -i my-release -n milvus -s 2.1.4 -t 2.4.15 -r by-dev -o migrate -w milvusdb/milvus:v2.4.15
                                                                                                                                                                                                                                      +
                                                                                                                                                                                                                                      ./migrate.sh -i my-release -n milvus -s 2.1.4 -t 2.4.17 -r by-dev -o rollback -w milvusdb/milvus:v2.1.1
                                                                                                                                                                                                                                      +./migrate.sh -i my-release -n milvus -s 2.1.4 -t 2.4.17 -r by-dev -o migrate -w milvusdb/milvus:v2.4.17
                                                                                                                                                                                                                                       
                                                                                                                                                                                                                                    diff --git a/localization/v2.4.x/site/pt/adminGuide/upgrade_milvus_standalone-operator.json b/localization/v2.4.x/site/pt/adminGuide/upgrade_milvus_standalone-operator.json index 4d5d937e2..ca822522c 100644 --- a/localization/v2.4.x/site/pt/adminGuide/upgrade_milvus_standalone-operator.json +++ b/localization/v2.4.x/site/pt/adminGuide/upgrade_milvus_standalone-operator.json @@ -1 +1 @@ -{"codeList":["helm repo add zilliztech-milvus-operator https://zilliztech.github.io/milvus-operator/\nhelm repo update zilliztech-milvus-operator\nhelm -n milvus-operator upgrade milvus-operator zilliztech-milvus-operator/milvus-operator\n","apiVersion: milvus.io/v1beta1\nkind: Milvus\nmetadata:\n name: my-release\nspec:\n components:\n enableRollingUpdate: true\n imageUpdateMode: rollingUpgrade # Default value, can be omitted\n image: milvusdb/milvus:v2.4.15\n","apiVersion: milvus.io/v1beta1\nkind: Milvus\nmetadata:\n name: my-release\nspec:\n components:\n enableRollingUpdate: true\n imageUpdateMode: all\n image: milvusdb/milvus:v2.4.15\n","apiVersion: milvus.io/v1beta1\nkind: Milvus\nmetadata:\n name: my-release\nspec:\n components:\n enableRollingUpdate: true\n imageUpdateMode: rollingDowngrade\n image: milvusdb/milvus:\n","kubectl apply -f milvusupgrade.yml\n","apiVersion: milvus.io/v1beta1\nkind: Milvus\nmetadata:\n name: my-release\nlabels:\n app: milvus\nspec:\n # Omit other fields ...\n components:\n image: milvusdb/milvus:v2.4.15\n","kubectl apply -f milvusupgrade.yaml\n","apiVersion: milvus.io/v1beta1\nkind: MilvusUpgrade\nmetadata:\n name: my-release-upgrade\nspec:\n milvus:\n namespace: default\n name: my-release\n sourceVersion: \"v2.1.4\"\n targetVersion: \"v2.4.15\"\n # below are some omit default values:\n # targetImage: \"milvusdb/milvus:v2.4.15\"\n # toolImage: \"milvusdb/meta-migration:v2.2.0\"\n # operation: upgrade\n # rollbackIfFailed: true\n # backupPVC: \"\"\n # maxRetry: 3\n","$ kubectl apply -f https://raw.githubusercontent.com/zilliztech/milvus-operator/main/config/samples/milvusupgrade.yaml\n","kubectl describe milvus release-name\n"],"headingContent":"Upgrade Milvus Standalone with Milvus Operator","anchorList":[{"label":"Atualizar o Milvus Standalone com o Milvus Operator","href":"Upgrade-Milvus-Standalone-with-Milvus-Operator","type":1,"isActive":false},{"label":"Atualizar o seu Milvus Operator","href":"Upgrade-your-Milvus-operator","type":2,"isActive":false},{"label":"Conduzir uma atualização contínua","href":"Conduct-a-rolling-upgrade","type":2,"isActive":false},{"label":"Atualizar o Milvus alterando sua imagem","href":"Upgrade-Milvus-by-changing-its-image","type":2,"isActive":false},{"label":"Migrar os metadados","href":"Migrate-the-metadata","type":2,"isActive":false}]} \ No newline at end of file +{"codeList":["helm repo add zilliztech-milvus-operator https://zilliztech.github.io/milvus-operator/\nhelm repo update zilliztech-milvus-operator\nhelm -n milvus-operator upgrade milvus-operator zilliztech-milvus-operator/milvus-operator\n","apiVersion: milvus.io/v1beta1\nkind: Milvus\nmetadata:\n name: my-release\nspec:\n components:\n enableRollingUpdate: true\n imageUpdateMode: rollingUpgrade # Default value, can be omitted\n image: milvusdb/milvus:v2.4.17\n","apiVersion: milvus.io/v1beta1\nkind: Milvus\nmetadata:\n name: my-release\nspec:\n components:\n enableRollingUpdate: true\n imageUpdateMode: all\n image: milvusdb/milvus:v2.4.17\n","apiVersion: milvus.io/v1beta1\nkind: Milvus\nmetadata:\n name: my-release\nspec:\n components:\n enableRollingUpdate: true\n imageUpdateMode: rollingDowngrade\n image: milvusdb/milvus:\n","kubectl patch -f milvusupgrade.yml\n","apiVersion: milvus.io/v1beta1\nkind: Milvus\nmetadata:\n name: my-release\nlabels:\n app: milvus\nspec:\n # Omit other fields ...\n components:\n image: milvusdb/milvus:v2.4.17\n","kubectl patch -f milvusupgrade.yaml\n","apiVersion: milvus.io/v1beta1\nkind: MilvusUpgrade\nmetadata:\n name: my-release-upgrade\nspec:\n milvus:\n namespace: default\n name: my-release\n sourceVersion: \"v2.1.4\"\n targetVersion: \"v2.4.17\"\n # below are some omit default values:\n # targetImage: \"milvusdb/milvus:v2.4.17\"\n # toolImage: \"milvusdb/meta-migration:v2.2.0\"\n # operation: upgrade\n # rollbackIfFailed: true\n # backupPVC: \"\"\n # maxRetry: 3\n","$ kubectl create -f https://raw.githubusercontent.com/zilliztech/milvus-operator/main/config/samples/milvusupgrade.yaml\n","kubectl describe milvus release-name\n"],"headingContent":"Upgrade Milvus Standalone with Milvus Operator","anchorList":[{"label":"Atualizar o Milvus Standalone com o Milvus Operator","href":"Upgrade-Milvus-Standalone-with-Milvus-Operator","type":1,"isActive":false},{"label":"Atualize seu Milvus Operator","href":"Upgrade-your-Milvus-operator","type":2,"isActive":false},{"label":"Realizar uma atualização contínua","href":"Conduct-a-rolling-upgrade","type":2,"isActive":false},{"label":"Atualizar o Milvus alterando sua imagem","href":"Upgrade-Milvus-by-changing-its-image","type":2,"isActive":false},{"label":"Migrar os metadados","href":"Migrate-the-metadata","type":2,"isActive":false}]} \ No newline at end of file diff --git a/localization/v2.4.x/site/pt/adminGuide/upgrade_milvus_standalone-operator.md b/localization/v2.4.x/site/pt/adminGuide/upgrade_milvus_standalone-operator.md index abb73f588..8382daf4a 100644 --- a/localization/v2.4.x/site/pt/adminGuide/upgrade_milvus_standalone-operator.md +++ b/localization/v2.4.x/site/pt/adminGuide/upgrade_milvus_standalone-operator.md @@ -24,7 +24,7 @@ title: Atualizar o Milvus Standalone com o Milvus Operator >

                                                                                                                                                                                                                                    Este guia descreve como atualizar o seu Milvus standalone com o Milvus Operator.

                                                                                                                                                                                                                                    -

                                                                                                                                                                                                                                    Atualizar o seu Milvus Operator

                                                                                                                                                                                                                                    Depois de ter atualizado o seu Milvus operator para a versão mais recente, tem as seguintes opções:

                                                                                                                                                                                                                                    -

                                                                                                                                                                                                                                    Conduzir uma atualização contínua

                                                                                                                                                                                                                                    Neste ficheiro de configuração acima, defina spec.components.enableRollingUpdate para true e defina spec.components.image para a versão desejada do Milvus.

                                                                                                                                                                                                                                    Por predefinição, o Milvus efectua uma atualização contínua para os coordenadores de forma ordenada, substituindo as imagens do pod do coordenador uma após a outra. Para reduzir o tempo de atualização, considere definir spec.components.imageUpdateMode como all para que o Milvus substitua todas as imagens de pod ao mesmo tempo.

                                                                                                                                                                                                                                    @@ -88,7 +88,7 @@ spec: components: enableRollingUpdate: true imageUpdateMode: all - image: milvusdb/milvus:v2.4.15 + image: milvusdb/milvus:v2.4.17

                                                                                                                                                                                                                                    Você pode definir spec.components.imageUpdateMode como rollingDowngrade para que o Milvus substitua as imagens do pod coordenador por uma versão inferior.

                                                                                                                                                                                                                                    apiVersion: milvus.io/v1beta1
                                                                                                                                                                                                                                    @@ -101,8 +101,8 @@ spec:
                                                                                                                                                                                                                                         imageUpdateMode: rollingDowngrade
                                                                                                                                                                                                                                         image: milvusdb/milvus:<some-older-version>
                                                                                                                                                                                                                                     
                                                                                                                                                                                                                                    -

                                                                                                                                                                                                                                    Em seguida, salve sua configuração como um arquivo YAML (por exemplo, milvusupgrade.yml) e aplique esse arquivo de configuração à sua instância do Milvus da seguinte maneira:

                                                                                                                                                                                                                                    -
                                                                                                                                                                                                                                    kubectl apply -f milvusupgrade.yml
                                                                                                                                                                                                                                    +

                                                                                                                                                                                                                                    Em seguida, salve sua configuração como um arquivo YAML (por exemplo, milvusupgrade.yml) e faça o patch desse arquivo de configuração para sua instância do Milvus da seguinte forma:

                                                                                                                                                                                                                                    +
                                                                                                                                                                                                                                    kubectl patch -f milvusupgrade.yml
                                                                                                                                                                                                                                     

                                                                                                                                                                                                                                    Atualizar o Milvus alterando sua imagem

                                                                                                                                                                                                                                    Em seguida, execute o seguinte para realizar a atualização:

                                                                                                                                                                                                                                    -
                                                                                                                                                                                                                                    kubectl apply -f milvusupgrade.yaml
                                                                                                                                                                                                                                    +
                                                                                                                                                                                                                                    kubectl patch -f milvusupgrade.yaml
                                                                                                                                                                                                                                     

                                                                                                                                                                                                                                    Migrar os metadados

                                                                                                                                                                                                                                    Desde o Milvus 2.2.0, os metadados são incompatíveis com os das versões anteriores. Os seguintes exemplos pressupõem uma atualização do Milvus 2.1.4 para o Milvus v2.4.15.

                                                                                                                                                                                                                                    -

                                                                                                                                                                                                                                    1. Criar um ficheiro .yaml para migração de metadados

                                                                                                                                                                                                                                    Crie um ficheiro de migração de metadados. Segue-se um exemplo. É necessário especificar name, sourceVersion e targetVersion no ficheiro de configuração. O exemplo seguinte define name para my-release-upgrade, sourceVersion para v2.1.4, e targetVersion para v2.4.15. Isto significa que a sua instância Milvus será actualizada da v2.1.4 para a v2.4.15.

                                                                                                                                                                                                                                    +

                                                                                                                                                                                                                                    Desde o Milvus 2.2.0, os metadados são incompatíveis com os das versões anteriores. Os seguintes exemplos pressupõem uma atualização do Milvus 2.1.4 para o Milvus v2.4.17.

                                                                                                                                                                                                                                    +

                                                                                                                                                                                                                                    1. Criar um ficheiro .yaml para migração de metadados

                                                                                                                                                                                                                                    Crie um ficheiro de migração de metadados. Segue-se um exemplo. É necessário especificar name, sourceVersion e targetVersion no ficheiro de configuração. O exemplo seguinte define name para my-release-upgrade, sourceVersion para v2.1.4, e targetVersion para v2.4.17. Isto significa que a sua instância Milvus será actualizada da v2.1.4 para a v2.4.17.

                                                                                                                                                                                                                                    apiVersion: milvus.io/v1beta1
                                                                                                                                                                                                                                     kind: MilvusUpgrade
                                                                                                                                                                                                                                     metadata:
                                                                                                                                                                                                                                    @@ -161,9 +161,9 @@ spec:
                                                                                                                                                                                                                                         namespace: default
                                                                                                                                                                                                                                         name: my-release
                                                                                                                                                                                                                                       sourceVersion: "v2.1.4"
                                                                                                                                                                                                                                    -  targetVersion: "v2.4.15"
                                                                                                                                                                                                                                    +  targetVersion: "v2.4.17"
                                                                                                                                                                                                                                       # below are some omit default values:
                                                                                                                                                                                                                                    -  # targetImage: "milvusdb/milvus:v2.4.15"
                                                                                                                                                                                                                                    +  # targetImage: "milvusdb/milvus:v2.4.17"
                                                                                                                                                                                                                                       # toolImage: "milvusdb/meta-migration:v2.2.0"
                                                                                                                                                                                                                                       # operation: upgrade
                                                                                                                                                                                                                                       # rollbackIfFailed: true
                                                                                                                                                                                                                                    @@ -171,7 +171,7 @@ spec:
                                                                                                                                                                                                                                       # maxRetry: 3
                                                                                                                                                                                                                                     

                                                                                                                                                                                                                                    2. Aplicar a nova configuração

                                                                                                                                                                                                                                    Execute o seguinte comando para aplicar a nova configuração.

                                                                                                                                                                                                                                    -
                                                                                                                                                                                                                                    $ kubectl apply -f https://raw.githubusercontent.com/zilliztech/milvus-operator/main/config/samples/milvusupgrade.yaml
                                                                                                                                                                                                                                    +
                                                                                                                                                                                                                                    $ kubectl create -f https://raw.githubusercontent.com/zilliztech/milvus-operator/main/config/samples/milvusupgrade.yaml
                                                                                                                                                                                                                                     

                                                                                                                                                                                                                                    3. Verificar o estado da migração de metadados

                                                                                                                                                                                                                                    Execute o seguinte comando para verificar o estado da migração de metadados.

                                                                                                                                                                                                                                    kubectl describe milvus release-name
                                                                                                                                                                                                                                    diff --git a/localization/v2.4.x/site/pt/getstarted/run-milvus-docker/install_standalone-docker-compose.json b/localization/v2.4.x/site/pt/getstarted/run-milvus-docker/install_standalone-docker-compose.json
                                                                                                                                                                                                                                    index 7448b5703..1fc5d63ce 100644
                                                                                                                                                                                                                                    --- a/localization/v2.4.x/site/pt/getstarted/run-milvus-docker/install_standalone-docker-compose.json
                                                                                                                                                                                                                                    +++ b/localization/v2.4.x/site/pt/getstarted/run-milvus-docker/install_standalone-docker-compose.json
                                                                                                                                                                                                                                    @@ -1 +1 @@
                                                                                                                                                                                                                                    -{"codeList":["# Download the configuration file\n$ wget https://github.com/milvus-io/milvus/releases/download/v2.4.15/milvus-standalone-docker-compose.yml -O docker-compose.yml\n\n# Start Milvus\n$ sudo docker-compose up -d\n\nCreating milvus-etcd  ... done\nCreating milvus-minio ... done\nCreating milvus-standalone ... done\n","$ sudo docker-compose ps\n\n      Name                     Command                  State                            Ports\n--------------------------------------------------------------------------------------------------------------------\nmilvus-etcd         etcd -advertise-client-url ...   Up             2379/tcp, 2380/tcp\nmilvus-minio        /usr/bin/docker-entrypoint ...   Up (healthy)   9000/tcp\nmilvus-standalone   /tini -- milvus run standalone   Up             0.0.0.0:19530->19530/tcp, 0.0.0.0:9091->9091/tcp\n","# Stop Milvus\n$ sudo docker-compose down\n\n# Delete service data\n$ sudo rm -rf volumes\n"],"headingContent":"Run Milvus with Docker Compose","anchorList":[{"label":"Executar o Milvus com o Docker Compose","href":"Run-Milvus-with-Docker-Compose","type":1,"isActive":false},{"label":"Pré-requisitos","href":"Prerequisites","type":2,"isActive":false},{"label":"Instalar o Milvus","href":"Install-Milvus","type":2,"isActive":false},{"label":"O que se segue","href":"Whats-next","type":2,"isActive":false}]}
                                                                                                                                                                                                                                    \ No newline at end of file
                                                                                                                                                                                                                                    +{"codeList":["# Download the configuration file\n$ wget https://github.com/milvus-io/milvus/releases/download/v2.4.17/milvus-standalone-docker-compose.yml -O docker-compose.yml\n\n# Start Milvus\n$ sudo docker-compose up -d\n\nCreating milvus-etcd  ... done\nCreating milvus-minio ... done\nCreating milvus-standalone ... done\n","$ sudo docker-compose ps\n\n      Name                     Command                  State                            Ports\n--------------------------------------------------------------------------------------------------------------------\nmilvus-etcd         etcd -advertise-client-url ...   Up             2379/tcp, 2380/tcp\nmilvus-minio        /usr/bin/docker-entrypoint ...   Up (healthy)   9000/tcp\nmilvus-standalone   /tini -- milvus run standalone   Up             0.0.0.0:19530->19530/tcp, 0.0.0.0:9091->9091/tcp\n","# Stop Milvus\n$ sudo docker-compose down\n\n# Delete service data\n$ sudo rm -rf volumes\n"],"headingContent":"Run Milvus with Docker Compose","anchorList":[{"label":"Executar o Milvus com o Docker Compose","href":"Run-Milvus-with-Docker-Compose","type":1,"isActive":false},{"label":"Pré-requisitos","href":"Prerequisites","type":2,"isActive":false},{"label":"Instalar o Milvus","href":"Install-Milvus","type":2,"isActive":false},{"label":"O que se segue","href":"Whats-next","type":2,"isActive":false}]}
                                                                                                                                                                                                                                    \ No newline at end of file
                                                                                                                                                                                                                                    diff --git a/localization/v2.4.x/site/pt/getstarted/run-milvus-docker/install_standalone-docker-compose.md b/localization/v2.4.x/site/pt/getstarted/run-milvus-docker/install_standalone-docker-compose.md
                                                                                                                                                                                                                                    index e6a964bc3..1b8e14b62 100644
                                                                                                                                                                                                                                    --- a/localization/v2.4.x/site/pt/getstarted/run-milvus-docker/install_standalone-docker-compose.md
                                                                                                                                                                                                                                    +++ b/localization/v2.4.x/site/pt/getstarted/run-milvus-docker/install_standalone-docker-compose.md
                                                                                                                                                                                                                                    @@ -57,7 +57,7 @@ title: Executar o Milvus com o Docker Compose
                                                                                                                                                                                                                                           
                                                                                                                                                                                                                                         

                                                                                                                                                                                                                                    O Milvus fornece um arquivo de configuração do Docker Compose no repositório do Milvus. Para instalar o Milvus usando o Docker Compose, basta executar

                                                                                                                                                                                                                                    # Download the configuration file
                                                                                                                                                                                                                                    -$ wget https://github.com/milvus-io/milvus/releases/download/v2.4.15/milvus-standalone-docker-compose.yml -O docker-compose.yml
                                                                                                                                                                                                                                    +$ wget https://github.com/milvus-io/milvus/releases/download/v2.4.17/milvus-standalone-docker-compose.yml -O docker-compose.yml
                                                                                                                                                                                                                                     
                                                                                                                                                                                                                                     # Start Milvus
                                                                                                                                                                                                                                     $ sudo docker-compose up -d
                                                                                                                                                                                                                                    @@ -124,8 +124,8 @@ $ sudo rm
                                                                                                                                                                                                                                     
                                                                                                                                                                                                                                  • Pesquisa híbrida
                                                                                                                                                                                                                                  • Atualizar o Milvus usando o Helm Chart.

                                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                                  • Escalar seu cluster Milvus.

                                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                                  • Implante seu cluster Milvus em nuvens:

                                                                                                                                                                                                                                    +
                                                                                                                                                                                                                                  • Escalar o cluster do Milvus.

                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                  • Implantar seu cluster Milvus em nuvens:

                                                                                                                                                                                                                                    • Amazon EKS
                                                                                                                                                                                                                                    • Google Cloud
                                                                                                                                                                                                                                    • diff --git a/localization/v2.4.x/site/pt/getstarted/run-milvus-gpu/install_standalone-docker-compose-gpu.json b/localization/v2.4.x/site/pt/getstarted/run-milvus-gpu/install_standalone-docker-compose-gpu.json index bdbec91cf..80d426413 100644 --- a/localization/v2.4.x/site/pt/getstarted/run-milvus-gpu/install_standalone-docker-compose-gpu.json +++ b/localization/v2.4.x/site/pt/getstarted/run-milvus-gpu/install_standalone-docker-compose-gpu.json @@ -1 +1 @@ -{"codeList":["$ wget https://github.com/milvus-io/milvus/releases/download/v2.4.15/milvus-standalone-docker-compose-gpu.yml -O docker-compose.yml\n","...\nstandalone:\n ...\n deploy:\n resources:\n reservations:\n devices:\n - driver: nvidia\n capabilities: [\"gpu\"]\n device_ids: [\"0\"]\n...\n","...\nstandalone:\n ...\n deploy:\n resources:\n reservations:\n devices:\n - driver: nvidia\n capabilities: [\"gpu\"]\n device_ids: ['0', '1']\n...\n","$ sudo docker compose up -d\n\nCreating milvus-etcd ... done\nCreating milvus-minio ... done\nCreating milvus-standalone ... done\n","$ sudo docker compose ps\n\n Name Command State Ports\n--------------------------------------------------------------------------------------------------------------------\nmilvus-etcd etcd -advertise-client-url ... Up 2379/tcp, 2380/tcp\nmilvus-minio /usr/bin/docker-entrypoint ... Up (healthy) 9000/tcp\nmilvus-standalone /tini -- milvus run standalone Up 0.0.0.0:19530->19530/tcp, 0.0.0.0:9091->9091/tcp\n","$ CUDA_VISIBLE_DEVICES=0 ./milvus run standalone\n","$ CUDA_VISIBLE_DEVICES=0,1 ./milvus run standalone\n","# Stop Milvus\n$ sudo docker compose down\n\n# Delete service data\n$ sudo rm -rf volumes\n","docker cp :/milvus/configs/milvus.yaml milvus.yaml\n","vim milvus.yaml\n","...\ngpu:\n initMemSize: 0\n maxMemSize: 0\n...\n","docker cp milvus.yaml :/milvus/configs/milvus.yaml\n","docker stop \ndocker start \n"],"headingContent":"Run Milvus with GPU Support Using Docker Compose","anchorList":[{"label":"Executar o Milvus com suporte a GPU usando o Docker Compose","href":"Run-Milvus-with-GPU-Support-Using-Docker-Compose","type":1,"isActive":false},{"label":"Pré-requisitos","href":"Prerequisites","type":2,"isActive":false},{"label":"Instalar o Milvus","href":"Install-Milvus","type":2,"isActive":false},{"label":"Configurar o pool de memória","href":"Configure-memory-pool","type":2,"isActive":false},{"label":"O que vem a seguir","href":"Whats-next","type":2,"isActive":false}]} \ No newline at end of file +{"codeList":["$ wget https://github.com/milvus-io/milvus/releases/download/v2.4.17/milvus-standalone-docker-compose-gpu.yml -O docker-compose.yml\n","...\nstandalone:\n ...\n deploy:\n resources:\n reservations:\n devices:\n - driver: nvidia\n capabilities: [\"gpu\"]\n device_ids: [\"0\"]\n...\n","...\nstandalone:\n ...\n deploy:\n resources:\n reservations:\n devices:\n - driver: nvidia\n capabilities: [\"gpu\"]\n device_ids: ['0', '1']\n...\n","$ sudo docker compose up -d\n\nCreating milvus-etcd ... done\nCreating milvus-minio ... done\nCreating milvus-standalone ... done\n","$ sudo docker compose ps\n\n Name Command State Ports\n--------------------------------------------------------------------------------------------------------------------\nmilvus-etcd etcd -advertise-client-url ... Up 2379/tcp, 2380/tcp\nmilvus-minio /usr/bin/docker-entrypoint ... Up (healthy) 9000/tcp\nmilvus-standalone /tini -- milvus run standalone Up 0.0.0.0:19530->19530/tcp, 0.0.0.0:9091->9091/tcp\n","$ CUDA_VISIBLE_DEVICES=0 ./milvus run standalone\n","$ CUDA_VISIBLE_DEVICES=0,1 ./milvus run standalone\n","# Stop Milvus\n$ sudo docker compose down\n\n# Delete service data\n$ sudo rm -rf volumes\n","docker cp :/milvus/configs/milvus.yaml milvus.yaml\n","vim milvus.yaml\n","...\ngpu:\n initMemSize: 0\n maxMemSize: 0\n...\n","docker cp milvus.yaml :/milvus/configs/milvus.yaml\n","docker stop \ndocker start \n"],"headingContent":"Run Milvus with GPU Support Using Docker Compose","anchorList":[{"label":"Executar o Milvus com suporte a GPU usando o Docker Compose","href":"Run-Milvus-with-GPU-Support-Using-Docker-Compose","type":1,"isActive":false},{"label":"Pré-requisitos","href":"Prerequisites","type":2,"isActive":false},{"label":"Instalar o Milvus","href":"Install-Milvus","type":2,"isActive":false},{"label":"Configurar o pool de memória","href":"Configure-memory-pool","type":2,"isActive":false},{"label":"O que vem a seguir","href":"Whats-next","type":2,"isActive":false}]} \ No newline at end of file diff --git a/localization/v2.4.x/site/pt/getstarted/run-milvus-gpu/install_standalone-docker-compose-gpu.md b/localization/v2.4.x/site/pt/getstarted/run-milvus-gpu/install_standalone-docker-compose-gpu.md index b39f12b2b..34e92fc78 100644 --- a/localization/v2.4.x/site/pt/getstarted/run-milvus-gpu/install_standalone-docker-compose-gpu.md +++ b/localization/v2.4.x/site/pt/getstarted/run-milvus-gpu/install_standalone-docker-compose-gpu.md @@ -59,8 +59,8 @@ title: Executar o Milvus com suporte a GPU usando o Docker Compose >

                                                                                                                                                                                                                                      Para instalar o Milvus com suporte a GPU usando o Docker Compose, siga estas etapas.

                                                                                                                                                                                                                                      -

                                                                                                                                                                                                                                      1. Descarregar e configurar o ficheiro YAML

                                                                                                                                                                                                                                      Faça o download milvus-standalone-docker-compose-gpu.yml e salve-o como docker-compose.yml manualmente ou com o seguinte comando.

                                                                                                                                                                                                                                      -
                                                                                                                                                                                                                                      $ wget https://github.com/milvus-io/milvus/releases/download/v2.4.15/milvus-standalone-docker-compose-gpu.yml -O docker-compose.yml
                                                                                                                                                                                                                                      +

                                                                                                                                                                                                                                      1. Descarregar e configurar o ficheiro YAML

                                                                                                                                                                                                                                      Faça o download milvus-standalone-docker-compose-gpu.yml e salve-o como docker-compose.yml manualmente ou com o seguinte comando.

                                                                                                                                                                                                                                      +
                                                                                                                                                                                                                                      $ wget https://github.com/milvus-io/milvus/releases/download/v2.4.17/milvus-standalone-docker-compose-gpu.yml -O docker-compose.yml
                                                                                                                                                                                                                                       

                                                                                                                                                                                                                                      É necessário fazer algumas alterações nas variáveis de ambiente do serviço autónomo no ficheiro YAML, como se segue:

                                                                                                                                                                                                                                        @@ -120,7 +120,7 @@ milvus-minio /usr/bin/docker-entrypoint ... Up (healthy) 9000/tcp milvus-standalone /tini -- milvus run standalone Up 0.0.0.0:19530->19530/tcp, 0.0.0.0:9091->9091/tcp

                                                                                                                                                                                                                                      Se tiver atribuído vários dispositivos GPU ao Milvus em docker-compose.yml, pode especificar qual o dispositivo GPU que está visível ou disponível para utilização.

                                                                                                                                                                                                                                      -

                                                                                                                                                                                                                                      Tornar o dispositivo de GPU 0 visível para o Milvus:

                                                                                                                                                                                                                                      +

                                                                                                                                                                                                                                      Torne o dispositivo de GPU 0 visível para o Milvus:

                                                                                                                                                                                                                                      $ CUDA_VISIBLE_DEVICES=0 ./milvus run standalone
                                                                                                                                                                                                                                       

                                                                                                                                                                                                                                      Tornar os dispositivos de GPU 0 e 1 visíveis para o Milvus:

                                                                                                                                                                                                                                      @@ -148,7 +148,7 @@ $ sudo rm d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z" > -

                                                                                                                                                                                                                                      Depois de o Milvus estar em funcionamento, pode personalizar a reserva de memória modificando as definições initMemSize e maxMemSize no ficheiro milvus.yaml.

                                                                                                                                                                                                                                      +

                                                                                                                                                                                                                                      Depois de o Milvus estar a funcionar, pode personalizar a reserva de memória modificando as definições initMemSize e maxMemSize no ficheiro milvus.yaml.

                                                                                                                                                                                                                                      O ficheiro milvus.yaml está localizado no diretório /milvus/configs/ dentro do contentor do Milvus.

                                                                                                                                                                                                                                      diff --git a/localization/v2.4.x/site/pt/reference/index.md b/localization/v2.4.x/site/pt/reference/index.md index 50e32bfa1..4b46302fc 100644 --- a/localization/v2.4.x/site/pt/reference/index.md +++ b/localization/v2.4.x/site/pt/reference/index.md @@ -56,15 +56,15 @@ Atualmente, um campo vetorial apenas suporta um tipo de índice. O Milvus elimin d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z" > -

                                                                                                                                                                                                                                      O Milvus suporta vários tipos de índices, que são categorizados pelo tipo de incorporação que manipulam: ponto flutuante, binário e esparso.

                                                                                                                                                                                                                                      +

                                                                                                                                                                                                                                      O Milvus suporta vários tipos de índices, que são categorizados pelo tipo de incorporação de vectores que tratam: incorporação de vírgula flutuante (também conhecida como vectores de vírgula flutuante ou vectores densos), incorporação binária (também conhecida como vectores binários) e incorporação esparsa (também conhecida como vectores esparsos).

                                                                                                                                                                                                                                      + Incorporações de vírgula flutuante Incorporações binárias Incorporações esparsas
                                                                                                                                                                                                                                      -

                                                                                                                                                                                                                                      Índices para embeddings de vírgula flutuante

                                                                                                                                                                                                                                      Para as incorporações de vírgula flutuante de 128 dimensões, o armazenamento que ocupam é 128 * o tamanho da vírgula flutuante = 512 bytes. E as métricas de distância utilizadas para as incorporações de vírgula flutuante são a distância euclidiana (L2) e o produto interno (IP).

                                                                                                                                                                                                                                      +

                                                                                                                                                                                                                                      Índices para incorporações de vírgula flutuante

                                                                                                                                                                                                                                      Para as incorporações de vírgula flutuante de 128 dimensões (vectores), o armazenamento que ocupam é 128 * o tamanho da vírgula flutuante = 512 bytes. E as métricas de distância utilizadas para as incorporações de vírgula flutuante são a distância euclidiana (L2) e o produto interno (IP).

                                                                                                                                                                                                                                      Estes tipos de índices incluem FLAT, IVF_FLAT, IVF_PQ, IVF_SQ8, HNSW, e SCANN para pesquisas ANN baseadas em CPU.

                                                                                                                                                                                                                                      -

                                                                                                                                                                                                                                      Índices para incrustações binárias

                                                                                                                                                                                                                                      Para as incorporações binárias de 128 dimensões, o armazenamento que ocupam é de 128 / 8 = 16 bytes. E as métricas de distância utilizadas para as incorporações binárias são JACCARD e HAMMING.

                                                                                                                                                                                                                                      +

                                                                                                                                                                                                                                      Índices para incrustações binárias

                                                                                                                                                                                                                                      Para as incorporações binárias de 128 dimensões, o armazenamento que ocupam é de 128 / 8 = 16 bytes. E as métricas de distância utilizadas para as incrustações binárias são JACCARD e HAMMING.

                                                                                                                                                                                                                                      Este tipo de índices inclui BIN_FLAT e BIN_IVF_FLAT.

                                                                                                                                                                                                                                      diff --git a/localization/v2.4.x/site/pt/reference/metric.json b/localization/v2.4.x/site/pt/reference/metric.json index eaeb953fc..70b9fabd1 100644 --- a/localization/v2.4.x/site/pt/reference/metric.json +++ b/localization/v2.4.x/site/pt/reference/metric.json @@ -1 +1 @@ -{"codeList":[],"headingContent":"","anchorList":[{"label":"Métricas de similaridade","href":"Similarity-Metrics","type":1,"isActive":false},{"label":"PERGUNTAS FREQUENTES","href":"FAQ","type":2,"isActive":false},{"label":"O que vem a seguir","href":"Whats-next","type":2,"isActive":false}]} \ No newline at end of file +{"codeList":[],"headingContent":"Similarity Metrics","anchorList":[{"label":"Métricas de similaridade","href":"Similarity-Metrics","type":1,"isActive":false},{"label":"PERGUNTAS FREQUENTES","href":"FAQ","type":2,"isActive":false},{"label":"O que vem a seguir","href":"Whats-next","type":2,"isActive":false}]} \ No newline at end of file diff --git a/localization/v2.4.x/site/pt/reference/metric.md b/localization/v2.4.x/site/pt/reference/metric.md index 22855287a..ab922d79d 100644 --- a/localization/v2.4.x/site/pt/reference/metric.md +++ b/localization/v2.4.x/site/pt/reference/metric.md @@ -21,9 +21,9 @@ title: Métricas de similaridade >

                                                                                                                                                                                                                                      No Milvus, as métricas de semelhança são utilizadas para medir as semelhanças entre vectores. A escolha de uma boa métrica de distância ajuda a melhorar significativamente o desempenho da classificação e do agrupamento.

                                                                                                                                                                                                                                      -

                                                                                                                                                                                                                                      A tabela seguinte mostra como estas métricas de semelhança amplamente utilizadas se adaptam a vários formulários de dados de entrada e índices Milvus.

                                                                                                                                                                                                                                      +

                                                                                                                                                                                                                                      A tabela seguinte mostra como estas métricas de similaridade amplamente utilizadas se adaptam a várias formas de dados de entrada e índices Milvus. Atualmente, o Milvus suporta vários tipos de dados, incluindo incrustações de vírgula flutuante (frequentemente conhecidas como vectores de vírgula flutuante ou vectores densos), incrustações binárias (também conhecidas como vectores binários) e incrustações esparsas (também conhecidas como vectores esparsos).

                                                                                                                                                                                                                                      + Integrações de vírgula flutuante Integrações binárias Integrações esparsas
                                                                                                                                                                                                                                  • @@ -82,14 +82,14 @@ title: Métricas de similaridade

                                                                                                                                                                                                                                    É a métrica de distância mais comummente utilizada e é muito útil quando os dados são contínuos.

                                                                                                                                                                                                                                    O Milvus só calcula o valor antes de aplicar a raiz quadrada quando a distância euclidiana é escolhida como métrica de distância.
                                                                                                                                                                                                                                    -

                                                                                                                                                                                                                                    Produto interno (IP)

                                                                                                                                                                                                                                    A distância IP entre dois embeddings é definida da seguinte forma

                                                                                                                                                                                                                                    +

                                                                                                                                                                                                                                    Produto interno (IP)

                                                                                                                                                                                                                                    A distância IP entre duas incorporações vectoriais é definida da seguinte forma

                                                                                                                                                                                                                                    ip ip

                                                                                                                                                                                                                                    O PI é mais útil se precisar de comparar dados não normalizados ou quando se preocupa com a magnitude e o ângulo.

                                                                                                                                                                                                                                    -

                                                                                                                                                                                                                                    Se aplicar a métrica de distância IP a embeddings normalizados, o resultado será equivalente ao cálculo da semelhança de cosseno entre os embeddings.

                                                                                                                                                                                                                                    +

                                                                                                                                                                                                                                    Se aplicar a métrica de distância IP a incorporações normalizadas, o resultado será equivalente ao cálculo da semelhança de cosseno entre as incorporações.

                                                                                                                                                                                                                                    Suponha que X' é normalizado a partir da incorporação X:

                                                                                                                                                                                                                                    @@ -119,7 +119,7 @@ O Milvus só calcula o valor antes de aplicar a raiz quadrada quando a distânci Jaccard distance Distância de Jaccard

                                                                                                                                                                                                                                    -

                                                                                                                                                                                                                                    Distância de Hamming

                                                                                                                                                                                                                                    A distância de Hamming mede cadeias de dados binárias. A distância entre duas cadeias de dados de igual comprimento é o número de posições de bits em que os bits são diferentes.

                                                                                                                                                                                                                                    +

                                                                                                                                                                                                                                    Distância de Hamming

                                                                                                                                                                                                                                    A distância de Hamming mede cadeias de dados binárias. A distância entre duas cadeias de igual comprimento é o número de posições de bits em que os bits são diferentes.

                                                                                                                                                                                                                                    Por exemplo, suponha que existem duas cadeias de caracteres, 1101 1001 e 1001 1101.

                                                                                                                                                                                                                                    11011001 ⊕ 10011101 = 01000100. Como isso contém dois 1s, a distância de Hamming, d (11011001, 10011101) = 2.

                                                                                                                                                                                                                                    Similaridade Estrutural

                                                                                                                                                                                                                                    Quando uma estrutura química ocorre como parte de uma estrutura química maior, a primeira é chamada de subestrutura e a segunda é chamada de superestrutura. Por exemplo, o etanol é uma subestrutura do ácido acético, e o ácido acético é uma superestrutura do etanol.

                                                                                                                                                                                                                                    diff --git a/localization/v2.4.x/site/pt/release_notes.json b/localization/v2.4.x/site/pt/release_notes.json index 0a7467910..e63f897bc 100644 --- a/localization/v2.4.x/site/pt/release_notes.json +++ b/localization/v2.4.x/site/pt/release_notes.json @@ -1 +1 @@ -{"codeList":[],"headingContent":"Release Notes","anchorList":[{"label":"Notas de lançamento","href":"Release-Notes","type":1,"isActive":false},{"label":"v2.4.15","href":"v2415","type":2,"isActive":false},{"label":"v2.4.14","href":"v2414","type":2,"isActive":false},{"label":"v2.4.13-hotfix","href":"v2413-hotfix","type":2,"isActive":false},{"label":"[Depreciado] v2.4.13","href":"Deprecated-v2413","type":2,"isActive":false},{"label":"v2.4.12","href":"v2412","type":2,"isActive":false},{"label":"v2.4.11","href":"v2411","type":2,"isActive":false},{"label":"v2.4.10","href":"v2410","type":2,"isActive":false},{"label":"v2.4.9","href":"v249","type":2,"isActive":false},{"label":"v2.4.8","href":"v248","type":2,"isActive":false},{"label":"v2.4.6","href":"v246","type":2,"isActive":false},{"label":"v2.4.5","href":"v245","type":2,"isActive":false},{"label":"v2.4.4","href":"v244","type":2,"isActive":false},{"label":"v2.4.3","href":"v243","type":2,"isActive":false},{"label":"v2.4.1","href":"v241","type":2,"isActive":false},{"label":"v2.4.0","href":"v240","type":2,"isActive":false},{"label":"v2.4.0-rc.1","href":"v240-rc1","type":2,"isActive":false}]} \ No newline at end of file +{"codeList":[],"headingContent":"Release Notes","anchorList":[{"label":"Release Notes","href":"Release-Notes","type":1,"isActive":false},{"label":"v2.4.17","href":"v2417","type":2,"isActive":false},{"label":"v2.4.15","href":"v2415","type":2,"isActive":false},{"label":"v2.4.14","href":"v2414","type":2,"isActive":false},{"label":"v2.4.13-hotfix","href":"v2413-hotfix","type":2,"isActive":false},{"label":"[Deprecated] v2.4.13","href":"Deprecated-v2413","type":2,"isActive":false},{"label":"v2.4.12","href":"v2412","type":2,"isActive":false},{"label":"v2.4.11","href":"v2411","type":2,"isActive":false},{"label":"v2.4.10","href":"v2410","type":2,"isActive":false},{"label":"v2.4.9","href":"v249","type":2,"isActive":false},{"label":"v2.4.8","href":"v248","type":2,"isActive":false},{"label":"v2.4.6","href":"v246","type":2,"isActive":false},{"label":"v2.4.5","href":"v245","type":2,"isActive":false},{"label":"v2.4.4","href":"v244","type":2,"isActive":false},{"label":"v2.4.3","href":"v243","type":2,"isActive":false},{"label":"v2.4.1","href":"v241","type":2,"isActive":false},{"label":"v2.4.0","href":"v240","type":2,"isActive":false},{"label":"v2.4.0-rc.1","href":"v240-rc1","type":2,"isActive":false}]} \ No newline at end of file diff --git a/localization/v2.4.x/site/pt/release_notes.md b/localization/v2.4.x/site/pt/release_notes.md index 87bae9556..5a65e8d2e 100644 --- a/localization/v2.4.x/site/pt/release_notes.md +++ b/localization/v2.4.x/site/pt/release_notes.md @@ -1,9 +1,9 @@ --- id: release_notes.md summary: Notas de lançamento do Milvus -title: Notas de lançamento +title: Release Notes --- -

                                                                                                                                                                                                                                    Notas de lançamento

                                                                                                                                                                                                                                    Descubra o que há de novo no Milvus! Esta página resume as novas funcionalidades, melhorias, problemas conhecidos e correcções de erros em cada versão. Pode encontrar as notas de lançamento para cada versão lançada após a v2.4.0 nesta secção. Sugerimos que visite regularmente esta página para se informar sobre as actualizações.

                                                                                                                                                                                                                                    +

                                                                                                                                                                                                                                    Find out what’s new in Milvus! This page summarizes new features, improvements, known issues, and bug fixes in each release. You can find the release notes for each released version after v2.4.0 in this section. We suggest that you regularly visit this page to learn about updates.

                                                                                                                                                                                                                                    +

                                                                                                                                                                                                                                    v2.4.17

                                                                                                                                                                                                                                    Release Date: November 22, 2024

                                                                                                                                                                                                                                    +
                                                                                                                                                                                                                                    + + + + + + +
                                                                                                                                                                                                                                    Milvus versionPython SDK versionJava SDK versionNode.js SDK version
                                                                                                                                                                                                                                    2.4.172.4.92.4.82.4.9
                                                                                                                                                                                                                                    +

                                                                                                                                                                                                                                    Milvus 2.4.17 was a minor release aimed at critical stability enhancements. This version addressed various bugs and implemented performance optimizations to bolster system reliability.

                                                                                                                                                                                                                                    +

                                                                                                                                                                                                                                    Improvements

                                                                                                                                                                                                                                      +
                                                                                                                                                                                                                                    • Enhanced: [2.4] Prevented the generation of “null” search parameters (#37811).
                                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                                    • Enhanced: [2.4] Removed unnecessary segment clone updates in distribution (#37797) (#37833).
                                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                                    • Enhanced: [2.4] Provided secondary index criteria for filtering leaderview (#37777) (#37802).
                                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                                    • Used batch processing to speed up listing collections from meta kv (#37752).
                                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                                    • Removed collection queryable checks from health checks (#37731).
                                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                                    • [2.4] Removed segment-level tags from monitoring metrics (#37737).
                                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                                    • [2.4] Removed unnecessary cloning in setstate (#37736).
                                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                                    • Added search parameters to search requests in RESTful API (#37673).
                                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                                    • Made Milvus images with AddressSanitizer (ASAN) available (#37682).
                                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                                    • [cp24] Tidied compaction logs (#37647).
                                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                                    • [2.4] Invalidated the collection cache when releasing collections (#37628).
                                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                                    • [2.4] Added CGO call metrics for load/write APIs (#37627).
                                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                                    • Enabled node assignment policies in resource groups (#37588).
                                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                                    • Optimized describe collection and index operations (#37605).
                                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                                    • [2.4] Handled legacy proxy load fields requests (#37569).
                                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                                    • [2.4] Added context tracing for query coordination queryable checks (#37534).
                                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                                    • [2.4] Improved root coordination task scheduling policies (#37523).
                                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                                    • Refactored createindex in the RESTful API (#37237).
                                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                                    • [2.4] Used cancel labels for context-canceled storage operations (#37491).
                                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                                    • [2.4] Updated the template expression proto to improve transmission efficiency (#37485).
                                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                                    +

                                                                                                                                                                                                                                    Bug fixes

                                                                                                                                                                                                                                      +
                                                                                                                                                                                                                                    • Supported upsert with autoid=true in the RESTful API and fixed associated bugs (#37766).
                                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                                    • Ensured L0 segments were loaded to workers during channel balancing (#37758).
                                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                                    • Fixed delegator stuck in unserviceable status (#37702).
                                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                                    • [2.4] Stored default values when errkeynotfound was returned (#37705).
                                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                                    • [cp24] Changed memory check from write lock to read lock (#37526).
                                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                                    • Ensured getshardleaders retried only on retriable errors (#37687).
                                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                                    • [cp24] Corrected varchar primary key size calculations (#37619).
                                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                                    • Fixed channel balancing that could get stuck when increasing replica numbers (#37642).
                                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                                    • Addressed issues where searches returned fewer results after query node recovery (#37610).
                                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                                    • [2.4] Fixed bugs retrieving data from the wrong field for L0 segments (#37599).
                                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                                    • Recovered loading collection’s updateTS after query coordination restarts (#37580).
                                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                                    • [2.4] Added IP address validation to paramtable (#37500).
                                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                                    • Fixed search/query failures caused by segments not being loaded (#37544).
                                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                                    • Resolved watch channel issues due to timer reset misuse (#37542).
                                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                                    • Fixed subscription leaks (#37541).
                                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                                    • Resolved issues with excessively growing segments (#37540).
                                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                                    • [cp24] Corrected dropped segment metrics (#37471).
                                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                                    • Fixed repeated error codes in Milvus and Segcore (#37449).
                                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                                    • [cp24] Separated L0 and mixed trigger intervals (#37319).
                                                                                                                                                                                                                                    • +

                                                                                                                                                                                                                                    v2.4.15

                                                                                                                                                                                                                                    Data de lançamento: 5 de novembro de 2024

                                                                                                                                                                                                                                    +

                                                                                                                                                                                                                                    Release Date: November 5, 2024

                                                                                                                                                                                                                                    - +
                                                                                                                                                                                                                                    Versão do MilvusVersão do Python SDKVersão do Java SDKVersão do SDK do Node.js
                                                                                                                                                                                                                                    Milvus versionPython SDK versionJava SDK versionNode.js SDK version
                                                                                                                                                                                                                                    2.4.152.4.92.4.82.4.9
                                                                                                                                                                                                                                    -

                                                                                                                                                                                                                                    O Milvus 2.4.15 foi uma versão crítica de correção de erros centrada na melhoria da estabilidade, do desempenho e da compatibilidade do sistema. Esta versão abordou um grande problema de deadlock que poderia ocorrer durante as falhas do QueryNode e introduziu atualizações de compatibilidade para a ferramenta de backup com o recurso de banco de dados. Além disso, o Milvus 2.4.15 melhorou o desempenho e a estabilidade da eliminação através de optimizações significativas no tratamento de L0. A atualização para a versão 2.4.15 é fortemente recomendada para beneficiar destas melhorias críticas.

                                                                                                                                                                                                                                    -

                                                                                                                                                                                                                                    Correcções críticas de erros

                                                                                                                                                                                                                                      -
                                                                                                                                                                                                                                    • Resolvido um problema de deadlock se o QueryNode falhasse durante a inicialização do cliente shard(#37354).
                                                                                                                                                                                                                                    • -
                                                                                                                                                                                                                                    • Revertida a melhoria para suportar bases de dados para inserção em massa(#37421).
                                                                                                                                                                                                                                    • +

                                                                                                                                                                                                                                      Milvus 2.4.15 was a critical bug-fix release focused on enhancing system stability, performance, and compatibility. This version addressed a major deadlock issue that could occur during QueryNode crashes and introduced compatibility updates for the backup tool with the database feature. Additionally, Milvus 2.4.15 improved delete performance and stability through significant optimizations in L0 handling. Upgrading to v2.4.15 was strongly recommended to benefit from these critical enhancements.

                                                                                                                                                                                                                                      +

                                                                                                                                                                                                                                      Critical bug fixes

                                                                                                                                                                                                                                        +
                                                                                                                                                                                                                                      • Resolved a deadlock issue if the QueryNode crashed during shard client initialization (#37354).
                                                                                                                                                                                                                                      • +
                                                                                                                                                                                                                                      • Reverted the enhancement to support databases for bulk insert (#37421).
                                                                                                                                                                                                                                      -

                                                                                                                                                                                                                                      Correcções de erros

                                                                                                                                                                                                                                        -
                                                                                                                                                                                                                                      • Corrigido um erro onde certas expressões não analisavam corretamente os valores(#37342).
                                                                                                                                                                                                                                      • -
                                                                                                                                                                                                                                      • Melhorado o Proxy para tentar obter o líder do fragmento em colecções descarregadas(#37326).
                                                                                                                                                                                                                                      • -
                                                                                                                                                                                                                                      • Corrigido um problema onde o valor da métrica de contagem de linhas L0 estava sempre vazio(#37307).
                                                                                                                                                                                                                                      • -
                                                                                                                                                                                                                                      • Ignorada a marcação do tempo limite de compactação para cenários de compactação mista e L0(#37194).
                                                                                                                                                                                                                                      • -
                                                                                                                                                                                                                                      • Rectificada a lógica de contenção do OffsetOrderedArray(#37309).
                                                                                                                                                                                                                                      • -
                                                                                                                                                                                                                                      • Adicionada uma verificação de recursos ao carregar logs delta(#37263).
                                                                                                                                                                                                                                      • +

                                                                                                                                                                                                                                        Bug fixes

                                                                                                                                                                                                                                          +
                                                                                                                                                                                                                                        • Fixed a bug where certain expressions did not correctly parse values (#37342).
                                                                                                                                                                                                                                        • +
                                                                                                                                                                                                                                        • Enhanced the Proxy to retry getting the shard leader on unloaded collections (#37326).
                                                                                                                                                                                                                                        • +
                                                                                                                                                                                                                                        • Corrected an issue where the L0 row count metrics value was always empty (#37307).
                                                                                                                                                                                                                                        • +
                                                                                                                                                                                                                                        • Skipped marking compaction timeout for mixed and L0 compaction scenarios (#37194).
                                                                                                                                                                                                                                        • +
                                                                                                                                                                                                                                        • Rectified the containment logic of OffsetOrderedArray (#37309).
                                                                                                                                                                                                                                        • +
                                                                                                                                                                                                                                        • Added a check for resources when loading delta logs (#37263).
                                                                                                                                                                                                                                        -

                                                                                                                                                                                                                                        Melhorias

                                                                                                                                                                                                                                          -
                                                                                                                                                                                                                                        • Movida a lógica L0 para fora do bloqueio delta para melhor desempenho(#37340).
                                                                                                                                                                                                                                        • -
                                                                                                                                                                                                                                        • Libertado segmentos crescentes compactados se presentes na lista de abandonados(#37266).
                                                                                                                                                                                                                                        • -
                                                                                                                                                                                                                                        • Introduzido middleware para monitorizar as estatísticas RPC de entrada/saída RESTful V2(#37224, #37440).
                                                                                                                                                                                                                                        • +

                                                                                                                                                                                                                                          Improvements

                                                                                                                                                                                                                                            +
                                                                                                                                                                                                                                          • Moved L0 logic outside of the delta lock for better performance (#37340).
                                                                                                                                                                                                                                          • +
                                                                                                                                                                                                                                          • Released compacted growing segments if present in the dropped list (#37266).
                                                                                                                                                                                                                                          • +
                                                                                                                                                                                                                                          • Introduced middleware to monitor RESTful V2 input/output RPC stats (#37224, #37440).

                                                                                                                                                                                                                                          v2.4.14

                                                                                                                                                                                                                                          Data de lançamento: 31 de outubro de 2024

                                                                                                                                                                                                                                          +

                                                                                                                                                                                                                                          Release Date: October 31, 2024

                                                                                                                                                                                                                                          - +
                                                                                                                                                                                                                                          Versão do MilvusVersão do Python SDKVersão do Java SDKVersão do SDK do Node.js
                                                                                                                                                                                                                                          Milvus versionPython SDK versionJava SDK versionNode.js SDK version
                                                                                                                                                                                                                                          2.4.142.4.92.4.72.4.9
                                                                                                                                                                                                                                          -

                                                                                                                                                                                                                                          O Milvus 2.4.14 resolve um problema crítico da versão 2.4.13 que poderia fazer com que as informações de coleta fossem perdidas após a coleta de lixo do snapshotKV. Também foi corrigido um par de vazamentos de recursos. Além disso, esta versão inclui inúmeras melhorias focadas em melhorar a estabilidade em operações de exclusão em larga escala e desempenho de compactação.

                                                                                                                                                                                                                                          -

                                                                                                                                                                                                                                          Caraterísticas

                                                                                                                                                                                                                                            -
                                                                                                                                                                                                                                          • Suporte ao modo de memória chunk cache(#35836)
                                                                                                                                                                                                                                          • -
                                                                                                                                                                                                                                          • Suporte a db para bulkinsert(#37017)
                                                                                                                                                                                                                                          • +

                                                                                                                                                                                                                                            Milvus 2.4.14 addresses a critical issue from version 2.4.13 that could cause collection information to be lost after snapshotKV garbage collection. It also fixed a couple of resource leaks. Additionally, this release includes numerous enhancements focused on improving stability in large-scale delete operations and compaction performance.

                                                                                                                                                                                                                                            +

                                                                                                                                                                                                                                            Features

                                                                                                                                                                                                                                              +
                                                                                                                                                                                                                                            • Supported memory mode chunk cache (#35836)
                                                                                                                                                                                                                                            • +
                                                                                                                                                                                                                                            • Supported db for bulkinsert (#37017)
                                                                                                                                                                                                                                            -

                                                                                                                                                                                                                                            Melhorias

                                                                                                                                                                                                                                              -
                                                                                                                                                                                                                                            • Otimização da eliminação/compactação
                                                                                                                                                                                                                                                -
                                                                                                                                                                                                                                              • Activada a execução paralela de compactações l0(#36985)
                                                                                                                                                                                                                                              • -
                                                                                                                                                                                                                                              • Apagamento em lote para a frente quando se usa o encaminhamento direto(#37107)
                                                                                                                                                                                                                                              • -
                                                                                                                                                                                                                                              • Saltava o carregamento de dados delta no delegador quando usava remoteload(#37112)
                                                                                                                                                                                                                                              • -
                                                                                                                                                                                                                                              • Encaminhamento direto do delta excluindo segmentos l0(#36914)
                                                                                                                                                                                                                                              • -
                                                                                                                                                                                                                                              • Adicionada a priorização de tarefas de compactação no DataCoord(#36979)
                                                                                                                                                                                                                                              • -
                                                                                                                                                                                                                                              • Taxas de eliminação complexas monitorizadas(#36958)
                                                                                                                                                                                                                                              • +

                                                                                                                                                                                                                                                Improvements

                                                                                                                                                                                                                                                  +
                                                                                                                                                                                                                                                • Delete/Compaction Optimization +
                                                                                                                                                                                                                                                    +
                                                                                                                                                                                                                                                  • Enabled parallel execution of l0 compactions (#36985)
                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                  • Batched forward delete when using direct forward (#37107)
                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                  • Skipped loading delta data in delegater when using remoteload (#37112)
                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                  • Directly forwarded delta excluding l0 segments (#36914)
                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                  • Added prioritization of compaction tasks in DataCoord (#36979)
                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                  • Tracked complex delete rates (#36958)
                                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                                • Refacturado o CreateCollection na API RESTFul(#36885)
                                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                                • Fundidas múltiplas operações 'and' e 'or' numa única operação(#36973)
                                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                                • Fez o skip load funcionar para todos os ramos(#37161)
                                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                                • Actualizada a dependência do Minio para suportar as Identidades do Pod EKS(#37089)
                                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                                • Opções de importação arrumadas(#37078)
                                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                                • Limitado o número máximo de trabalhos de importação(#36892)
                                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                                • Fatia de dados pré-alocada para evitar a re-alocação de memória(#37044)
                                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                                • Impediu o DataNode de carregar o bf(#37027)
                                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                                • Evitou limitar as operações ddl repetidamente(#37011)
                                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                                • Tornou o item de configuração datanode.import.maxconcurrenttasknum dinamicamente ajustável(#37103)
                                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                                • Utilizou queryNode.mmap.growingMmapEnabled para controlar o comportamento do índice provisório(#36391)
                                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                                • Preenchidos os campos Level e StartPosition em segmentLoadInfo do segmento em crescimento(#36911)
                                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                                • Forçado a parar as mensagens de buffer quando se recebe a mensagem de recolha de drop(#36917)
                                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                                • Adicionada métrica para informação de buffer de eliminação de querynode(#37097)
                                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                                • Adicionada etiqueta de nome de coleção para algumas métricas(#37159)
                                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                                • Usado middleware para observar RESTful v2 in/out rpc stats(#37224)
                                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                                • Alterado o tamanho do pool de memória padrão da GPU(#36969)
                                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                                • Actualizada a versão do Knowhere para 2.3.12(#37132)
                                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                                • Permitida a eliminação de dados quando a quota do disco está esgotada(#37139)
                                                                                                                                                                                                                                                • +
                                                                                                                                                                                                                                                • Refactored CreateCollection in RESTFul API (#36885)
                                                                                                                                                                                                                                                • +
                                                                                                                                                                                                                                                • Fused multiple ‘and’ and ‘or’ operations into a single op (#36973)
                                                                                                                                                                                                                                                • +
                                                                                                                                                                                                                                                • Made skip load work for all branches (#37161)
                                                                                                                                                                                                                                                • +
                                                                                                                                                                                                                                                • Upgraded Minio dependency to support EKS Pod Identities (#37089)
                                                                                                                                                                                                                                                • +
                                                                                                                                                                                                                                                • Tidied import options (#37078)
                                                                                                                                                                                                                                                • +
                                                                                                                                                                                                                                                • Limited maximum number of import jobs (#36892)
                                                                                                                                                                                                                                                • +
                                                                                                                                                                                                                                                • Preallocated data slice to avoid re-allocating memory (#37044)
                                                                                                                                                                                                                                                • +
                                                                                                                                                                                                                                                • Prevented DataNode from loading the bf (#37027)
                                                                                                                                                                                                                                                • +
                                                                                                                                                                                                                                                • Avoided limiting ddl operations repeatedly (#37011)
                                                                                                                                                                                                                                                • +
                                                                                                                                                                                                                                                • Made the configuration item datanode.import.maxconcurrenttasknum dynamically adjustable (#37103)
                                                                                                                                                                                                                                                • +
                                                                                                                                                                                                                                                • Used queryNode.mmap.growingMmapEnabled to control the behavior of interim index (#36391)
                                                                                                                                                                                                                                                • +
                                                                                                                                                                                                                                                • Populated the Level and StartPosition fields in segmentLoadInfo of growing segment (#36911)
                                                                                                                                                                                                                                                • +
                                                                                                                                                                                                                                                • Forced to stop buffer messages when receiving the drop collection message (#36917)
                                                                                                                                                                                                                                                • +
                                                                                                                                                                                                                                                • Added metrics for querynode delete buffer info (#37097)
                                                                                                                                                                                                                                                • +
                                                                                                                                                                                                                                                • Added collection name label for some metric (#37159)
                                                                                                                                                                                                                                                • +
                                                                                                                                                                                                                                                • Used middleware to observe RESTful v2 in/out rpc stats (#37224)
                                                                                                                                                                                                                                                • +
                                                                                                                                                                                                                                                • Changed GPU default memory pool size (#36969)
                                                                                                                                                                                                                                                • +
                                                                                                                                                                                                                                                • Updated Knowhere version to 2.3.12 (#37132)
                                                                                                                                                                                                                                                • +
                                                                                                                                                                                                                                                • Allowed deleting data when disk quota exhausted (#37139)
                                                                                                                                                                                                                                                -

                                                                                                                                                                                                                                                Correcções de erros

                                                                                                                                                                                                                                                  -
                                                                                                                                                                                                                                                • Corrigida a informação de recolha que não podia ser recuperada do metakv após o reinício se todos os snapshots fossem recolhidos do lixo(#36950)
                                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                                • Corrigido o código de erro rpc para evitar tentativas inválidas no cliente(#37025)
                                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                                • Ignorado o erro db not found no centro de quotas(#36850)
                                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                                • Corrigida a fuga de goroutine no QueryNode ao usar singleton delete pool(#37225)
                                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                                • Corrigida a fuga de coleção no querynode(#37079)
                                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                                • Corrigida a fuga da tarefa de compactação de clustering(#36803)
                                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                                • Proibido renomear uma coleção que tinha um alias(#37208)
                                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                                • Garantido que o pseudónimo era guardado em cache(#36808)
                                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                                • A pesquisa/consulta poderia ter falhado durante a atualização da cache do delegador(#37174)
                                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                                • Excluída a compactação l0 quando o clustering estava a ser executado(#37142)
                                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                                • Meta de coleção referenciada ao carregar apenas meta de segmento l0(#37179)
                                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                                • O delegador pode ter-se tornado inutilizável após o reinício do querycoord(#37100)
                                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                                • A partição de libertação dinâmica pode ter falhado a pesquisa/consulta(#37099)
                                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                                • Valor da quota de contagem de linhas do buffer de eliminação rectificado(#37068)
                                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                                • Passou a lista de campos completa quando a carga parcial estava activada(#37063)
                                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                                • Pânico no nó de consulta ocorreu durante o envio de rpc para o trabalhador(#36988)
                                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                                • O Datacoord ficava preso ao parar o progresso(#36961)
                                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                                • Corrigido o acesso fora dos limites no segmento crescente quando os dados brutos eram substituídos pelo índice provisório(#36938)
                                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                                • O Rootcoord ficava preso no progresso da paragem graciosa(#36881)
                                                                                                                                                                                                                                                • +

                                                                                                                                                                                                                                                  Bug fixes

                                                                                                                                                                                                                                                    +
                                                                                                                                                                                                                                                  • Fixed collection info that could not be recovered from metakv after restart if all snapshots were garbage collected (#36950)
                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                  • Corrected the rpc error code to avoid invalid retry in client (#37025)
                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                  • Ignored db not found error in quota center (#36850)
                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                  • Fixed goroutine leakage in QueryNode by using singleton delete pool (#37225)
                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                  • Fixed collection leak in querynode (#37079)
                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                  • Fixed leakage of clustering compaction task (#36803)
                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                  • Prohibited renaming a collection that had an alias (#37208)
                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                  • Made sure alias was cached (#36808)
                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                  • Search/query could have failed during updating delegator cache (#37174)
                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                  • Excluded l0 compaction when clustering was executing (#37142)
                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                  • Referenced collection meta when loading l0 segment meta only (#37179)
                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                  • Delegator might have become unserviceable after querycoord restart (#37100)
                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                  • Dynamic release partition might have failed search/query (#37099)
                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                  • Rectified delete buffer row count quota value (#37068)
                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                  • Passed full field list when partial load enabled (#37063)
                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                  • Query node panic occurred during sending rpc to worker (#36988)
                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                  • Datacoord got stuck at stopping progress (#36961)
                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                  • Fixed the out-of-bounds access in the growing segment when raw data was replaced by interim index (#36938)
                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                  • Rootcoord got stuck at graceful stop progress (#36881)

                                                                                                                                                                                                                                                  v2.4.13-hotfix

                                                                                                                                                                                                                                                  Data de lançamento: 17 de outubro de 2024

                                                                                                                                                                                                                                                  +

                                                                                                                                                                                                                                                  Release Date: October 17, 2024

                                                                                                                                                                                                                                                  - +
                                                                                                                                                                                                                                                  Versão do MilvusVersão do Python SDKVersão do Java SDKVersão do SDK do Node.js
                                                                                                                                                                                                                                                  Milvus versionPython SDK versionJava SDK versionNode.js SDK version
                                                                                                                                                                                                                                                  2.4.13-hotfix2.4.82.4.52.4.9
                                                                                                                                                                                                                                                  -

                                                                                                                                                                                                                                                  Milvus v2.4.13-hotfix aborda um problema crítico específico da v2.4.13, onde Milvus pode falhar em recuperar informações de coleta após uma reinicialização se todos os snapshots MetaKV foram coletados no lixo(#36933). Os utilizadores que atualmente executam a v2.4.13 são aconselhados a atualizar para a v2.4.13-hotfix na primeira oportunidade para evitar potenciais interrupções.

                                                                                                                                                                                                                                                  -

                                                                                                                                                                                                                                                  Correções críticas

                                                                                                                                                                                                                                                    -
                                                                                                                                                                                                                                                  • Carregar chave original se o carimbo de data/hora for MaxTimestamp(#36935)
                                                                                                                                                                                                                                                  • +

                                                                                                                                                                                                                                                    Milvus v2.4.13-hotfix addresses a critical issue specific to v2.4.13, where Milvus may fail to retrieve collection information after a restart if all MetaKV snapshots were garbage-collected (#36933). Users currently running v2.4.13 are advised to upgrade to v2.4.13-hotfix at the earliest opportunity to avoid potential disruptions.

                                                                                                                                                                                                                                                    +

                                                                                                                                                                                                                                                    Critical fixes

                                                                                                                                                                                                                                                      +
                                                                                                                                                                                                                                                    • Load original key if timestamp is MaxTimestamp (#36935)
                                                                                                                                                                                                                                                    -

                                                                                                                                                                                                                                                    [Depreciado] v2.4.13

                                                                                                                                                                                                                                                    Data de lançamento: 12 de outubro de 2024

                                                                                                                                                                                                                                                    +

                                                                                                                                                                                                                                                    Release Date: October 12, 2024

                                                                                                                                                                                                                                                    - +
                                                                                                                                                                                                                                                    Versão do MilvusVersão do Python SDKVersão do Java SDKVersão do SDK do Node.js
                                                                                                                                                                                                                                                    Milvus versionPython SDK versionJava SDK versionNode.js SDK version
                                                                                                                                                                                                                                                    2.4.132.4.82.4.52.4.9
                                                                                                                                                                                                                                                    -

                                                                                                                                                                                                                                                    O Milvus 2.4.13 introduz a carga dinâmica de réplicas, permitindo aos utilizadores ajustar o número de réplicas da coleção sem necessidade de libertar e recarregar a coleção. Esta versão também resolve vários erros críticos relacionados com a importação em massa, análise de expressões, balanceamento de carga e recuperação de falhas. Além disso, foram efectuadas melhorias significativas na utilização de recursos MMAP e no desempenho da importação, melhorando a eficiência geral do sistema. Recomendamos vivamente a atualização para esta versão para um melhor desempenho e estabilidade.

                                                                                                                                                                                                                                                    -

                                                                                                                                                                                                                                                    Caraterísticas

                                                                                                                                                                                                                                                      -
                                                                                                                                                                                                                                                    • Ajuste dinâmico de réplicas para colecções carregadas(#36417)
                                                                                                                                                                                                                                                    • -
                                                                                                                                                                                                                                                    • MMAP de vetor esparso em tipos de segmentos crescentes(#36565)
                                                                                                                                                                                                                                                    • +

                                                                                                                                                                                                                                                      Milvus 2.4.13 introduces dynamic replica load, allowing users to adjust the number of collection replicas without needing to release and reload the collection. This version also addresses several critical bugs related to bulk importing, expression parsing, load balancing, and failure recovery. Additionally, significant improvements have been made to MMAP resource usage and import performance, enhancing overall system efficiency. We highly recommend upgrading to this release for better performance and stability.

                                                                                                                                                                                                                                                      +

                                                                                                                                                                                                                                                      Features

                                                                                                                                                                                                                                                        +
                                                                                                                                                                                                                                                      • Dynamic replica adjustment for loaded collections (#36417)
                                                                                                                                                                                                                                                      • +
                                                                                                                                                                                                                                                      • Sparse vector MMAP in growing segment types (#36565)
                                                                                                                                                                                                                                                      -

                                                                                                                                                                                                                                                      Correcções de erros

                                                                                                                                                                                                                                                        -
                                                                                                                                                                                                                                                      • Corrigido um problema de desempenho de descarga(#36741)
                                                                                                                                                                                                                                                      • -
                                                                                                                                                                                                                                                      • Corrigido um erro com expressões JSON em "[]"(#36722)
                                                                                                                                                                                                                                                      • -
                                                                                                                                                                                                                                                      • Removidos os vizinhos se o alvo compacto não estiver indexado(#36694)
                                                                                                                                                                                                                                                      • -
                                                                                                                                                                                                                                                      • Melhorado o desempenho para Rocksmq quando o canal está cheio(#36618)
                                                                                                                                                                                                                                                      • -
                                                                                                                                                                                                                                                      • Corrigido um problema em que os erros durante a remoção de pinos não eram adiados(#36665)
                                                                                                                                                                                                                                                      • -
                                                                                                                                                                                                                                                      • Resolvido um vazamento de memória para segmentos importados no gerenciador de segmentos(#36631)
                                                                                                                                                                                                                                                      • -
                                                                                                                                                                                                                                                      • Saltou verificações de saúde desnecessárias para nós de consulta no proxy(#36553)
                                                                                                                                                                                                                                                      • -
                                                                                                                                                                                                                                                      • Corrigido um problema de excesso com expressões de termo(#36534)
                                                                                                                                                                                                                                                      • -
                                                                                                                                                                                                                                                      • ID do nó registado antes de atribuir tarefas para evitar a atribuição incorrecta de tarefas(#36493)
                                                                                                                                                                                                                                                      • -
                                                                                                                                                                                                                                                      • Resolvidos problemas de corrida de dados na compactação de clustering(#36499)
                                                                                                                                                                                                                                                      • -
                                                                                                                                                                                                                                                      • Adicionada uma verificação para o comprimento máximo do conjunto de strings após a correspondência de tipos(#36497)
                                                                                                                                                                                                                                                      • -
                                                                                                                                                                                                                                                      • Resolvidas as condições de corrida no modo mix ou autónomo(#36459)
                                                                                                                                                                                                                                                      • -
                                                                                                                                                                                                                                                      • Corrigido o desequilíbrio de segmentos após repetidas operações de carregamento e libertação(#36543)
                                                                                                                                                                                                                                                      • -
                                                                                                                                                                                                                                                      • Corrigido um caso de canto onde os segmentos não podiam ser movidos de um nó de paragem(#36475)
                                                                                                                                                                                                                                                      • -
                                                                                                                                                                                                                                                      • Actualizada a informação do segmento corretamente mesmo que alguns segmentos estivessem em falta(#36729)
                                                                                                                                                                                                                                                      • -
                                                                                                                                                                                                                                                      • Evitou que as transacções etcd excedessem o limite máximo no snapshot KV(#36773)
                                                                                                                                                                                                                                                      • +

                                                                                                                                                                                                                                                        Bug fixes

                                                                                                                                                                                                                                                          +
                                                                                                                                                                                                                                                        • Fixed a flush performance issue (#36741)
                                                                                                                                                                                                                                                        • +
                                                                                                                                                                                                                                                        • Fixed a bug with JSON expressions in "[]" (#36722)
                                                                                                                                                                                                                                                        • +
                                                                                                                                                                                                                                                        • Removed neighbors if compact target is unindexed (#36694)
                                                                                                                                                                                                                                                        • +
                                                                                                                                                                                                                                                        • Improved performance for Rocksmq when channel is full (#36618)
                                                                                                                                                                                                                                                        • +
                                                                                                                                                                                                                                                        • Fixed an issue where errors during unpinning were not deferred (#36665)
                                                                                                                                                                                                                                                        • +
                                                                                                                                                                                                                                                        • Resolved a memory leak for imported segments in the segment manager (#36631)
                                                                                                                                                                                                                                                        • +
                                                                                                                                                                                                                                                        • Skipped unnecessary health checks for query nodes in the proxy (#36553)
                                                                                                                                                                                                                                                        • +
                                                                                                                                                                                                                                                        • Fixed an overflow issue with term expressions (#36534)
                                                                                                                                                                                                                                                        • +
                                                                                                                                                                                                                                                        • Recorded node ID before assigning tasks to prevent task misallocation (#36493)
                                                                                                                                                                                                                                                        • +
                                                                                                                                                                                                                                                        • Resolved data race issues in clustering compaction (#36499)
                                                                                                                                                                                                                                                        • +
                                                                                                                                                                                                                                                        • Added a check for string array max length after type matching (#36497)
                                                                                                                                                                                                                                                        • +
                                                                                                                                                                                                                                                        • Addressed race conditions in mix or standalone mode (#36459)
                                                                                                                                                                                                                                                        • +
                                                                                                                                                                                                                                                        • Fixed segment imbalance after repeated load and release operations (#36543)
                                                                                                                                                                                                                                                        • +
                                                                                                                                                                                                                                                        • Corrected a corner case where segments couldn’t be moved from a stopping node (#36475)
                                                                                                                                                                                                                                                        • +
                                                                                                                                                                                                                                                        • Updated segment info properly even if some segments were missing (#36729)
                                                                                                                                                                                                                                                        • +
                                                                                                                                                                                                                                                        • Prevented etcd transactions from exceeding the max limit in snapshot KV (#36773)
                                                                                                                                                                                                                                                        -

                                                                                                                                                                                                                                                        Melhorias

                                                                                                                                                                                                                                                          -
                                                                                                                                                                                                                                                        • Melhorada a estimativa de recursos MMAP:
                                                                                                                                                                                                                                                            -
                                                                                                                                                                                                                                                          • Melhorado o código relacionado com o MMAP em column.h(#36521)
                                                                                                                                                                                                                                                          • -
                                                                                                                                                                                                                                                          • Estimativa de recursos refinada ao carregar colecções(#36728)
                                                                                                                                                                                                                                                          • +

                                                                                                                                                                                                                                                            Improvements

                                                                                                                                                                                                                                                              +
                                                                                                                                                                                                                                                            • Enhanced MMAP resource estimation: +
                                                                                                                                                                                                                                                                +
                                                                                                                                                                                                                                                              • Improved MMAP-related code in column.h (#36521)
                                                                                                                                                                                                                                                              • +
                                                                                                                                                                                                                                                              • Refined resource estimation when loading collections (#36728)
                                                                                                                                                                                                                                                            • -
                                                                                                                                                                                                                                                            • Melhorias de desempenho:
                                                                                                                                                                                                                                                                -
                                                                                                                                                                                                                                                              • Melhoria da eficiência da análise de expressões convertendo Unicode para ASCII(#36676)
                                                                                                                                                                                                                                                              • -
                                                                                                                                                                                                                                                              • Activada a produção paralela de mensagens para múltiplos tópicos(#36462)
                                                                                                                                                                                                                                                              • -
                                                                                                                                                                                                                                                              • Reduzida a sobrecarga da CPU ao calcular o tamanho do ficheiro de índice(#36580)
                                                                                                                                                                                                                                                              • -
                                                                                                                                                                                                                                                              • Recuperado o tipo de mensagem do cabeçalho para minimizar o desmarcamento(#36454)
                                                                                                                                                                                                                                                              • -
                                                                                                                                                                                                                                                              • Optimizada a política de seleção de réplicas baseada na carga de trabalho(#36384)
                                                                                                                                                                                                                                                              • +
                                                                                                                                                                                                                                                              • Performance Enhancements: +
                                                                                                                                                                                                                                                                  +
                                                                                                                                                                                                                                                                • Improved expression parsing efficiency by converting Unicode to ASCII (#36676)
                                                                                                                                                                                                                                                                • +
                                                                                                                                                                                                                                                                • Enabled parallel production of messages for multiple topics (#36462)
                                                                                                                                                                                                                                                                • +
                                                                                                                                                                                                                                                                • Reduced CPU overhead when calculating index file size (#36580)
                                                                                                                                                                                                                                                                • +
                                                                                                                                                                                                                                                                • Retrieved message type from header to minimize unmarshalling (#36454)
                                                                                                                                                                                                                                                                • +
                                                                                                                                                                                                                                                                • Optimized workload-based replica selection policy (#36384)
                                                                                                                                                                                                                                                              • -
                                                                                                                                                                                                                                                              • Divisão de mensagens de tarefas de eliminação para caber dentro dos limites máximos de tamanho de mensagem(#36574)
                                                                                                                                                                                                                                                              • -
                                                                                                                                                                                                                                                              • Adicionado novo URL RESTful para descrever trabalhos de importação(#36754)
                                                                                                                                                                                                                                                              • -
                                                                                                                                                                                                                                                              • Optimizado o agendamento de importações e adicionada uma métrica de custo de tempo(#36684)
                                                                                                                                                                                                                                                              • -
                                                                                                                                                                                                                                                              • Adicionado registo de relatório de balanço para o balanceador do coordenador de consultas(#36749)
                                                                                                                                                                                                                                                              • -
                                                                                                                                                                                                                                                              • Mudança para a utilização da configuração comum do GC(#36670)
                                                                                                                                                                                                                                                              • -
                                                                                                                                                                                                                                                              • Adicionado interrutor de política de encaminhamento de fluxo para o delegador(#36712)
                                                                                                                                                                                                                                                              • -
                                                                                                                                                                                                                                                              • Activada a compactação manual para colecções sem índices(#36581)
                                                                                                                                                                                                                                                              • -
                                                                                                                                                                                                                                                              • Ativado o balanceamento de carga em nós de consulta com capacidades de memória variáveis(#36625)
                                                                                                                                                                                                                                                              • -
                                                                                                                                                                                                                                                              • Caso unificado para etiquetas de entrada usando metrics.label(#36616)
                                                                                                                                                                                                                                                              • -
                                                                                                                                                                                                                                                              • Tornou as operações de canal/segmento de transferência idempotentes(#36552)
                                                                                                                                                                                                                                                              • -
                                                                                                                                                                                                                                                              • Adicionadas métricas para monitorizar o rendimento da importação e a contagem de linhas importadas(#36588)
                                                                                                                                                                                                                                                              • -
                                                                                                                                                                                                                                                              • Impedida a criação de múltiplos objectos de temporizador nos alvos(#36573)
                                                                                                                                                                                                                                                              • -
                                                                                                                                                                                                                                                              • Versão de expressão actualizada e resposta HTTP formatada para expressões(#36467)
                                                                                                                                                                                                                                                              • -
                                                                                                                                                                                                                                                              • Melhorada a recolha de lixo no snapshot KV(#36793)
                                                                                                                                                                                                                                                              • -
                                                                                                                                                                                                                                                              • Adicionado suporte para executar métodos com parâmetros de contexto(#36798)
                                                                                                                                                                                                                                                              • +
                                                                                                                                                                                                                                                              • Split delete task messages to fit within max message size limits (#36574)
                                                                                                                                                                                                                                                              • +
                                                                                                                                                                                                                                                              • Added new RESTful URL to describe import jobs (#36754)
                                                                                                                                                                                                                                                              • +
                                                                                                                                                                                                                                                              • Optimized import scheduling and added a time cost metric (#36684)
                                                                                                                                                                                                                                                              • +
                                                                                                                                                                                                                                                              • Added balance report log for query coordinator balancer (#36749)
                                                                                                                                                                                                                                                              • +
                                                                                                                                                                                                                                                              • Switched to using common GC configuration (#36670)
                                                                                                                                                                                                                                                              • +
                                                                                                                                                                                                                                                              • Added streaming forward policy switch for delegator (#36712)
                                                                                                                                                                                                                                                              • +
                                                                                                                                                                                                                                                              • Enabled manual compaction for collections without indexes (#36581)
                                                                                                                                                                                                                                                              • +
                                                                                                                                                                                                                                                              • Enabled load balancing on query nodes with varying memory capacities (#36625)
                                                                                                                                                                                                                                                              • +
                                                                                                                                                                                                                                                              • Unified case for inbound labels using metrics.label (#36616)
                                                                                                                                                                                                                                                              • +
                                                                                                                                                                                                                                                              • Made transfer channel/segment operations idempotent (#36552)
                                                                                                                                                                                                                                                              • +
                                                                                                                                                                                                                                                              • Added metrics to monitor import throughput and imported row count (#36588)
                                                                                                                                                                                                                                                              • +
                                                                                                                                                                                                                                                              • Prevented creation of multiple timer objects in targets (#36573)
                                                                                                                                                                                                                                                              • +
                                                                                                                                                                                                                                                              • Updated expression version and formatted HTTP response for expressions (#36467)
                                                                                                                                                                                                                                                              • +
                                                                                                                                                                                                                                                              • Enhanced garbage collection in snapshot KV (#36793)
                                                                                                                                                                                                                                                              • +
                                                                                                                                                                                                                                                              • Added support to execute methods with context parameters (#36798)

                                                                                                                                                                                                                                                              v2.4.12

                                                                                                                                                                                                                                                              Data de lançamento: 26 de setembro de 2024

                                                                                                                                                                                                                                                              +

                                                                                                                                                                                                                                                              Release Date: September 26, 2024

                                                                                                                                                                                                                                                              - +
                                                                                                                                                                                                                                                              Versão do MilvusVersão do Python SDKVersão do Java SDKVersão do SDK do Node.js
                                                                                                                                                                                                                                                              Milvus versionPython SDK versionJava SDK versionNode.js SDK version
                                                                                                                                                                                                                                                              2.4.122.4.72.4.42.4.9
                                                                                                                                                                                                                                                              -

                                                                                                                                                                                                                                                              O Milvus 2.4.12 apresenta melhorias significativas e correcções de erros críticos. Esta versão aborda problemas de duplicação de dados e melhora a velocidade de recuperação de falhas, especialmente ao lidar com um grande número de exclusões. No entanto, persiste um problema conhecido em que a recuperação de falhas pode ser lenta ao excluir grandes quantidades de dados. Estamos a trabalhar ativamente na resolução deste problema.

                                                                                                                                                                                                                                                              -

                                                                                                                                                                                                                                                              Melhorias

                                                                                                                                                                                                                                                                -
                                                                                                                                                                                                                                                              • Implementada paragem graciosa para o gestor de fluxogramas(#36358)
                                                                                                                                                                                                                                                              • -
                                                                                                                                                                                                                                                              • Desactivadas as verificações de índice para campos vectoriais não carregados(#36280)
                                                                                                                                                                                                                                                              • -
                                                                                                                                                                                                                                                              • Filtrados os registos de eliminação não atingidos durante o carregamento delta(#36272)
                                                                                                                                                                                                                                                              • -
                                                                                                                                                                                                                                                              • Melhorado o tratamento de erros para excepções std::stoi(#36296)
                                                                                                                                                                                                                                                              • -
                                                                                                                                                                                                                                                              • Palavras-chave não permitidas como nomes de campos ou nomes de campos dinâmicos(#36108)
                                                                                                                                                                                                                                                              • -
                                                                                                                                                                                                                                                              • Adicionada métrica para apagar entradas em segmentos L0(#36227)
                                                                                                                                                                                                                                                              • -
                                                                                                                                                                                                                                                              • Implementada a política de encaminhamento L0 para suportar o carregamento remoto(#36208)
                                                                                                                                                                                                                                                              • -
                                                                                                                                                                                                                                                              • Adicionada verificação de carregamento de campo ANN no proxy(#36194)
                                                                                                                                                                                                                                                              • -
                                                                                                                                                                                                                                                              • Ativado o suporte de linhas esparsas vazias(#36061)
                                                                                                                                                                                                                                                              • -
                                                                                                                                                                                                                                                              • Corrigida uma vulnerabilidade de segurança(#36156)
                                                                                                                                                                                                                                                              • -
                                                                                                                                                                                                                                                              • Implementado um gestor de estatísticas para métricas de tamanho de pedido/resposta(#36118)
                                                                                                                                                                                                                                                              • -
                                                                                                                                                                                                                                                              • Corrigida a estimativa de tamanho para dados de array codificados(#36379)
                                                                                                                                                                                                                                                              • +

                                                                                                                                                                                                                                                                Milvus 2.4.12 introduces significant enhancements and critical bug fixes. This release addresses data duplication issues and improves failure recovery speed, particularly when handling large numbers of deletions. However, a known issue persists where failure recovery can be slow when deleting massive amounts of data. We are actively working on resolving this issue.

                                                                                                                                                                                                                                                                +

                                                                                                                                                                                                                                                                Improvements

                                                                                                                                                                                                                                                                  +
                                                                                                                                                                                                                                                                • Implemented graceful stop for flowgraph manager (#36358)
                                                                                                                                                                                                                                                                • +
                                                                                                                                                                                                                                                                • Disabled index checks for non-loaded vector fields (#36280)
                                                                                                                                                                                                                                                                • +
                                                                                                                                                                                                                                                                • Filtered out non-hit delete records during delta loading (#36272)
                                                                                                                                                                                                                                                                • +
                                                                                                                                                                                                                                                                • Improved error handling for std::stoi exceptions (#36296)
                                                                                                                                                                                                                                                                • +
                                                                                                                                                                                                                                                                • Disallowed keywords as field names or dynamic field names (#36108)
                                                                                                                                                                                                                                                                • +
                                                                                                                                                                                                                                                                • Added metrics for delete entries in L0 segments (#36227)
                                                                                                                                                                                                                                                                • +
                                                                                                                                                                                                                                                                • Implemented L0 forward policy to support remote loading (#36208)
                                                                                                                                                                                                                                                                • +
                                                                                                                                                                                                                                                                • Added ANN field loading check in proxy (#36194)
                                                                                                                                                                                                                                                                • +
                                                                                                                                                                                                                                                                • Enabled empty sparse row support (#36061)
                                                                                                                                                                                                                                                                • +
                                                                                                                                                                                                                                                                • Fixed a security vulnerability (#36156)
                                                                                                                                                                                                                                                                • +
                                                                                                                                                                                                                                                                • Implemented stats handler for request/response size metrics (#36118)
                                                                                                                                                                                                                                                                • +
                                                                                                                                                                                                                                                                • Corrected size estimation for encoded array data (#36379)
                                                                                                                                                                                                                                                                -

                                                                                                                                                                                                                                                                Correcções de erros

                                                                                                                                                                                                                                                                  -
                                                                                                                                                                                                                                                                • Resolvidos erros de tipo de métrica para colecções com dois campos vectoriais(#36473)
                                                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                                                • Corrigidos problemas de buffering longo que causavam falhas na receção da fila de mensagens(#36425)
                                                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                                                • Implementado o retorno correto de compact-to-segments após suporte de divisão(#36429)
                                                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                                                • Resolvidos problemas de corrida de dados com a goroutina de verificação de ID de nó(#36377)
                                                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                                                • Removida a verificação do tipo de elemento(#36324)
                                                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                                                • Resolvidos problemas de acesso simultâneo para segmentos crescentes e selados(#36288)
                                                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                                                • Implementado o bloqueio de estado futuro(#36333)
                                                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                                                • Correção da utilização de offset no HybridSearch(#36287, #36253)
                                                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                                                • Resolvida a fuga de segmentos/canais sujos no QueryNode(#36259)
                                                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                                                • Corrigido o tratamento de duplicação de chave primária(#36274)
                                                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                                                • Definida a definição do tipo de métrica nos pedidos de pesquisa(#36279)
                                                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                                                • Corrigido o problema de limpeza da métrica stored_index_files_size(#36161)
                                                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                                                • Corrigido o comportamento do grupo de privilégios readwrite para acesso global à API(#36145)
                                                                                                                                                                                                                                                                • +

                                                                                                                                                                                                                                                                  Bug fixes

                                                                                                                                                                                                                                                                    +
                                                                                                                                                                                                                                                                  • Resolved metric type errors for collections with two vector fields (#36473)
                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                  • Fixed long buffering issues causing message queue reception failures (#36425)
                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                  • Implemented proper compact-to-segments return after split support (#36429)
                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                  • Resolved data race issues with node ID check goroutine (#36377)
                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                  • Removed element type check (#36324)
                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                  • Fixed concurrent access issues for growing and sealed segments (#36288)
                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                  • Implemented future stateful lock (#36333)
                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                  • Corrected offset usage in HybridSearch (#36287, #36253)
                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                  • Resolved dirty segment/channel leaks on QueryNode (#36259)
                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                  • Fixed primary key duplication handling (#36274)
                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                  • Enforced metric type setting in search requests (#36279)
                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                  • Fixed stored_index_files_size metric clearing issue (#36161)
                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                  • Corrected readwrite privilege group behavior for global API access (#36145)

                                                                                                                                                                                                                                                                  v2.4.11

                                                                                                                                                                                                                                                                  Data de lançamento: 11 de setembro de 2024

                                                                                                                                                                                                                                                                  +

                                                                                                                                                                                                                                                                  Release Date: September 11, 2024

                                                                                                                                                                                                                                                                  - +
                                                                                                                                                                                                                                                                  Versão do MilvusVersão do Python SDKVersão do Java SDKVersão do SDK do Node.js
                                                                                                                                                                                                                                                                  Milvus versionPython SDK versionJava SDK versionNode.js SDK version
                                                                                                                                                                                                                                                                  2.4.112.4.62.4.32.4.8
                                                                                                                                                                                                                                                                  -

                                                                                                                                                                                                                                                                  O Milvus 2.4.11 é uma versão de correção de erros que aborda vários problemas críticos relacionados com o índice de trie MARISA, compactação e operações de carregamento. Esta versão introduz novas funcionalidades para visualizar expressões e melhorar a estabilidade da eliminação. Recomendamos a todos os utilizadores da série 2.4.x que actualizem para esta versão para beneficiarem destas melhorias e correcções.

                                                                                                                                                                                                                                                                  -

                                                                                                                                                                                                                                                                  Caraterísticas

                                                                                                                                                                                                                                                                    -
                                                                                                                                                                                                                                                                  • Adicionada vista estática para expressões na versão 2.4(#35954)
                                                                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                                                                  • Implementada a lógica de quota relacionada com o buffer de eliminação(#35997)
                                                                                                                                                                                                                                                                  • +

                                                                                                                                                                                                                                                                    Milvus 2.4.11 is a bug-fix release that addresses multiple critical issues related to the MARISA trie index, compaction, and loading operations. This release introduces new features to view expressions and improve delete stability. We recommend all users of the 2.4.x series to upgrade to this version to benefit from these improvements and fixes.

                                                                                                                                                                                                                                                                    +

                                                                                                                                                                                                                                                                    Features

                                                                                                                                                                                                                                                                      +
                                                                                                                                                                                                                                                                    • Added static view for expressions in 2.4 (#35954)
                                                                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                                                                    • Implemented delete buffer related quota logic (#35997)
                                                                                                                                                                                                                                                                    -

                                                                                                                                                                                                                                                                    Correcções de erros

                                                                                                                                                                                                                                                                      -
                                                                                                                                                                                                                                                                    • Resolvido o problema de operação de intervalo de índice Trie para comparações GreaterThan e GreaterThanEqual(#36126)
                                                                                                                                                                                                                                                                    • -
                                                                                                                                                                                                                                                                    • Correção da utilização de marisa_label_order na construção do índice Trie(#36060)
                                                                                                                                                                                                                                                                    • -
                                                                                                                                                                                                                                                                    • Verificação de valor melhorada para trie.predictive_search (#35999)
                                                                                                                                                                                                                                                                    • -
                                                                                                                                                                                                                                                                    • Ativado o suporte da expressão aritmética binária no índice invertido(#36097)
                                                                                                                                                                                                                                                                    • -
                                                                                                                                                                                                                                                                    • Corrigida a falha de segmento causada pelo Skipindex(#35908)
                                                                                                                                                                                                                                                                    • -
                                                                                                                                                                                                                                                                    • Resolvida a fuga de memória na meta cache do proxy(#36076)
                                                                                                                                                                                                                                                                    • -
                                                                                                                                                                                                                                                                    • Renomeado o caminho do ficheiro mmap para prevenir conflitos de diretórios(#35975)
                                                                                                                                                                                                                                                                    • -
                                                                                                                                                                                                                                                                    • Melhorado o registo e limpeza para tarefas falhadas/timeout na compactação de misturas(#35967)
                                                                                                                                                                                                                                                                    • -
                                                                                                                                                                                                                                                                    • Resolvido o impasse lógico durante a utilização de memória elevada pelo delegador(#36066)
                                                                                                                                                                                                                                                                    • -
                                                                                                                                                                                                                                                                    • Implementada a criação de segmentos vazios quando a compactação elimina todas as inserções(#36045)
                                                                                                                                                                                                                                                                    • -
                                                                                                                                                                                                                                                                    • Correção da população da lista de campos de carga da informação de carga da versão antiga na 2.4(#36018)
                                                                                                                                                                                                                                                                    • -
                                                                                                                                                                                                                                                                    • Correção da lógica de atualização da configuração de rastreio na versão 2.4(#35998)
                                                                                                                                                                                                                                                                    • -
                                                                                                                                                                                                                                                                    • Resolvidas as falhas de pedidos de pesquisa/consulta durante o lançamento de partições dinâmicas(#36019)
                                                                                                                                                                                                                                                                    • -
                                                                                                                                                                                                                                                                    • Impedida a substituição de parâmetros de recurso(#36006)
                                                                                                                                                                                                                                                                    • -
                                                                                                                                                                                                                                                                    • Assegurado o registo adequado de grupos de privilégios para validação(#35938)
                                                                                                                                                                                                                                                                    • -
                                                                                                                                                                                                                                                                    • Impedida a limpeza incorrecta de nós limitadores de db(#35992)
                                                                                                                                                                                                                                                                    • -
                                                                                                                                                                                                                                                                    • Resolvido o problema das réplicas não participarem em consultas após a recuperação de falhas(#35925)
                                                                                                                                                                                                                                                                    • -
                                                                                                                                                                                                                                                                    • Resolvida a corrida de dados no escritor de compactação de clustering(#35958)
                                                                                                                                                                                                                                                                    • -
                                                                                                                                                                                                                                                                    • Corrigida a referência de variável após a operação de mover(#35904)
                                                                                                                                                                                                                                                                    • -
                                                                                                                                                                                                                                                                    • Implementada a verificação do comportamento de carga do clustering key skip(#35899)
                                                                                                                                                                                                                                                                    • -
                                                                                                                                                                                                                                                                    • Assegurado o arranque único dos observadores de querycoord no 2.4(#35817)
                                                                                                                                                                                                                                                                    • +

                                                                                                                                                                                                                                                                      Bug fixes

                                                                                                                                                                                                                                                                        +
                                                                                                                                                                                                                                                                      • Resolved Trie index range operation issue for GreaterThan and GreaterThanEqual comparisons (#36126)
                                                                                                                                                                                                                                                                      • +
                                                                                                                                                                                                                                                                      • Corrected marisa_label_order usage in Trie index construction (#36060)
                                                                                                                                                                                                                                                                      • +
                                                                                                                                                                                                                                                                      • Enhanced value checking for trie.predictive_search (#35999)
                                                                                                                                                                                                                                                                      • +
                                                                                                                                                                                                                                                                      • Enabled Binary arithmetic expression support on inverted index (#36097)
                                                                                                                                                                                                                                                                      • +
                                                                                                                                                                                                                                                                      • Fixed segment fault caused by Skipindex (#35908)
                                                                                                                                                                                                                                                                      • +
                                                                                                                                                                                                                                                                      • Resolved memory leak in proxy meta cache (#36076)
                                                                                                                                                                                                                                                                      • +
                                                                                                                                                                                                                                                                      • Renamed mmap file path to prevent directory conflicts (#35975)
                                                                                                                                                                                                                                                                      • +
                                                                                                                                                                                                                                                                      • Improved logging and cleanup for failed/timeout tasks in mix compaction (#35967)
                                                                                                                                                                                                                                                                      • +
                                                                                                                                                                                                                                                                      • Addressed logic deadlock during high memory usage by delegator (#36066)
                                                                                                                                                                                                                                                                      • +
                                                                                                                                                                                                                                                                      • Implemented empty segment creation when compaction deletes all inserts (#36045)
                                                                                                                                                                                                                                                                      • +
                                                                                                                                                                                                                                                                      • Corrected load field list population from old version load info in 2.4 (#36018)
                                                                                                                                                                                                                                                                      • +
                                                                                                                                                                                                                                                                      • Fixed tracing config update logic in 2.4 (#35998)
                                                                                                                                                                                                                                                                      • +
                                                                                                                                                                                                                                                                      • Resolved search/query request failures during dynamic partition release (#36019)
                                                                                                                                                                                                                                                                      • +
                                                                                                                                                                                                                                                                      • Prevented override of fallback parameters (#36006)
                                                                                                                                                                                                                                                                      • +
                                                                                                                                                                                                                                                                      • Ensured proper registration of privilege groups for validation (#35938)
                                                                                                                                                                                                                                                                      • +
                                                                                                                                                                                                                                                                      • Prevented mistaken cleanup of db limiter nodes (#35992)
                                                                                                                                                                                                                                                                      • +
                                                                                                                                                                                                                                                                      • Addressed issue with replicas not participating in queries after failure recovery (#35925)
                                                                                                                                                                                                                                                                      • +
                                                                                                                                                                                                                                                                      • Resolved data race in clustering compaction writer (#35958)
                                                                                                                                                                                                                                                                      • +
                                                                                                                                                                                                                                                                      • Fixed variable reference after move operation (#35904)
                                                                                                                                                                                                                                                                      • +
                                                                                                                                                                                                                                                                      • Implemented clustering key skip load behavior check (#35899)
                                                                                                                                                                                                                                                                      • +
                                                                                                                                                                                                                                                                      • Ensured single startup of querycoord observers in 2.4 (#35817)
                                                                                                                                                                                                                                                                      -

                                                                                                                                                                                                                                                                      Melhorias

                                                                                                                                                                                                                                                                        -
                                                                                                                                                                                                                                                                      • Actualizada a versão do Milvus & proto para 2.4.11(#36069)
                                                                                                                                                                                                                                                                      • -
                                                                                                                                                                                                                                                                      • Resolvida a fuga de memória nos testes unitários e activada a opção use_asan para compilações unittest(#35857)
                                                                                                                                                                                                                                                                      • -
                                                                                                                                                                                                                                                                      • Ajustados os limites de l0segmentsrowcount para valores mais apropriados(#36015)
                                                                                                                                                                                                                                                                      • -
                                                                                                                                                                                                                                                                      • Modificado o fator de estimativa de memória do deltalog para um(#36035)
                                                                                                                                                                                                                                                                      • -
                                                                                                                                                                                                                                                                      • Implementado slicesetequal para comparações de listas de campos de carga(#36062)
                                                                                                                                                                                                                                                                      • -
                                                                                                                                                                                                                                                                      • Reduzida a frequência de registo para operações de eliminação(#35981)
                                                                                                                                                                                                                                                                      • -
                                                                                                                                                                                                                                                                      • Actualizada a versão do etcd para 3.5.14(#35977)
                                                                                                                                                                                                                                                                      • -
                                                                                                                                                                                                                                                                      • Optimizada a redução do mmap-rss após o warmup(#35965)
                                                                                                                                                                                                                                                                      • -
                                                                                                                                                                                                                                                                      • Removido o período de arrefecimento no limitador de taxa para pedidos de leitura(#35936)
                                                                                                                                                                                                                                                                      • -
                                                                                                                                                                                                                                                                      • Melhorada a verificação do campo de carga para colecções previamente carregadas(#35910)
                                                                                                                                                                                                                                                                      • -
                                                                                                                                                                                                                                                                      • Adicionado suporte para eliminação de funções relacionadas com listas de privilégios na versão 2.4(#35863)
                                                                                                                                                                                                                                                                      • -
                                                                                                                                                                                                                                                                      • Implementadas regras depguard para proibir a utilização de bibliotecas proto depreciadas(#35818)
                                                                                                                                                                                                                                                                      • +

                                                                                                                                                                                                                                                                        Improvements

                                                                                                                                                                                                                                                                          +
                                                                                                                                                                                                                                                                        • Upgraded Milvus & proto version to 2.4.11 (#36069)
                                                                                                                                                                                                                                                                        • +
                                                                                                                                                                                                                                                                        • Addressed memory leak in unit tests and enable use_asan option for unittest builds (#35857)
                                                                                                                                                                                                                                                                        • +
                                                                                                                                                                                                                                                                        • Adjusted l0segmentsrowcount limits to more appropriate values (#36015)
                                                                                                                                                                                                                                                                        • +
                                                                                                                                                                                                                                                                        • Modified deltalog memory estimation factor to one (#36035)
                                                                                                                                                                                                                                                                        • +
                                                                                                                                                                                                                                                                        • Implemented slicesetequal for load field list comparisons (#36062)
                                                                                                                                                                                                                                                                        • +
                                                                                                                                                                                                                                                                        • Reduced log frequency for delete operations (#35981)
                                                                                                                                                                                                                                                                        • +
                                                                                                                                                                                                                                                                        • Upgraded etcd version to 3.5.14 (#35977)
                                                                                                                                                                                                                                                                        • +
                                                                                                                                                                                                                                                                        • Optimized mmap-rss reduction after warmup (#35965)
                                                                                                                                                                                                                                                                        • +
                                                                                                                                                                                                                                                                        • Removed cooling off period in rate limiter for read requests (#35936)
                                                                                                                                                                                                                                                                        • +
                                                                                                                                                                                                                                                                        • Enhanced load field checking for previously loaded collections (#35910)
                                                                                                                                                                                                                                                                        • +
                                                                                                                                                                                                                                                                        • Added support for dropping roles related to privilege lists in 2.4 (#35863)
                                                                                                                                                                                                                                                                        • +
                                                                                                                                                                                                                                                                        • Implemented depguard rules to prohibit deprecated proto library usage (#35818)
                                                                                                                                                                                                                                                                        -

                                                                                                                                                                                                                                                                        Outros

                                                                                                                                                                                                                                                                          -
                                                                                                                                                                                                                                                                        • Actualizada a versão do Knowhere(#36067)
                                                                                                                                                                                                                                                                        • +

                                                                                                                                                                                                                                                                          Others

                                                                                                                                                                                                                                                                            +
                                                                                                                                                                                                                                                                          • Updated Knowhere version (#36067)

                                                                                                                                                                                                                                                                          v2.4.10

                                                                                                                                                                                                                                                                          Data de lançamento: 30 de agosto de 2024

                                                                                                                                                                                                                                                                          +

                                                                                                                                                                                                                                                                          Release Date: August 30, 2024

                                                                                                                                                                                                                                                                          - +
                                                                                                                                                                                                                                                                          Versão do MilvusVersão do Python SDKVersão do Java SDKVersão do SDK do Node.js
                                                                                                                                                                                                                                                                          Milvus versionPython SDK versionJava SDK versionNode.js SDK version
                                                                                                                                                                                                                                                                          2.4.102.4.62.4.32.4.6
                                                                                                                                                                                                                                                                          -

                                                                                                                                                                                                                                                                          O Milvus 2.4.10 introduz melhorias significativas na funcionalidade e estabilidade. Os principais recursos incluem suporte para operações de upsert em coleções habilitadas para AutoID, recursos de carregamento de coleções parciais e várias configurações de memória mapeada (MMAP) para otimizar o uso da memória. Esta versão também soluciona vários erros que causam panes, despejos de núcleo e vazamentos de recursos. Recomendamos a atualização para tirar o máximo partido destas melhorias.

                                                                                                                                                                                                                                                                          -

                                                                                                                                                                                                                                                                          Caraterísticas

                                                                                                                                                                                                                                                                            -
                                                                                                                                                                                                                                                                          • Upsert com ID automático: Suporte para operações de upsert com geração automática de ID(#34633)
                                                                                                                                                                                                                                                                          • -
                                                                                                                                                                                                                                                                          • Carregamento parcial de campos de uma coleção [Beta Preview]: Permite carregar campos específicos de uma coleção(#35696)
                                                                                                                                                                                                                                                                          • -
                                                                                                                                                                                                                                                                          • Melhorias RBAC:
                                                                                                                                                                                                                                                                              -
                                                                                                                                                                                                                                                                            • Adicionado suporte de mensagens RBAC para a Captura de Dados de Alterações (CDC)(#35562)
                                                                                                                                                                                                                                                                            • -
                                                                                                                                                                                                                                                                            • Introduzidos grupos de privilégios readonly/readwrite/admin para simplificar o processo de concessão RBAC(#35543)
                                                                                                                                                                                                                                                                            • -
                                                                                                                                                                                                                                                                            • Nova API para efetuar cópias de segurança e restaurar configurações RBAC(#35513)
                                                                                                                                                                                                                                                                            • -
                                                                                                                                                                                                                                                                            • Atualização da cache proxy após restaurar os metadados RBAC(#35636)
                                                                                                                                                                                                                                                                            • +

                                                                                                                                                                                                                                                                              Milvus 2.4.10 introduces significant improvements in functionality and stability. Key features include support for upsert operations on AutoID-enabled collections, partial collection loading capabilities, and various memory-mapped (MMAP) configurations to optimize memory usage. This release also addresses several bugs causing panics, core dumps, and resource leaks. We recommend upgrading to take full advantage of these improvements.

                                                                                                                                                                                                                                                                              +

                                                                                                                                                                                                                                                                              Features

                                                                                                                                                                                                                                                                                +
                                                                                                                                                                                                                                                                              • Upsert with Auto ID: Support for upsert operations with automatic ID generation (#34633)
                                                                                                                                                                                                                                                                              • +
                                                                                                                                                                                                                                                                              • Field Partial Load Collection [Beta Preview]: Allows loading specific fields of a collection (#35696)
                                                                                                                                                                                                                                                                              • +
                                                                                                                                                                                                                                                                              • RBAC Enhancements: +
                                                                                                                                                                                                                                                                                  +
                                                                                                                                                                                                                                                                                • Added RBAC message support for Change Data Capture (CDC) (#35562)
                                                                                                                                                                                                                                                                                • +
                                                                                                                                                                                                                                                                                • Introduced readonly/readwrite/admin privilege groups to simplify RBAC grant process (#35543)
                                                                                                                                                                                                                                                                                • +
                                                                                                                                                                                                                                                                                • New API for backing up and restoring RBAC configurations (#35513)
                                                                                                                                                                                                                                                                                • +
                                                                                                                                                                                                                                                                                • Refresh proxy cache after restoring RBAC metadata (#35636)
                                                                                                                                                                                                                                                                              • -
                                                                                                                                                                                                                                                                              • Configuração MMAP melhorada: Mais opções de configuração gerais para controlar o comportamento MMAP(#35609)
                                                                                                                                                                                                                                                                              • -
                                                                                                                                                                                                                                                                              • Restrições de acesso à base de dados: Novas propriedades para restringir o acesso de leitura a bases de dados(#35754)
                                                                                                                                                                                                                                                                              • +
                                                                                                                                                                                                                                                                              • Improved MMAP Configuration: More general configuration options to control MMAP behavior (#35609)
                                                                                                                                                                                                                                                                              • +
                                                                                                                                                                                                                                                                              • Database Access Restrictions: New properties to restrict read access to databases (#35754)
                                                                                                                                                                                                                                                                              -

                                                                                                                                                                                                                                                                              Correcções de erros

                                                                                                                                                                                                                                                                                -
                                                                                                                                                                                                                                                                              • Corrigido o problema do cliente Arrow Go não devolver o erro(#35820)
                                                                                                                                                                                                                                                                              • -
                                                                                                                                                                                                                                                                              • Correção da limitação de taxa imprecisa(#35700)
                                                                                                                                                                                                                                                                              • -
                                                                                                                                                                                                                                                                              • Resolvido o pânico do proxy após falhas API relacionadas com a importação(#35559)
                                                                                                                                                                                                                                                                              • -
                                                                                                                                                                                                                                                                              • Corrigidas potenciais eliminações erradas durante os checkpoints do canal GC(#35708)
                                                                                                                                                                                                                                                                              • -
                                                                                                                                                                                                                                                                              • Resolvido o pânico devido a segmentos de importação candidatos vazios(#35674)
                                                                                                                                                                                                                                                                              • -
                                                                                                                                                                                                                                                                              • Corrigida a desalocação de memória mmap(#35726)
                                                                                                                                                                                                                                                                              • -
                                                                                                                                                                                                                                                                              • Assegurada a observação adequada do canal para actualizações de 2.2 para 2.4(#35695)
                                                                                                                                                                                                                                                                              • -
                                                                                                                                                                                                                                                                              • Corrigida a função de libertação de canal do DataNode sem observação(#35657)
                                                                                                                                                                                                                                                                              • -
                                                                                                                                                                                                                                                                              • Correção da contagem de partições nos metadados do RootCoord(#35601)
                                                                                                                                                                                                                                                                              • -
                                                                                                                                                                                                                                                                              • Resolvidos problemas com actualizações de configuração dinâmica para certos parâmetros(#35637)
                                                                                                                                                                                                                                                                              • +

                                                                                                                                                                                                                                                                                Bug fixes

                                                                                                                                                                                                                                                                                  +
                                                                                                                                                                                                                                                                                • Fixed Arrow Go client don’t return error issue (#35820)
                                                                                                                                                                                                                                                                                • +
                                                                                                                                                                                                                                                                                • Corrected inaccurate rate limiting (#35700)
                                                                                                                                                                                                                                                                                • +
                                                                                                                                                                                                                                                                                • Resolved proxy panic after import-related API failures (#35559)
                                                                                                                                                                                                                                                                                • +
                                                                                                                                                                                                                                                                                • Fixed potential mistaken deletions during GC channel checkpoints (#35708)
                                                                                                                                                                                                                                                                                • +
                                                                                                                                                                                                                                                                                • Addressed panic due to empty candidate import segments (#35674)
                                                                                                                                                                                                                                                                                • +
                                                                                                                                                                                                                                                                                • Corrected mmap memory deallocation (#35726)
                                                                                                                                                                                                                                                                                • +
                                                                                                                                                                                                                                                                                • Ensured proper channel watching for upgrades from 2.2 to 2.4 (#35695)
                                                                                                                                                                                                                                                                                • +
                                                                                                                                                                                                                                                                                • Fixed DataNode unwatching channel release function (#35657)
                                                                                                                                                                                                                                                                                • +
                                                                                                                                                                                                                                                                                • Corrected partition count in RootCoord metadata (#35601)
                                                                                                                                                                                                                                                                                • +
                                                                                                                                                                                                                                                                                • Resolved issues with dynamic config updates for certain parameters (#35637)
                                                                                                                                                                                                                                                                                -

                                                                                                                                                                                                                                                                                Melhorias

                                                                                                                                                                                                                                                                                Desempenho

                                                                                                                                                                                                                                                                                  -
                                                                                                                                                                                                                                                                                • Optimizada a recuperação em campos dinâmicos(#35602)
                                                                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                                                                • Desempenho melhorado do bitset para AVX512(#35480)
                                                                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                                                                • Valor relido após a inicialização do once para melhor eficiência(#35643)
                                                                                                                                                                                                                                                                                • +

                                                                                                                                                                                                                                                                                  Improvements

                                                                                                                                                                                                                                                                                  Performance

                                                                                                                                                                                                                                                                                    +
                                                                                                                                                                                                                                                                                  • Optimized retrieval on dynamic fields (#35602)
                                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                                  • Improved bitset performance for AVX512 (#35480)
                                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                                  • Re-read value after once initialization for better efficiency (#35643)
                                                                                                                                                                                                                                                                                  -

                                                                                                                                                                                                                                                                                  Melhorias na atualização contínua

                                                                                                                                                                                                                                                                                    -
                                                                                                                                                                                                                                                                                  • Marcado o nó de consulta como só de leitura depois de suspenso(#35586)
                                                                                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                                                                                  • Preveniu a coexistência do coordenador antigo com o novo nó/proxy(#35760)
                                                                                                                                                                                                                                                                                  • +

                                                                                                                                                                                                                                                                                    Rolling upgrade improvements

                                                                                                                                                                                                                                                                                      +
                                                                                                                                                                                                                                                                                    • Marked query node as read-only after suspended (#35586)
                                                                                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                                                                                    • Prevented coexistence of old coordinator with new node/proxy (#35760)
                                                                                                                                                                                                                                                                                    -

                                                                                                                                                                                                                                                                                    Outros

                                                                                                                                                                                                                                                                                      -
                                                                                                                                                                                                                                                                                    • Optimizado o processo de construção do núcleo do Milvus(#35660)
                                                                                                                                                                                                                                                                                    • -
                                                                                                                                                                                                                                                                                    • Atualizado para protobuf-go v2(#35555)
                                                                                                                                                                                                                                                                                    • -
                                                                                                                                                                                                                                                                                    • Melhorado o tracing com codificação de string hexadecimal para traceid e spanid(#35568)
                                                                                                                                                                                                                                                                                    • -
                                                                                                                                                                                                                                                                                    • Adicionada métrica de número de segmento de sucesso para o gancho de consulta(#35619)
                                                                                                                                                                                                                                                                                    • -
                                                                                                                                                                                                                                                                                    • Compatibilidade melhorada com o SDK antigo para a funcionalidade de configuração de parâmetros de carga(#35573)
                                                                                                                                                                                                                                                                                    • -
                                                                                                                                                                                                                                                                                    • Adicionado suporte para HTTP v1/v2 throttling(#35504)
                                                                                                                                                                                                                                                                                    • -
                                                                                                                                                                                                                                                                                    • Corrigida a estimativa de memória do índice(#35670)
                                                                                                                                                                                                                                                                                    • -
                                                                                                                                                                                                                                                                                    • Capacidade de escrever múltiplos segmentos no compactador de mistura para evitar a geração de segmentos grandes(#35648)
                                                                                                                                                                                                                                                                                    • +

                                                                                                                                                                                                                                                                                      Others

                                                                                                                                                                                                                                                                                        +
                                                                                                                                                                                                                                                                                      • Optimized Milvus core building process (#35660)
                                                                                                                                                                                                                                                                                      • +
                                                                                                                                                                                                                                                                                      • Updated to protobuf-go v2 (#35555)
                                                                                                                                                                                                                                                                                      • +
                                                                                                                                                                                                                                                                                      • Enhanced tracing with hex string encoding for traceid and spanid (#35568)
                                                                                                                                                                                                                                                                                      • +
                                                                                                                                                                                                                                                                                      • Added hit segment number metrics for query hook (#35619)
                                                                                                                                                                                                                                                                                      • +
                                                                                                                                                                                                                                                                                      • Improved compatibility with old SDK for configure load param feature (#35573)
                                                                                                                                                                                                                                                                                      • +
                                                                                                                                                                                                                                                                                      • Added support for HTTP v1/v2 throttling (#35504)
                                                                                                                                                                                                                                                                                      • +
                                                                                                                                                                                                                                                                                      • Fixed index memory estimation (#35670)
                                                                                                                                                                                                                                                                                      • +
                                                                                                                                                                                                                                                                                      • Ability to write multiple segments in mix compactor to avoid large segment generation (#35648)

                                                                                                                                                                                                                                                                                      v2.4.9

                                                                                                                                                                                                                                                                                      Data de lançamento: 20 de agosto de 2024

                                                                                                                                                                                                                                                                                      +

                                                                                                                                                                                                                                                                                      Release Date: August 20, 2024

                                                                                                                                                                                                                                                                                      - +
                                                                                                                                                                                                                                                                                      Versão do MilvusVersão do Python SDKVersão do Java SDKVersão do SDK do Node.js
                                                                                                                                                                                                                                                                                      Milvus versionPython SDK versionJava SDK versionNode.js SDK version
                                                                                                                                                                                                                                                                                      2.4.92.4.52.4.32.4.4
                                                                                                                                                                                                                                                                                      -

                                                                                                                                                                                                                                                                                      O Milvus v2.4.9 resolve um problema crítico que poderia retornar resultados inferiores ao limite (topk) em alguns casos de canto e inclui várias melhorias importantes para melhorar o desempenho e a usabilidade da plataforma.

                                                                                                                                                                                                                                                                                      -

                                                                                                                                                                                                                                                                                      Correcções críticas

                                                                                                                                                                                                                                                                                        -
                                                                                                                                                                                                                                                                                      • Excluído o segmento l0 do snapshot legível(#35510).
                                                                                                                                                                                                                                                                                      • +

                                                                                                                                                                                                                                                                                        Milvus v2.4.9 addresses a critical issue which could return results less than limit (topk) in some corner cases and includes several key improvements to enhance the performance and usability of the platform.

                                                                                                                                                                                                                                                                                        +

                                                                                                                                                                                                                                                                                        Critical fixes

                                                                                                                                                                                                                                                                                          +
                                                                                                                                                                                                                                                                                        • Excluded l0 segment from readable snapshot (#35510).
                                                                                                                                                                                                                                                                                        -

                                                                                                                                                                                                                                                                                        Melhorias

                                                                                                                                                                                                                                                                                          -
                                                                                                                                                                                                                                                                                        • Removida a criação duplicada de ajudante de esquema no proxy(#35502).
                                                                                                                                                                                                                                                                                        • -
                                                                                                                                                                                                                                                                                        • Adicionado suporte para compilação do Milvus no Ubuntu 20.04(#35457).
                                                                                                                                                                                                                                                                                        • -
                                                                                                                                                                                                                                                                                        • Optimizado o uso de bloqueios e evitado o double flush do escritor de buffer de clustering(#35490).
                                                                                                                                                                                                                                                                                        • -
                                                                                                                                                                                                                                                                                        • Removido o log inválido(#35473).
                                                                                                                                                                                                                                                                                        • -
                                                                                                                                                                                                                                                                                        • Adicionado um documento de guia de utilizador de compactação de clustering(#35428).
                                                                                                                                                                                                                                                                                        • -
                                                                                                                                                                                                                                                                                        • Adicionado suporte para campos dinâmicos no auxiliar de esquema(#35469).
                                                                                                                                                                                                                                                                                        • -
                                                                                                                                                                                                                                                                                        • Adicionada a secção msgchannel no YAML gerado(#35466).
                                                                                                                                                                                                                                                                                        • +

                                                                                                                                                                                                                                                                                          Improvements

                                                                                                                                                                                                                                                                                            +
                                                                                                                                                                                                                                                                                          • Removed duplicated schema helper creation in the proxy (#35502).
                                                                                                                                                                                                                                                                                          • +
                                                                                                                                                                                                                                                                                          • Added support for compiling Milvus on Ubuntu 20.04 (#35457).
                                                                                                                                                                                                                                                                                          • +
                                                                                                                                                                                                                                                                                          • Optimized the use of locks and avoided double flush clustering buffer writer (#35490).
                                                                                                                                                                                                                                                                                          • +
                                                                                                                                                                                                                                                                                          • Removed the invalid log (#35473).
                                                                                                                                                                                                                                                                                          • +
                                                                                                                                                                                                                                                                                          • Added a clustering compaction user guide doc (#35428).
                                                                                                                                                                                                                                                                                          • +
                                                                                                                                                                                                                                                                                          • Added support for dynamic fields in the schema helper (#35469).
                                                                                                                                                                                                                                                                                          • +
                                                                                                                                                                                                                                                                                          • Added the msgchannel section in the generated YAML (#35466).

                                                                                                                                                                                                                                                                                          v2.4.8

                                                                                                                                                                                                                                                                                          Data de lançamento: 14 de agosto de 2024

                                                                                                                                                                                                                                                                                          +

                                                                                                                                                                                                                                                                                          Release Date: August 14, 2024

                                                                                                                                                                                                                                                                                          - +
                                                                                                                                                                                                                                                                                          Versão do MilvusVersão do Python SDKVersão do Java SDKVersão do SDK do Node.js
                                                                                                                                                                                                                                                                                          Milvus versionPython SDK versionJava SDK versionNode.js SDK version
                                                                                                                                                                                                                                                                                          2.4.82.4.52.4.32.4.4
                                                                                                                                                                                                                                                                                          -

                                                                                                                                                                                                                                                                                          O Milvus 2.4.8 introduziu várias melhorias significativas no desempenho e na estabilidade do sistema. A caraterística mais notável foi a implementação da compactação de clustering, um mecanismo que melhora a eficiência da pesquisa e consulta redistribuindo dados em grandes colecções com base numa chave de clustering designada, reduzindo a quantidade de dados digitalizados. A compactação também foi desacoplada do DataNode do fragmento, permitindo que qualquer DataNode execute a compactação de forma independente, o que melhorou a tolerância a falhas, a estabilidade, o desempenho e a escalabilidade. Além disso, a interface entre os componentes Go e C++ foi refatorada para usar chamadas CGO assíncronas, resolvendo problemas como timeouts de sessão, enquanto várias outras otimizações de desempenho foram feitas com base na criação de perfis. As dependências da aplicação também foram actualizadas para resolver vulnerabilidades de segurança conhecidas. Além disso, esta versão também inclui várias optimizações de desempenho e correcções de erros críticos.

                                                                                                                                                                                                                                                                                          -

                                                                                                                                                                                                                                                                                          Caraterísticas

                                                                                                                                                                                                                                                                                            -
                                                                                                                                                                                                                                                                                          • Implementação da compactação de clustering, permitindo que os dados sejam redistribuídos com base numa chave de clustering designada para melhorar a eficiência da consulta(#34326),(#34363).
                                                                                                                                                                                                                                                                                          • +

                                                                                                                                                                                                                                                                                            Milvus 2.4.8 introduced several significant improvements to the system’s performance and stability. The most notable feature was the implementation of clustering compaction, a mechanism that enhances search and query efficiency by redistributing data in large collections based on a designated clustering key, reducing the amount of data scanned. Compaction was also decoupled from the shard DataNode, allowing any DataNode to perform compaction independently, which improved fault tolerance, stability, performance, and scalability. Additionally, the interface between the Go and C++ components was refactored to use asynchronous CGO calls, addressing issues like session timeouts, while several other performance optimizations were made based on profiling. The application dependencies were also updated to address known security vulnerabilities. Moreover, this release also includes numerous performance optimizations and critical bug fixes.

                                                                                                                                                                                                                                                                                            +

                                                                                                                                                                                                                                                                                            Features

                                                                                                                                                                                                                                                                                              +
                                                                                                                                                                                                                                                                                            • Implemented clustering compaction, allowing data to be redistributed based on a designated clustering key to enhance query efficiency (#34326), (#34363).
                                                                                                                                                                                                                                                                                            -

                                                                                                                                                                                                                                                                                            Melhorias

                                                                                                                                                                                                                                                                                              -
                                                                                                                                                                                                                                                                                            • Implementadas capacidades de pesquisa e recuperação assíncronas no CGO.(#34200)
                                                                                                                                                                                                                                                                                            • -
                                                                                                                                                                                                                                                                                            • Separado o processo de compactação do Shard DataNode para melhorar a modularidade do sistema.(#34157)
                                                                                                                                                                                                                                                                                            • -
                                                                                                                                                                                                                                                                                            • Adicionado suporte para pooling de clientes no QueryNode dentro do proxy/delegator para melhorar o desempenho.(#35195)
                                                                                                                                                                                                                                                                                            • -
                                                                                                                                                                                                                                                                                            • Sonic integrado para minimizar a sobrecarga da CPU durante o marshaling e unmarshaling JSON nos manipuladores Gin e RestfulV1.(#35018)
                                                                                                                                                                                                                                                                                            • -
                                                                                                                                                                                                                                                                                            • Introduzido um cache na memória para otimizar a recuperação de resultados de autenticação.(#35272)
                                                                                                                                                                                                                                                                                            • -
                                                                                                                                                                                                                                                                                            • Modificado o tipo de métrica padrão para autoindexação. [#34277, #34479]
                                                                                                                                                                                                                                                                                            • -
                                                                                                                                                                                                                                                                                            • Refactorizado o formato de memória em tempo de execução para colunas variáveis, levando à redução da utilização de memória.[#34367, #35012, #35041]
                                                                                                                                                                                                                                                                                            • -
                                                                                                                                                                                                                                                                                            • Processos de compactação refatorados para permitir o armazenamento de dados persistentes.(#34268)
                                                                                                                                                                                                                                                                                            • -
                                                                                                                                                                                                                                                                                            • Ativado o suporte de ficheiros memory-mapped para segmentos crescentes, melhorando a gestão da memória.(#34110)
                                                                                                                                                                                                                                                                                            • -
                                                                                                                                                                                                                                                                                            • Registos de acesso melhorados, adicionando suporte a API RESTful, níveis de consistência de registo e distinção entre erros do sistema e do utilizador.[#34295, #34352, #34396]
                                                                                                                                                                                                                                                                                            • -
                                                                                                                                                                                                                                                                                            • Utilizado o novo parâmetro range_search_k no Knowhere para acelerar as pesquisas de intervalo.(#34709)
                                                                                                                                                                                                                                                                                            • -
                                                                                                                                                                                                                                                                                            • Aplicados filtros Bloom bloqueados para aumentar a velocidade de construção e consulta de filtros.[#34377, #34922]
                                                                                                                                                                                                                                                                                            • -
                                                                                                                                                                                                                                                                                            • Melhorias na utilização da memória:
                                                                                                                                                                                                                                                                                                -
                                                                                                                                                                                                                                                                                              • Espaço pré-alocado para os buffers de inserção do DataNode.(#34205)
                                                                                                                                                                                                                                                                                              • -
                                                                                                                                                                                                                                                                                              • Pré-alocado FieldData para operações Reduce.(#34254)
                                                                                                                                                                                                                                                                                              • -
                                                                                                                                                                                                                                                                                              • Registos libertados no codec de eliminação para evitar fugas de memória.(#34506)
                                                                                                                                                                                                                                                                                              • -
                                                                                                                                                                                                                                                                                              • Controlado o nível de concorrência do gestor de ficheiros do disco durante o carregamento de ficheiros.(#35282)
                                                                                                                                                                                                                                                                                              • -
                                                                                                                                                                                                                                                                                              • Optimizada a lógica de recolha de lixo em tempo de execução do Go para libertação atempada de memória.(#34950)
                                                                                                                                                                                                                                                                                              • -
                                                                                                                                                                                                                                                                                              • Implementada uma nova política de selagem para segmentos crescentes.(#34779)
                                                                                                                                                                                                                                                                                              • +

                                                                                                                                                                                                                                                                                                Improvements

                                                                                                                                                                                                                                                                                                  +
                                                                                                                                                                                                                                                                                                • Implemented asynchronous search and retrieval capabilities in CGO. (#34200)
                                                                                                                                                                                                                                                                                                • +
                                                                                                                                                                                                                                                                                                • Separated the compaction process from the Shard DataNode to improve system modularity. (#34157)
                                                                                                                                                                                                                                                                                                • +
                                                                                                                                                                                                                                                                                                • Added support for client pooling in QueryNode within the proxy/delegator to enhance performance. (#35195)
                                                                                                                                                                                                                                                                                                • +
                                                                                                                                                                                                                                                                                                • Integrated Sonic to minimize CPU overhead during JSON marshaling and unmarshaling in Gin and RestfulV1 handlers. (#35018)
                                                                                                                                                                                                                                                                                                • +
                                                                                                                                                                                                                                                                                                • Introduced an in-memory cache to optimize authentication result retrieval. (#35272)
                                                                                                                                                                                                                                                                                                • +
                                                                                                                                                                                                                                                                                                • Modified the default metric type for autoindex. [#34277, #34479]
                                                                                                                                                                                                                                                                                                • +
                                                                                                                                                                                                                                                                                                • Refactored the runtime memory format for variable columns, leading to reduced memory usage. [#34367, #35012, #35041]
                                                                                                                                                                                                                                                                                                • +
                                                                                                                                                                                                                                                                                                • Refactored compaction processes to enable persistent data storage. (#34268)
                                                                                                                                                                                                                                                                                                • +
                                                                                                                                                                                                                                                                                                • Enabled memory-mapped file support for growing segments, improving memory management. (#34110)
                                                                                                                                                                                                                                                                                                • +
                                                                                                                                                                                                                                                                                                • Improved access logs by adding RESTful API support, logging consistency levels, and distinguishing between system and user errors. [#34295, #34352, #34396]
                                                                                                                                                                                                                                                                                                • +
                                                                                                                                                                                                                                                                                                • Utilized the new range_search_k parameter in Knowhere to speed up range searches. (#34709)
                                                                                                                                                                                                                                                                                                • +
                                                                                                                                                                                                                                                                                                • Applied blocked Bloom filters to enhance the speed of filter construction and querying. [#34377, #34922]
                                                                                                                                                                                                                                                                                                • +
                                                                                                                                                                                                                                                                                                • Memory Usage Improvements: +
                                                                                                                                                                                                                                                                                                    +
                                                                                                                                                                                                                                                                                                  • Pre-allocated space for DataNode insert buffers. (#34205)
                                                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                                                  • Pre-allocated FieldData for Reduce operations. (#34254)
                                                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                                                  • Released records in delete codec to prevent memory leaks. (#34506)
                                                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                                                  • Controlled concurrency level of the disk file manager during file loading. (#35282)
                                                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                                                  • Optimized Go runtime garbage collection logic for timely memory release. (#34950)
                                                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                                                  • Implemented a new seal policy for growing segments. (#34779)
                                                                                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                                                                                • Melhorias no DataCoord:
                                                                                                                                                                                                                                                                                                    -
                                                                                                                                                                                                                                                                                                  • Reduzida a utilização da CPU.[#34231, #34309]
                                                                                                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                                                                                                  • Implementada uma lógica de saída de recolha de lixo mais rápida.(#35051)
                                                                                                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                                                                                                  • Melhoria dos algoritmos de agendamento dos nós de trabalho.(#34382)
                                                                                                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                                                                                                  • Algoritmo de controlo de tamanho de segmento melhorado especificamente para operações de importação.(#35149)
                                                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                                                  • DataCoord Enhancements: +
                                                                                                                                                                                                                                                                                                      +
                                                                                                                                                                                                                                                                                                    • Reduced CPU usage. [#34231, #34309]
                                                                                                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                                                                                                    • Implemented faster garbage collection exit logic. (#35051)
                                                                                                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                                                                                                    • Improved worker node scheduling algorithms. (#34382)
                                                                                                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                                                                                                    • Enhanced segment size control algorithm specifically for import operations. (#35149)
                                                                                                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                                                                                                  • Melhorias no algoritmo de balanceamento de carga:
                                                                                                                                                                                                                                                                                                      -
                                                                                                                                                                                                                                                                                                    • Reduzido o fator de sobrecarga de memória no delegador.(#35164)
                                                                                                                                                                                                                                                                                                    • -
                                                                                                                                                                                                                                                                                                    • Atribuído um tamanho de memória fixo para o delegador.(#34600)
                                                                                                                                                                                                                                                                                                    • -
                                                                                                                                                                                                                                                                                                    • Evitada a atribuição excessiva de segmentos e canais para novos nós de consulta.(#34245)
                                                                                                                                                                                                                                                                                                    • -
                                                                                                                                                                                                                                                                                                    • Reduzido o número de tarefas por ciclo de agendamento pelo Coordenador de Consultas, aumentando a frequência de agendamento.(#34987)
                                                                                                                                                                                                                                                                                                    • -
                                                                                                                                                                                                                                                                                                    • Melhoria do algoritmo de equilíbrio de canais no DataNode.(#35033)
                                                                                                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                                                                                                    • Load Balancing Algorithm Improvements: +
                                                                                                                                                                                                                                                                                                        +
                                                                                                                                                                                                                                                                                                      • Reduced the memory overload factor on the delegator. (#35164)
                                                                                                                                                                                                                                                                                                      • +
                                                                                                                                                                                                                                                                                                      • Allocated fixed memory size for the delegator. (#34600)
                                                                                                                                                                                                                                                                                                      • +
                                                                                                                                                                                                                                                                                                      • Avoided excessive allocation of segments and channels for new query nodes. (#34245)
                                                                                                                                                                                                                                                                                                      • +
                                                                                                                                                                                                                                                                                                      • Reduced the number of tasks per scheduling cycle by Query Coordinator while increasing scheduling frequency. (#34987)
                                                                                                                                                                                                                                                                                                      • +
                                                                                                                                                                                                                                                                                                      • Enhanced channel balancing algorithm on the DataNode. (#35033)
                                                                                                                                                                                                                                                                                                    • -
                                                                                                                                                                                                                                                                                                    • Métricas do sistema expandidas: Adicionadas novas métricas em vários componentes para monitorizar aspectos específicos, incluindo:
                                                                                                                                                                                                                                                                                                        -
                                                                                                                                                                                                                                                                                                      • Estado de escrita forçada de negação.(#34989)
                                                                                                                                                                                                                                                                                                      • -
                                                                                                                                                                                                                                                                                                      • Latência da fila.(#34788)
                                                                                                                                                                                                                                                                                                      • -
                                                                                                                                                                                                                                                                                                      • Quota de disco.(#35306)
                                                                                                                                                                                                                                                                                                      • -
                                                                                                                                                                                                                                                                                                      • Tempo de execução da tarefa.(#35141)
                                                                                                                                                                                                                                                                                                      • -
                                                                                                                                                                                                                                                                                                      • Tamanho do binlog.(#35235)
                                                                                                                                                                                                                                                                                                      • -
                                                                                                                                                                                                                                                                                                      • Taxa de inserção.(#35188)
                                                                                                                                                                                                                                                                                                      • -
                                                                                                                                                                                                                                                                                                      • Nível de água alto da memória.(#35188)
                                                                                                                                                                                                                                                                                                      • -
                                                                                                                                                                                                                                                                                                      • Métricas da API RESTful.(#35083)
                                                                                                                                                                                                                                                                                                      • -
                                                                                                                                                                                                                                                                                                      • Latência de pesquisa.(#34783)
                                                                                                                                                                                                                                                                                                      • +
                                                                                                                                                                                                                                                                                                      • Expanded System Metrics: Added new metrics across various components to monitor specific aspects including: +
                                                                                                                                                                                                                                                                                                      -

                                                                                                                                                                                                                                                                                                      Alterações

                                                                                                                                                                                                                                                                                                        -
                                                                                                                                                                                                                                                                                                      • Para utilizadores de código aberto, esta versão altera os tipos de métricas no AutoIndex para FloatVector e BinaryVector para Cosine e Hamming, respetivamente.

                                                                                                                                                                                                                                                                                                      • -
                                                                                                                                                                                                                                                                                                      • Versões corrigidas de dependências de terceiros:

                                                                                                                                                                                                                                                                                                        +

                                                                                                                                                                                                                                                                                                        Changes

                                                                                                                                                                                                                                                                                                          +
                                                                                                                                                                                                                                                                                                        • For open-source users, this version changes the metric types in AutoIndex for FloatVector and BinaryVector to Cosine and Hamming, respectively.

                                                                                                                                                                                                                                                                                                        • +
                                                                                                                                                                                                                                                                                                        • Fixed Third-Party Dependency Versions:

                                                                                                                                                                                                                                                                                                            -
                                                                                                                                                                                                                                                                                                          • Este lançamento introduz versões fixas para certas bibliotecas de dependência de terceiros, melhorando significativamente a gestão da cadeia de fornecimento de software da Milvus.
                                                                                                                                                                                                                                                                                                          • -
                                                                                                                                                                                                                                                                                                          • Ao isolar o projeto das alterações a montante, protege as construções diárias de potenciais interrupções.
                                                                                                                                                                                                                                                                                                          • -
                                                                                                                                                                                                                                                                                                          • A atualização assegura a estabilidade ao alojar exclusivamente pacotes validados C++ de terceiros no JFrog Cloud e ao utilizar as Revisões de Receitas Conan (RREV).
                                                                                                                                                                                                                                                                                                          • -
                                                                                                                                                                                                                                                                                                          • Esta abordagem atenua o risco de quebra de alterações de atualizações no ConanCenter.
                                                                                                                                                                                                                                                                                                          • -
                                                                                                                                                                                                                                                                                                          • Os desenvolvedores que usam o Ubuntu 22.04 se beneficiarão imediatamente dessas alterações. No entanto, os programadores de outros sistemas operativos poderão ter de atualizar a sua versão glibc para evitar problemas de compatibilidade.
                                                                                                                                                                                                                                                                                                          • +
                                                                                                                                                                                                                                                                                                          • This release introduces fixed versions for certain third-party dependency libraries, significantly enhancing Milvus’s software supply chain management.
                                                                                                                                                                                                                                                                                                          • +
                                                                                                                                                                                                                                                                                                          • By isolating the project from upstream changes, it safeguards daily builds from potential disruptions.
                                                                                                                                                                                                                                                                                                          • +
                                                                                                                                                                                                                                                                                                          • The update ensures stability by exclusively hosting validated C++ third-party packages on JFrog Cloud and utilizing Conan Recipe Revisions (RREV).
                                                                                                                                                                                                                                                                                                          • +
                                                                                                                                                                                                                                                                                                          • This approach mitigates the risk of breaking changes from updates in ConanCenter.
                                                                                                                                                                                                                                                                                                          • +
                                                                                                                                                                                                                                                                                                          • Developers using Ubuntu 22.04 will benefit immediately from these changes. However, developers on other operating systems may need to upgrade their glibc version to avoid compatibility issues.
                                                                                                                                                                                                                                                                                                        -

                                                                                                                                                                                                                                                                                                        Correções de erros críticos

                                                                                                                                                                                                                                                                                                          -
                                                                                                                                                                                                                                                                                                        • Corrigido um problema em que os dados de exclusão eram perdidos devido à omissão de segmentos durante a compactação L0.[#33980, #34363]
                                                                                                                                                                                                                                                                                                        • -
                                                                                                                                                                                                                                                                                                        • Corrigido um problema em que as mensagens de eliminação não eram encaminhadas devido ao tratamento incorreto do âmbito dos dados.(#35313)
                                                                                                                                                                                                                                                                                                        • -
                                                                                                                                                                                                                                                                                                        • Resolvida uma exceção SIGBUS que ocorria devido à utilização incorrecta de mmap.[#34455, #34530]
                                                                                                                                                                                                                                                                                                        • -
                                                                                                                                                                                                                                                                                                        • Corrigidos os crashes causados por expressões de pesquisa ilegais.(#35307)
                                                                                                                                                                                                                                                                                                        • -
                                                                                                                                                                                                                                                                                                        • Corrigido um problema em que o DataNode watch falhava devido a uma definição incorrecta de tempo limite no contexto do watch.(#35017)
                                                                                                                                                                                                                                                                                                        • +

                                                                                                                                                                                                                                                                                                          Critical bug fixes

                                                                                                                                                                                                                                                                                                            +
                                                                                                                                                                                                                                                                                                          • Fixed an issue where deletion data was lost due to segments being omitted during L0 compaction. [#33980, #34363]
                                                                                                                                                                                                                                                                                                          • +
                                                                                                                                                                                                                                                                                                          • Rectified a problem where delete messages failed to be forwarded due to incorrect data scope handling. (#35313)
                                                                                                                                                                                                                                                                                                          • +
                                                                                                                                                                                                                                                                                                          • Resolved a SIGBUS exception that occurred due to incorrect usage of mmap. [#34455, #34530]
                                                                                                                                                                                                                                                                                                          • +
                                                                                                                                                                                                                                                                                                          • Fixed crashes caused by illegal search expressions. (#35307)
                                                                                                                                                                                                                                                                                                          • +
                                                                                                                                                                                                                                                                                                          • Corrected an issue where DataNode watch failed due to an incorrect timeout setting in the watch context. (#35017)
                                                                                                                                                                                                                                                                                                          -

                                                                                                                                                                                                                                                                                                          Correcções de erros

                                                                                                                                                                                                                                                                                                            -
                                                                                                                                                                                                                                                                                                          • Resolvidas vulnerabilidades de segurança através da atualização de certas dependências.[#33927, #34693]
                                                                                                                                                                                                                                                                                                          • -
                                                                                                                                                                                                                                                                                                          • Corrigido um erro de análise despoletado por expressões excessivamente longas.(#34957)
                                                                                                                                                                                                                                                                                                          • -
                                                                                                                                                                                                                                                                                                          • Resolvida uma fuga de memória que ocorria durante a análise do plano de consulta.(#34932)
                                                                                                                                                                                                                                                                                                          • -
                                                                                                                                                                                                                                                                                                          • Corrigido um problema onde as modificações do nível de registo dinâmico não estavam a ter efeito.(#34777)
                                                                                                                                                                                                                                                                                                          • -
                                                                                                                                                                                                                                                                                                          • Resolvido um problema onde o grupo por consultas em dados crescentes falhava devido a offsets de segmento não inicializados.(#34750)
                                                                                                                                                                                                                                                                                                          • -
                                                                                                                                                                                                                                                                                                          • Corrigida a definição dos parâmetros de pesquisa ao utilizar o iterador Knowhere.(#34732)
                                                                                                                                                                                                                                                                                                          • -
                                                                                                                                                                                                                                                                                                          • Revisto a lógica para verificar o estado da carga da partição.(#34305)
                                                                                                                                                                                                                                                                                                          • -
                                                                                                                                                                                                                                                                                                          • Corrigido um problema em que as actualizações da cache de privilégios falhavam devido a erros de pedidos não tratados.(#34697)
                                                                                                                                                                                                                                                                                                          • -
                                                                                                                                                                                                                                                                                                          • Resolvida uma falha na recuperação da coleção carregada após o reinício do QueryCoord.(#35211)
                                                                                                                                                                                                                                                                                                          • -
                                                                                                                                                                                                                                                                                                          • Corrigido um problema de idempotência de carga, removendo a validação desnecessária de parâmetros de índice.(#35179)
                                                                                                                                                                                                                                                                                                          • -
                                                                                                                                                                                                                                                                                                          • Assegurado que o compressBinlog é executado para permitir que o reloadFromKV preencha corretamente o logID do binlog após o DataCoord reiniciar.(#34062)
                                                                                                                                                                                                                                                                                                          • -
                                                                                                                                                                                                                                                                                                          • Foi corrigido um problema em que os metadados da coleção não eram removidos após a recolha de lixo no DataCoord.(#34884)
                                                                                                                                                                                                                                                                                                          • -
                                                                                                                                                                                                                                                                                                          • Resolvido um vazamento de memória no SegmentManager dentro do DataCoord, removendo os segmentos de descarga gerados através de importações.(#34651)
                                                                                                                                                                                                                                                                                                          • -
                                                                                                                                                                                                                                                                                                          • Corrigido um problema de pânico quando a compactação era desactivada e uma coleção era abandonada.(#34206)
                                                                                                                                                                                                                                                                                                          • -
                                                                                                                                                                                                                                                                                                          • Foi corrigido um problema de falta de memória no DataNode, melhorando o algoritmo de estimativa de uso de memória.(#34203)
                                                                                                                                                                                                                                                                                                          • -
                                                                                                                                                                                                                                                                                                          • Prevenido o uso de memória quando vários pedidos de recuperação de vetor atingem uma falha de cache, implementando singleflight para cache de pedaços.(#34283)
                                                                                                                                                                                                                                                                                                          • -
                                                                                                                                                                                                                                                                                                          • Capturado ErrKeyNotFound durante operações CAS (Compare and Swap) na configuração.(#34489)
                                                                                                                                                                                                                                                                                                          • -
                                                                                                                                                                                                                                                                                                          • Corrigido um problema em que as actualizações de configuração falhavam devido à utilização errada do valor formatado numa operação CAS.(#34373)
                                                                                                                                                                                                                                                                                                          • +

                                                                                                                                                                                                                                                                                                            Bug fixes

                                                                                                                                                                                                                                                                                                              +
                                                                                                                                                                                                                                                                                                            • Addressed security vulnerabilities by upgrading certain dependencies. [#33927, #34693]
                                                                                                                                                                                                                                                                                                            • +
                                                                                                                                                                                                                                                                                                            • Fixed a parsing error triggered by excessively long expressions. (#34957)
                                                                                                                                                                                                                                                                                                            • +
                                                                                                                                                                                                                                                                                                            • Resolved a memory leak that occurred during query plan parsing. (#34932)
                                                                                                                                                                                                                                                                                                            • +
                                                                                                                                                                                                                                                                                                            • Fixed an issue where dynamic log level modifications were not taking effect. (#34777)
                                                                                                                                                                                                                                                                                                            • +
                                                                                                                                                                                                                                                                                                            • Resolved an issue where group by queries on growing data failed due to uninitialized segment offsets. (#34750)
                                                                                                                                                                                                                                                                                                            • +
                                                                                                                                                                                                                                                                                                            • Corrected the setting of search parameters when using the Knowhere iterator. (#34732)
                                                                                                                                                                                                                                                                                                            • +
                                                                                                                                                                                                                                                                                                            • Revised the logic for checking the status of the partition load. (#34305)
                                                                                                                                                                                                                                                                                                            • +
                                                                                                                                                                                                                                                                                                            • Fixed an issue where privilege cache updates failed due to unhandled request errors. (#34697)
                                                                                                                                                                                                                                                                                                            • +
                                                                                                                                                                                                                                                                                                            • Resolved a failure in loaded collection recovery after QueryCoord restarted. (#35211)
                                                                                                                                                                                                                                                                                                            • +
                                                                                                                                                                                                                                                                                                            • Fixed an issue of load idempotence by removing unnecessary index parameter validation. (#35179)
                                                                                                                                                                                                                                                                                                            • +
                                                                                                                                                                                                                                                                                                            • Ensured compressBinlog is executed to allow reloadFromKV to properly fill binlog’s logID after DataCoord restarts. (#34062)
                                                                                                                                                                                                                                                                                                            • +
                                                                                                                                                                                                                                                                                                            • Fixed an issue where collection metadata was not removed after garbage collection in DataCoord. (#34884)
                                                                                                                                                                                                                                                                                                            • +
                                                                                                                                                                                                                                                                                                            • Resolved a memory leak in SegmentManager within DataCoord by removing flushed segments generated through imports. (#34651)
                                                                                                                                                                                                                                                                                                            • +
                                                                                                                                                                                                                                                                                                            • Fixed a panic issue when compaction was disabled and a collection was dropped. (#34206)
                                                                                                                                                                                                                                                                                                            • +
                                                                                                                                                                                                                                                                                                            • Fixed an out-of-memory issue in DataNode by enhancing the memory usage estimation algorithm. (#34203)
                                                                                                                                                                                                                                                                                                            • +
                                                                                                                                                                                                                                                                                                            • Prevented burst memory usage when multiple vector retrieval requests hit a cache miss by implementing singleflight for chunk cache. (#34283)
                                                                                                                                                                                                                                                                                                            • +
                                                                                                                                                                                                                                                                                                            • Captured ErrKeyNotFound during CAS (Compare and Swap) operations in the configuration. (#34489)
                                                                                                                                                                                                                                                                                                            • +
                                                                                                                                                                                                                                                                                                            • Fixed an issue where configuration updates failed due to mistakenly using the formatted value in a CAS operation. (#34373)
                                                                                                                                                                                                                                                                                                            -

                                                                                                                                                                                                                                                                                                            Diversos

                                                                                                                                                                                                                                                                                                              -
                                                                                                                                                                                                                                                                                                            • Adicionado suporte para o exportador HTTP OTLP, melhorando a observabilidade e as capacidades de monitorização. [#35073, #35299]
                                                                                                                                                                                                                                                                                                            • -
                                                                                                                                                                                                                                                                                                            • Funcionalidade da base de dados melhorada através da introdução de propriedades como "max collections" e "disk quota", que podem agora ser modificadas dinamicamente.[#34511, #34386]
                                                                                                                                                                                                                                                                                                            • -
                                                                                                                                                                                                                                                                                                            • Adicionadas capacidades de rastreio para processos de compactação L0 no DataNode para melhorar o diagnóstico e a monitorização.(#33898)
                                                                                                                                                                                                                                                                                                            • -
                                                                                                                                                                                                                                                                                                            • Introduzida a configuração de quotas para o número de entradas de segmentos L0 por coleção, permitindo um melhor controlo sobre as taxas de eliminação através da aplicação de contrapressão.(#34837)
                                                                                                                                                                                                                                                                                                            • -
                                                                                                                                                                                                                                                                                                            • Estendido o mecanismo de limitação de taxa para operações de inserção para também cobrir operações de upsert, garantindo um desempenho consistente sob alta carga.(#34616)
                                                                                                                                                                                                                                                                                                            • -
                                                                                                                                                                                                                                                                                                            • Implementado um grupo CGO dinâmico para chamadas CGO proxy, optimizando a utilização de recursos e o desempenho.(#34842)
                                                                                                                                                                                                                                                                                                            • -
                                                                                                                                                                                                                                                                                                            • Activada a opção de compilação DiskAnn para os sistemas operativos Ubuntu, Rocky e Amazon, melhorando a compatibilidade e o desempenho nestas plataformas.(#34244)
                                                                                                                                                                                                                                                                                                            • -
                                                                                                                                                                                                                                                                                                            • Atualizado o Conan para a versão 1.64.1, assegurando a compatibilidade com as últimas funcionalidades e melhorias.(#35216)
                                                                                                                                                                                                                                                                                                            • -
                                                                                                                                                                                                                                                                                                            • Atualizado o Knowhere para a versão 2.3.7, trazendo melhorias de desempenho e novas funcionalidades.(#34709)
                                                                                                                                                                                                                                                                                                            • -
                                                                                                                                                                                                                                                                                                            • Corrigida a revisão de pacotes específicos de terceiros para garantir compilações consistentes e reduzir o risco de alterações inesperadas.(#35316)
                                                                                                                                                                                                                                                                                                            • +

                                                                                                                                                                                                                                                                                                              Miscellaneous

                                                                                                                                                                                                                                                                                                                +
                                                                                                                                                                                                                                                                                                              • Added support for the OTLP HTTP exporter, enhancing observability and monitoring capabilities. [#35073, #35299]
                                                                                                                                                                                                                                                                                                              • +
                                                                                                                                                                                                                                                                                                              • Enhanced database functionality by introducing properties such as “max collections” and “disk quota,” which can now be dynamically modified. [#34511, #34386]
                                                                                                                                                                                                                                                                                                              • +
                                                                                                                                                                                                                                                                                                              • Added tracing capabilities for L0 compaction processes within DataNode to improve diagnostics and monitoring. (#33898)
                                                                                                                                                                                                                                                                                                              • +
                                                                                                                                                                                                                                                                                                              • Introduced quota configuration for the number of L0 segment entries per collection, enabling better control over deletion rates by applying backpressure. (#34837)
                                                                                                                                                                                                                                                                                                              • +
                                                                                                                                                                                                                                                                                                              • Extended the rate-limiting mechanism for insert operations to also cover upsert operations, ensuring consistent performance under high load. (#34616)
                                                                                                                                                                                                                                                                                                              • +
                                                                                                                                                                                                                                                                                                              • Implemented a dynamic CGO pool for proxy CGO calls, optimizing resource usage and performance. (#34842)
                                                                                                                                                                                                                                                                                                              • +
                                                                                                                                                                                                                                                                                                              • Enabled the DiskAnn compile option for Ubuntu, Rocky, and Amazon operating systems, improving compatibility and performance on these platforms. (#34244)
                                                                                                                                                                                                                                                                                                              • +
                                                                                                                                                                                                                                                                                                              • Upgraded Conan to version 1.64.1, ensuring compatibility with the latest features and improvements. (#35216)
                                                                                                                                                                                                                                                                                                              • +
                                                                                                                                                                                                                                                                                                              • Updated Knowhere to version 2.3.7, bringing in performance enhancements and new features. (#34709)
                                                                                                                                                                                                                                                                                                              • +
                                                                                                                                                                                                                                                                                                              • Fixed the revision of specific third-party packages to ensure consistent builds and reduce the risk of unexpected changes. (#35316)

                                                                                                                                                                                                                                                                                                              v2.4.6

                                                                                                                                                                                                                                                                                                              Data de lançamento: 16 de julho de 2024

                                                                                                                                                                                                                                                                                                              +

                                                                                                                                                                                                                                                                                                              Release date: July 16, 2024

                                                                                                                                                                                                                                                                                                              - +
                                                                                                                                                                                                                                                                                                              Versão do MilvusVersão do Python SDKVersão do Java SDKVersão do SDK do Node.js
                                                                                                                                                                                                                                                                                                              Milvus versionPython SDK versionJava SDK versionNode.js SDK version
                                                                                                                                                                                                                                                                                                              2.4.62.4.42.4.22.4.4
                                                                                                                                                                                                                                                                                                              -

                                                                                                                                                                                                                                                                                                              O Milvus v2.4.6 é uma versão de correção de erros que resolve problemas críticos como panics, fugas de memória e perda de dados durante as eliminações. Também introduz várias optimizações, incluindo melhorias na monitorização de métricas, atualização da versão Go para 1.21 e melhoria da experiência do utilizador para consultas RESTful count(*).

                                                                                                                                                                                                                                                                                                              -

                                                                                                                                                                                                                                                                                                              Melhorias

                                                                                                                                                                                                                                                                                                                -
                                                                                                                                                                                                                                                                                                              • Melhorada a facilidade de utilização das consultas RESTful API(#34444).
                                                                                                                                                                                                                                                                                                              • -
                                                                                                                                                                                                                                                                                                              • Atualizada a versão Go de 1.20 para 1.21(#33940).
                                                                                                                                                                                                                                                                                                              • -
                                                                                                                                                                                                                                                                                                              • Otimizado o balde de métrica de histograma para uma granularidade mais fina no balde(#34592).
                                                                                                                                                                                                                                                                                                              • -
                                                                                                                                                                                                                                                                                                              • Atualizada a versão de dependência do Pulsar de 2.8.2 para 2.9.5. É recomendado atualizar o Pulsar para 2.9.5 desde o Milvus 2.4.6.
                                                                                                                                                                                                                                                                                                              • +

                                                                                                                                                                                                                                                                                                                Milvus v2.4.6 is a bug-fix release that addresses critical issues such as panics, memory leaks, and data loss during deletions. It also introduces several optimizations, including enhancements to monitoring metrics, upgrading the Go version to 1.21, and improving the user experience for RESTful count(*) queries.

                                                                                                                                                                                                                                                                                                                +

                                                                                                                                                                                                                                                                                                                Improvements

                                                                                                                                                                                                                                                                                                                  +
                                                                                                                                                                                                                                                                                                                • Enhanced the user-friendliness of RESTful API queries (#34444).
                                                                                                                                                                                                                                                                                                                • +
                                                                                                                                                                                                                                                                                                                • Upgraded the Go version from 1.20 to 1.21 (#33940).
                                                                                                                                                                                                                                                                                                                • +
                                                                                                                                                                                                                                                                                                                • Optimized the histogram metric bucket for finer granularity in bucketing (#34592).
                                                                                                                                                                                                                                                                                                                • +
                                                                                                                                                                                                                                                                                                                • Upgraded Pulsar dependency version from 2.8.2 to 2.9.5. It’s recommended to upgrade Pulsar to 2.9.5 since Milvus 2.4.6.
                                                                                                                                                                                                                                                                                                                -

                                                                                                                                                                                                                                                                                                                Correções de erros

                                                                                                                                                                                                                                                                                                                  -
                                                                                                                                                                                                                                                                                                                • Corrigido um problema onde a API GetReplicas retornava um status nulo(#34019).
                                                                                                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                                                                                                • Corrigido um problema em que as consultas podiam retornar registos apagados(#34502).
                                                                                                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                                                                                                • Foi resolvido um problema em que o IndexNode ficava preso durante a paragem devido a um controlo de tempo de vida incorreto(#34559).
                                                                                                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                                                                                                • Corrigida uma fuga de memória de objectos oracle de chave primária quando um trabalhador está offline(#34020).
                                                                                                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                                                                                                • Corrigido o ChannelManagerImplV2 para notificar o Node correto, abordando questões de captura de parâmetros no encerramento do loop(#34004).
                                                                                                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                                                                                                • Corrigida uma corrida de dados de leitura-escrita em ImportTask segmentsInfo implementando uma cópia profunda(#34126).
                                                                                                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                                                                                                • Corrigida a informação de versão para a opção de configuração "legacyVersionWithoutRPCWatch" para evitar erros durante actualizações contínuas(#34185).
                                                                                                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                                                                                                • Corrigida a métrica para o número de partições carregadas(#34195).
                                                                                                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                                                                                                • Passou a configuração otlpSecure ao configurar o rastreio segcore(#34210).
                                                                                                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                                                                                                • Corrigido um problema em que as propriedades do DataCoord eram substituídas por engano(#34240).
                                                                                                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                                                                                                • Resolvido um problema de perda de dados causado pela fusão errónea de dois fluxos de mensagens recentemente criados(#34563).
                                                                                                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                                                                                                • Resolvido um pânico causado pelo msgstream tentando consumir um pchannel inválido(#34230).
                                                                                                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                                                                                                • Resolvido um problema onde as importações podiam gerar ficheiros órfãos(#34071).
                                                                                                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                                                                                                • Corrigido resultados de consulta incompletos devido a chaves primárias duplicadas num segmento(#34302).
                                                                                                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                                                                                                • Resolvido um problema de falta de segmentos selados na compactação L0(#34566).
                                                                                                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                                                                                                • Corrigido o problema de dados sujos no meta channel-cp gerado após a recolha de lixo(#34609).
                                                                                                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                                                                                                • Corrigida a métrica onde database_num era 0 depois de reiniciar o RootCoord(#34010).
                                                                                                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                                                                                                • Corrigido um vazamento de memória no SegmentManager no DataCoord, removendo os segmentos de descarga gerados através da importação(#34652).
                                                                                                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                                                                                                • Assegurado que o compressBinlog preenche o logID dos binlogs após o DataCoord reiniciar, assegurando o recarregamento correto do KV(#34064).
                                                                                                                                                                                                                                                                                                                • +

                                                                                                                                                                                                                                                                                                                  Bug fixes

                                                                                                                                                                                                                                                                                                                    +
                                                                                                                                                                                                                                                                                                                  • Fixed an issue where the GetReplicas API returned a nil status (#34019).
                                                                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                                                                  • Corrected a problem where queries could return deleted records (#34502).
                                                                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                                                                  • Resolved an issue where IndexNode would get stuck during stopping due to incorrect lifetime control (#34559).
                                                                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                                                                  • Fixed a memory leak of primary key oracle objects when a worker is offline (#34020).
                                                                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                                                                  • Corrected ChannelManagerImplV2 to notify the correct Node, addressing parameter capture issues in loop closure (#34004).
                                                                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                                                                  • Fixed a read-write data race in ImportTask segmentsInfo by implementing a deep copy (#34126).
                                                                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                                                                  • Corrected version information for the “legacyVersionWithoutRPCWatch” configuration option to prevent errors during rolling upgrades (#34185).
                                                                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                                                                  • Fixed the metric for the number of partitions loaded (#34195).
                                                                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                                                                  • Passed the otlpSecure config when setting up segcore tracing (#34210).
                                                                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                                                                  • Fixed an issue where DataCoord’s properties were overwritten by mistake (#34240).
                                                                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                                                                  • Resolved a data loss issue caused by erroneously merging two newly created message streams (#34563).
                                                                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                                                                  • Fixed a panic caused by msgstream trying to consume an invalid pchannel (#34230).
                                                                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                                                                  • Addressed an issue where imports could generate orphaned files (#34071).
                                                                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                                                                  • Fixed incomplete query results due to duplicate primary keys in a segment (#34302).
                                                                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                                                                  • Resolved an issue of missing sealed segments in L0 compaction (#34566).
                                                                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                                                                  • Fixed the problem of dirty data in the channel-cp meta generated after garbage collection (#34609).
                                                                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                                                                  • Corrected the metrics where database_num was 0 after restarting RootCoord (#34010).
                                                                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                                                                  • Fixed a memory leak in SegmentManager in DataCoord by removing flushed segments generated through import (#34652).
                                                                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                                                                  • Ensured compressBinlog to fill binlogs’ logID after DataCoord restarts, ensuring proper reload from KV (#34064).

                                                                                                                                                                                                                                                                                                                  v2.4.5

                                                                                                                                                                                                                                                                                                                  Data de lançamento: 18 de junho de 2024

                                                                                                                                                                                                                                                                                                                  +

                                                                                                                                                                                                                                                                                                                  Release date: June 18, 2024

                                                                                                                                                                                                                                                                                                                  - +
                                                                                                                                                                                                                                                                                                                  Versão do MilvusVersão do Python SDKVersão do Java SDKVersão do SDK do Node.js
                                                                                                                                                                                                                                                                                                                  Milvus versionPython SDK versionJava SDK versionNode.js SDK version
                                                                                                                                                                                                                                                                                                                  2.4.52.4.42.4.12.4.3
                                                                                                                                                                                                                                                                                                                  -

                                                                                                                                                                                                                                                                                                                  O lançamento do Milvus 2.4.5 introduz várias melhorias e correcções de erros para melhorar o desempenho, a estabilidade e a funcionalidade. O Milvus 2.4.5 simplifica a pesquisa de vetores esparsos, float16 e bfloat16 com auto-indexação, acelera pesquisas, exclusões e compactações com otimizações do filtro Bloom e aborda o gerenciamento de dados através de tempos de carregamento mais rápidos e suporte a importação de segmentos L0. Ele também introduz o índice HNSW esparso para pesquisa eficiente de dados esparsos de alta dimensão, aprimora a API RESTful com suporte a vetor flutuante esparso e corrige bugs críticos para melhor estabilidade.

                                                                                                                                                                                                                                                                                                                  -

                                                                                                                                                                                                                                                                                                                  Novos recursos

                                                                                                                                                                                                                                                                                                                    -
                                                                                                                                                                                                                                                                                                                  • Adicionado suporte rbac para descrever/alterar a API da base de dados(#33804)
                                                                                                                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                                                                                                                  • Suporte para a construção do índice HNSW para vectores esparsos(#33653, #33662)
                                                                                                                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                                                                                                                  • Suporte à construção do índice de disco para vetor binário(#33575)
                                                                                                                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                                                                                                                  • Suporte para o tipo de vetor esparso em RESTful v2(#33555)
                                                                                                                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                                                                                                                  • Adicionada a api RESTful /management/stop para parar um componente(#33799)
                                                                                                                                                                                                                                                                                                                  • +

                                                                                                                                                                                                                                                                                                                    The release of Milvus 2.4.5 introduces several improvements and bug fixes to enhance performance, stability, and functionality. Milvus 2.4.5 simplifies sparse, float16, and bfloat16 vector search with auto-indexing, speeds up searches, deletions, and compactions with Bloom filter optimizations, and tackles data management through faster loading times and import L0 segment support. It also introduces the sparse HNSW index for efficient high-dimensional sparse data search, enhances the RESTful API with sparse float vector support, and fixes critical bugs for better stability.

                                                                                                                                                                                                                                                                                                                    +

                                                                                                                                                                                                                                                                                                                    New Features

                                                                                                                                                                                                                                                                                                                      +
                                                                                                                                                                                                                                                                                                                    • Added rbac support to describe/alter database api (#33804)
                                                                                                                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                                                                                                                    • Supported building the HNSW index for sparse vectors (#33653, #33662)
                                                                                                                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                                                                                                                    • Supported building the Disk index for binary vector (#33575)
                                                                                                                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                                                                                                                    • Supported sparse vector type on RESTful v2 (#33555)
                                                                                                                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                                                                                                                    • Add /management/stop RESTful api to stop a component (#33799)
                                                                                                                                                                                                                                                                                                                    -

                                                                                                                                                                                                                                                                                                                    Melhorias

                                                                                                                                                                                                                                                                                                                      -
                                                                                                                                                                                                                                                                                                                    • Definir o valor predefinido de maxPartitionNum para 1024(#33950)
                                                                                                                                                                                                                                                                                                                    • -
                                                                                                                                                                                                                                                                                                                    • Ativado para forçar a reinicialização da ligação por erro indisponível(#33910)
                                                                                                                                                                                                                                                                                                                    • -
                                                                                                                                                                                                                                                                                                                    • Ativado o limitador de taxa de descarga do nível de coleção(#33864)
                                                                                                                                                                                                                                                                                                                    • -
                                                                                                                                                                                                                                                                                                                    • Executada a aplicação do filtro bloom em paralelo para acelerar a previsão de segmentos(#33793)
                                                                                                                                                                                                                                                                                                                    • -
                                                                                                                                                                                                                                                                                                                    • Utilizada a biblioteca fastjson para desmarcar o log de eliminação para acelerar o json.Unmarshal(#33802)
                                                                                                                                                                                                                                                                                                                    • -
                                                                                                                                                                                                                                                                                                                    • Usado BatchPkExist para reduzir o custo da chamada da função bloom filter(#33752)
                                                                                                                                                                                                                                                                                                                    • -
                                                                                                                                                                                                                                                                                                                    • Acelerou o carregamento de pequenas colecções(#33746)
                                                                                                                                                                                                                                                                                                                    • -
                                                                                                                                                                                                                                                                                                                    • Suportada a importação de dados de eliminação para o segmento L0 (#33712)
                                                                                                                                                                                                                                                                                                                    • -
                                                                                                                                                                                                                                                                                                                    • Saltou tarefas de compactação de marca para ser timeouted para evitar a execução da mesma tarefa uma e outra vez(#33833)
                                                                                                                                                                                                                                                                                                                    • -
                                                                                                                                                                                                                                                                                                                    • Tratados os vectores float16 e bfloat16 como sendo iguais ao BinaryVector na inserção em massa numpy (#33788)
                                                                                                                                                                                                                                                                                                                    • -
                                                                                                                                                                                                                                                                                                                    • Adicionado o sinalizador includeCurrentMsg para o método seek(#33743)
                                                                                                                                                                                                                                                                                                                    • -
                                                                                                                                                                                                                                                                                                                    • Adicionado mergeInterval, targetBufSize, maxTolerantLag do msgdispatcher às configurações(#33680)
                                                                                                                                                                                                                                                                                                                    • -
                                                                                                                                                                                                                                                                                                                    • Melhorado o GetVectorByID do vetor esparso(#33652)
                                                                                                                                                                                                                                                                                                                    • -
                                                                                                                                                                                                                                                                                                                    • Removida a StringPrimarykey para reduzir a cópia desnecessária e o custo da chamada de função (#33649)
                                                                                                                                                                                                                                                                                                                    • -
                                                                                                                                                                                                                                                                                                                    • Adicionado mapeamento autoindex para tipo de dados binário/esparso(#33625)
                                                                                                                                                                                                                                                                                                                    • -
                                                                                                                                                                                                                                                                                                                    • Optimizada alguma cache para reduzir a utilização de memória(#33560)
                                                                                                                                                                                                                                                                                                                    • -
                                                                                                                                                                                                                                                                                                                    • Interface de execução abstrata para tarefas de importação/preimportação (#33607)
                                                                                                                                                                                                                                                                                                                    • -
                                                                                                                                                                                                                                                                                                                    • Usado map pk para timestamp na inserção de buffer para reduzir causas de bf(#33582)
                                                                                                                                                                                                                                                                                                                    • -
                                                                                                                                                                                                                                                                                                                    • Evitou meta operações redundantes de importação (#33519)
                                                                                                                                                                                                                                                                                                                    • -
                                                                                                                                                                                                                                                                                                                    • Melhorar os logs registando melhor a informação da quota do disco, adicionando a bandeira UseDefaultConsistency, removendo logs desnecessários(#33597, #33644, #33670)
                                                                                                                                                                                                                                                                                                                    • +

                                                                                                                                                                                                                                                                                                                      Improvements

                                                                                                                                                                                                                                                                                                                        +
                                                                                                                                                                                                                                                                                                                      • Set maxPartitionNum default value to 1024 (#33950)
                                                                                                                                                                                                                                                                                                                      • +
                                                                                                                                                                                                                                                                                                                      • Enabled to Force reset connection for unavailable error (#33910)
                                                                                                                                                                                                                                                                                                                      • +
                                                                                                                                                                                                                                                                                                                      • Enabled flush rate limiter of collection level (#33864)
                                                                                                                                                                                                                                                                                                                      • +
                                                                                                                                                                                                                                                                                                                      • Executed bloom filter apply in parallel to speed up segment predict (#33793)
                                                                                                                                                                                                                                                                                                                      • +
                                                                                                                                                                                                                                                                                                                      • Used fastjson lib for unmarshal delete log to speed up json.Unmarshal(#33802)
                                                                                                                                                                                                                                                                                                                      • +
                                                                                                                                                                                                                                                                                                                      • Used BatchPkExist to reduce bloom filter func call cost (#33752)
                                                                                                                                                                                                                                                                                                                      • +
                                                                                                                                                                                                                                                                                                                      • Speeded up the loading of small collections (#33746)
                                                                                                                                                                                                                                                                                                                      • +
                                                                                                                                                                                                                                                                                                                      • Supported import delete data to L0 segment (#33712)
                                                                                                                                                                                                                                                                                                                      • +
                                                                                                                                                                                                                                                                                                                      • Skipped mark compaction tasks to be timeouted to aviod executing the same task over and over again (#33833)
                                                                                                                                                                                                                                                                                                                      • +
                                                                                                                                                                                                                                                                                                                      • Handled float16 and bfloat16 vectors as same as BinaryVector in numpy bulk insert (#33788)
                                                                                                                                                                                                                                                                                                                      • +
                                                                                                                                                                                                                                                                                                                      • Added the includeCurrentMsg flag for the seek method (#33743)
                                                                                                                                                                                                                                                                                                                      • +
                                                                                                                                                                                                                                                                                                                      • Added mergeInterval, targetBufSize, maxTolerantLagof msgdispatcher to configs (#33680)
                                                                                                                                                                                                                                                                                                                      • +
                                                                                                                                                                                                                                                                                                                      • Improved GetVectorByID of sparse vector (#33652)
                                                                                                                                                                                                                                                                                                                      • +
                                                                                                                                                                                                                                                                                                                      • Removed StringPrimarykey to reduce unnecessary copy and function call cost (#33649)
                                                                                                                                                                                                                                                                                                                      • +
                                                                                                                                                                                                                                                                                                                      • Added autoindex mapping for binary/sparse data type (#33625)
                                                                                                                                                                                                                                                                                                                      • +
                                                                                                                                                                                                                                                                                                                      • Optimized some cache to reduce memory usage (#33560)
                                                                                                                                                                                                                                                                                                                      • +
                                                                                                                                                                                                                                                                                                                      • Abstracted execute interface for import/preimport task (#33607)
                                                                                                                                                                                                                                                                                                                      • +
                                                                                                                                                                                                                                                                                                                      • Used map pk to timestamp in buffer insert to reduce bf causes (#33582)
                                                                                                                                                                                                                                                                                                                      • +
                                                                                                                                                                                                                                                                                                                      • Avoided redundant meta operations of import (#33519)
                                                                                                                                                                                                                                                                                                                      • +
                                                                                                                                                                                                                                                                                                                      • Improve logs by logging better disk quota info, adding UseDefaultConsistency flag, removing unnecessary logs (#33597, #33644, #33670)
                                                                                                                                                                                                                                                                                                                      -

                                                                                                                                                                                                                                                                                                                      Correcções de erros

                                                                                                                                                                                                                                                                                                                        -
                                                                                                                                                                                                                                                                                                                      • Corrigido um bug que queryHook não conseguia reconhecer o tipo de vetor(#33911)
                                                                                                                                                                                                                                                                                                                      • -
                                                                                                                                                                                                                                                                                                                      • Prevenido o uso capturado da variável de iteração partitionID(#33970)
                                                                                                                                                                                                                                                                                                                      • -
                                                                                                                                                                                                                                                                                                                      • Corrigido um bug que podia fazer com que o Milvus não conseguisse criar AutoIndex em vectores binários e esparsos(#33867)
                                                                                                                                                                                                                                                                                                                      • -
                                                                                                                                                                                                                                                                                                                      • Corrigido um erro que podia fazer com que o indexnode tentasse novamente criar um índice em parâmetros de índice inválidos de todos os vectores (#33878)
                                                                                                                                                                                                                                                                                                                      • -
                                                                                                                                                                                                                                                                                                                      • Corrigido o bug que quando cargas e lançamentos acontecem simultaneamente podem travar o Servidor(#33699)
                                                                                                                                                                                                                                                                                                                      • -
                                                                                                                                                                                                                                                                                                                      • Melhoria da consistência da cache para valores de configuração(#33797)
                                                                                                                                                                                                                                                                                                                      • -
                                                                                                                                                                                                                                                                                                                      • Prevenida a possível perda de dados durante a eliminação(#33821)
                                                                                                                                                                                                                                                                                                                      • -
                                                                                                                                                                                                                                                                                                                      • Assegurado que o campo DroppedAt (provável registo de data e hora da eliminação) é definido após a eliminação de colecções(#33767)
                                                                                                                                                                                                                                                                                                                      • -
                                                                                                                                                                                                                                                                                                                      • Corrigido um problema que poderia ter feito com que o Milvus tratasse incorretamente os tamanhos dos dados do vetor binário(#33751)
                                                                                                                                                                                                                                                                                                                      • -
                                                                                                                                                                                                                                                                                                                      • Evitado que as credenciais sensíveis do Kafka fossem registadas em texto simples(#33694, #33747)
                                                                                                                                                                                                                                                                                                                      • -
                                                                                                                                                                                                                                                                                                                      • Assegurado que o Milvus pode importar corretamente dados com múltiplos campos vectoriais.(#33724)
                                                                                                                                                                                                                                                                                                                      • -
                                                                                                                                                                                                                                                                                                                      • Melhorada a fiabilidade da importação, verificando se existe um trabalho de importação antes de iniciar.(#33673)
                                                                                                                                                                                                                                                                                                                      • -
                                                                                                                                                                                                                                                                                                                      • Melhorado o manuseamento do índice HNSW esparso (funcionalidade interna)(#33714)
                                                                                                                                                                                                                                                                                                                      • -
                                                                                                                                                                                                                                                                                                                      • Memória vetorial limpa para evitar fugas de memória(#33708)
                                                                                                                                                                                                                                                                                                                      • -
                                                                                                                                                                                                                                                                                                                      • Assegurado um aquecimento assíncrono mais suave, corrigindo um problema de bloqueio de estado.(#33687)
                                                                                                                                                                                                                                                                                                                      • -
                                                                                                                                                                                                                                                                                                                      • Resolvido um erro que poderia ter causado resultados em falta em iteradores de consulta.(#33506)
                                                                                                                                                                                                                                                                                                                      • -
                                                                                                                                                                                                                                                                                                                      • Corrigido um erro que poderia causar o tamanho do segmento de importação não ser uniforme (#33634)
                                                                                                                                                                                                                                                                                                                      • -
                                                                                                                                                                                                                                                                                                                      • Corrigido o tratamento incorreto do tamanho dos dados para bf16, fp16, e tipos de vetor binário(#33488)
                                                                                                                                                                                                                                                                                                                      • -
                                                                                                                                                                                                                                                                                                                      • Estabilidade melhorada através da resolução de potenciais problemas com o compactador L0(#33564)
                                                                                                                                                                                                                                                                                                                      • -
                                                                                                                                                                                                                                                                                                                      • Assegurado que as actualizações de configuração dinâmica são reflectidas corretamente na cache.(#33590)
                                                                                                                                                                                                                                                                                                                      • -
                                                                                                                                                                                                                                                                                                                      • Melhorada a precisão da métrica RootCoordQuotaStates (#33601)
                                                                                                                                                                                                                                                                                                                      • -
                                                                                                                                                                                                                                                                                                                      • Garantido o relatório exato do número de entidades carregadas na métrica(#33522)
                                                                                                                                                                                                                                                                                                                      • -
                                                                                                                                                                                                                                                                                                                      • Fornecida informação mais completa nos registos de exceção. (#33396)
                                                                                                                                                                                                                                                                                                                      • -
                                                                                                                                                                                                                                                                                                                      • Optimizado o pipeline de consulta, removendo o verificador de grupo desnecessário(#33485)
                                                                                                                                                                                                                                                                                                                      • -
                                                                                                                                                                                                                                                                                                                      • Utilizado o caminho de armazenamento local para uma verificação mais precisa da capacidade do disco no nó de índice.(#33505)
                                                                                                                                                                                                                                                                                                                      • -
                                                                                                                                                                                                                                                                                                                      • Corrigido o facto de hasMoreResult poder devolver falso quando o número de acertos é maior que o limite(#33642)
                                                                                                                                                                                                                                                                                                                      • -
                                                                                                                                                                                                                                                                                                                      • Atraso no carregamento do bf no delegador para evitar que o bfs seja carregado repetidamente quando o trabalhador não tem mais memória(#33650) - Corrigido um bug que queryHook não conseguia reconhecer o tipo de vetor(#33911)
                                                                                                                                                                                                                                                                                                                      • -
                                                                                                                                                                                                                                                                                                                      • Prevenido o uso capturado da variável de iteração partitionID(#33970)
                                                                                                                                                                                                                                                                                                                      • -
                                                                                                                                                                                                                                                                                                                      • Corrigido um bug que pode fazer com que o Milvus não consiga criar AutoIndex em vectores binários e esparsos(#33867)
                                                                                                                                                                                                                                                                                                                      • -
                                                                                                                                                                                                                                                                                                                      • Corrigido um erro que podia fazer com que o indexnode tentasse novamente criar um índice em parâmetros de índice inválidos de todos os vectores (#33878)
                                                                                                                                                                                                                                                                                                                      • -
                                                                                                                                                                                                                                                                                                                      • Corrigido o bug que quando cargas e lançamentos acontecem simultaneamente podem travar o Servidor(#33699)
                                                                                                                                                                                                                                                                                                                      • -
                                                                                                                                                                                                                                                                                                                      • Melhoria da consistência da cache para valores de configuração(#33797)
                                                                                                                                                                                                                                                                                                                      • -
                                                                                                                                                                                                                                                                                                                      • Prevenida a possível perda de dados durante a eliminação(#33821)
                                                                                                                                                                                                                                                                                                                      • -
                                                                                                                                                                                                                                                                                                                      • Assegurado que o campo DroppedAt (provável registo de data e hora da eliminação) é definido após a eliminação de colecções(#33767)
                                                                                                                                                                                                                                                                                                                      • -
                                                                                                                                                                                                                                                                                                                      • Corrigido um problema que poderia ter feito com que o Milvus tratasse incorretamente os tamanhos dos dados do vetor binário(#33751)
                                                                                                                                                                                                                                                                                                                      • -
                                                                                                                                                                                                                                                                                                                      • Evitado que as credenciais sensíveis do Kafka fossem registadas em texto simples(#33694, #33747)
                                                                                                                                                                                                                                                                                                                      • -
                                                                                                                                                                                                                                                                                                                      • Assegurado que o Milvus pode importar corretamente dados com múltiplos campos vectoriais.(#33724)
                                                                                                                                                                                                                                                                                                                      • -
                                                                                                                                                                                                                                                                                                                      • Melhorada a fiabilidade da importação, verificando se existe um trabalho de importação antes de iniciar.(#33673)
                                                                                                                                                                                                                                                                                                                      • -
                                                                                                                                                                                                                                                                                                                      • Melhorado o manuseamento do índice HNSW esparso (funcionalidade interna)(#33714)
                                                                                                                                                                                                                                                                                                                      • -
                                                                                                                                                                                                                                                                                                                      • Memória vetorial limpa para evitar fugas de memória(#33708)
                                                                                                                                                                                                                                                                                                                      • -
                                                                                                                                                                                                                                                                                                                      • Assegurado um aquecimento assíncrono mais suave, corrigindo um problema de bloqueio de estado.(#33687)
                                                                                                                                                                                                                                                                                                                      • -
                                                                                                                                                                                                                                                                                                                      • Resolvido um erro que poderia ter causado resultados em falta em iteradores de consulta.(#33506)
                                                                                                                                                                                                                                                                                                                      • -
                                                                                                                                                                                                                                                                                                                      • Corrigido um erro que poderia causar o tamanho do segmento de importação não ser uniforme (#33634)
                                                                                                                                                                                                                                                                                                                      • -
                                                                                                                                                                                                                                                                                                                      • Corrigido o tratamento incorreto do tamanho dos dados para bf16, fp16, e tipos de vetor binário(#33488)
                                                                                                                                                                                                                                                                                                                      • -
                                                                                                                                                                                                                                                                                                                      • Estabilidade melhorada através da resolução de potenciais problemas com o compactador L0(#33564)
                                                                                                                                                                                                                                                                                                                      • -
                                                                                                                                                                                                                                                                                                                      • Assegurado que as actualizações de configuração dinâmica são reflectidas corretamente na cache.(#33590)
                                                                                                                                                                                                                                                                                                                      • -
                                                                                                                                                                                                                                                                                                                      • Melhorada a precisão da métrica RootCoordQuotaStates (#33601)
                                                                                                                                                                                                                                                                                                                      • -
                                                                                                                                                                                                                                                                                                                      • Garantido o relatório exato do número de entidades carregadas na métrica(#33522)
                                                                                                                                                                                                                                                                                                                      • -
                                                                                                                                                                                                                                                                                                                      • Fornecida informação mais completa nos registos de exceção. (#33396)
                                                                                                                                                                                                                                                                                                                      • -
                                                                                                                                                                                                                                                                                                                      • Optimizado o pipeline de consulta, removendo o verificador de grupo desnecessário(#33485)
                                                                                                                                                                                                                                                                                                                      • -
                                                                                                                                                                                                                                                                                                                      • Utilizado o caminho de armazenamento local para uma verificação mais precisa da capacidade do disco no nó de índice.(#33505)
                                                                                                                                                                                                                                                                                                                      • -
                                                                                                                                                                                                                                                                                                                      • Corrigido o facto de hasMoreResult poder devolver falso quando o número de acertos é maior que o limite(#33642)
                                                                                                                                                                                                                                                                                                                      • -
                                                                                                                                                                                                                                                                                                                      • Atraso no carregamento do bf no delegador para evitar que o bfs seja carregado repetidamente quando o trabalhador não tem mais memória(#33650)
                                                                                                                                                                                                                                                                                                                      • +

                                                                                                                                                                                                                                                                                                                        Bug fixes

                                                                                                                                                                                                                                                                                                                          +
                                                                                                                                                                                                                                                                                                                        • Fixed a bug that queryHook unable to recognize vector type (#33911)
                                                                                                                                                                                                                                                                                                                        • +
                                                                                                                                                                                                                                                                                                                        • Prevented use captured iteration variable partitionID (#33970)
                                                                                                                                                                                                                                                                                                                        • +
                                                                                                                                                                                                                                                                                                                        • Fixed a bug that may cause Milvus to be unable to create AutoIndex on binary and sparse vectors (#33867)
                                                                                                                                                                                                                                                                                                                        • +
                                                                                                                                                                                                                                                                                                                        • Fixed a bug that may cause indexnode to retry creating index on invalid index params of all vectors(#33878)
                                                                                                                                                                                                                                                                                                                        • +
                                                                                                                                                                                                                                                                                                                        • Fixed the bug that when loads and releases happen concurrently may crash the Server(#33699)
                                                                                                                                                                                                                                                                                                                        • +
                                                                                                                                                                                                                                                                                                                        • Improved cache consistency for configuration values (#33797)
                                                                                                                                                                                                                                                                                                                        • +
                                                                                                                                                                                                                                                                                                                        • Prevented possible data loss during deletion (#33821)
                                                                                                                                                                                                                                                                                                                        • +
                                                                                                                                                                                                                                                                                                                        • Ensured the DroppedAt field (likely deletion timestamp) is set after dropping collections(#33767)
                                                                                                                                                                                                                                                                                                                        • +
                                                                                                                                                                                                                                                                                                                        • Fixed an issue that might have caused Milvus to handle binary vector data sizes incorrectly(#33751)
                                                                                                                                                                                                                                                                                                                        • +
                                                                                                                                                                                                                                                                                                                        • Prevented sensitive Kafka credentials from being logged in plain text.(#33694, #33747)
                                                                                                                                                                                                                                                                                                                        • +
                                                                                                                                                                                                                                                                                                                        • Ensured Milvus can correctly import data with multiple vector fields.(#33724)
                                                                                                                                                                                                                                                                                                                        • +
                                                                                                                                                                                                                                                                                                                        • Enhanced import reliability by checking if an import job exists before starting. (#33673)
                                                                                                                                                                                                                                                                                                                        • +
                                                                                                                                                                                                                                                                                                                        • Improved handling of the sparse HNSW index (internal functionality) (#33714)
                                                                                                                                                                                                                                                                                                                        • +
                                                                                                                                                                                                                                                                                                                        • Cleaned vector memory to avoid memory leak(#33708)
                                                                                                                                                                                                                                                                                                                        • +
                                                                                                                                                                                                                                                                                                                        • Ensured smoother asynchronous warmup by fixing a state lock issue.(#33687)
                                                                                                                                                                                                                                                                                                                        • +
                                                                                                                                                                                                                                                                                                                        • Addressed a bug that might have caused missing results in query iterators. (#33506)
                                                                                                                                                                                                                                                                                                                        • +
                                                                                                                                                                                                                                                                                                                        • Fixed a bug that might cause import segment size is uneven (#33634)
                                                                                                                                                                                                                                                                                                                        • +
                                                                                                                                                                                                                                                                                                                        • Fixed incorrect data size handling for bf16, fp16, and binary vector types (#33488)
                                                                                                                                                                                                                                                                                                                        • +
                                                                                                                                                                                                                                                                                                                        • Improved stability by addressing potential issues with the L0 compactor(#33564)
                                                                                                                                                                                                                                                                                                                        • +
                                                                                                                                                                                                                                                                                                                        • Ensured dynamic configuration updates are reflected correctly in the cache. (#33590)
                                                                                                                                                                                                                                                                                                                        • +
                                                                                                                                                                                                                                                                                                                        • Improved the accuracy of the RootCoordQuotaStates metric (#33601)
                                                                                                                                                                                                                                                                                                                        • +
                                                                                                                                                                                                                                                                                                                        • Ensured accurate reporting of the number of loaded entities in metric(#33522)
                                                                                                                                                                                                                                                                                                                        • +
                                                                                                                                                                                                                                                                                                                        • Provided more complete information in exception logs. (#33396)
                                                                                                                                                                                                                                                                                                                        • +
                                                                                                                                                                                                                                                                                                                        • Optimized query pipeline by removing unnecessary group checker (#33485)
                                                                                                                                                                                                                                                                                                                        • +
                                                                                                                                                                                                                                                                                                                        • Used the local storage path for a more accurate disk capacity check on the index node. (#33505)
                                                                                                                                                                                                                                                                                                                        • +
                                                                                                                                                                                                                                                                                                                        • Corrected hasMoreResult may return false when hit number larger than limit (#33642)
                                                                                                                                                                                                                                                                                                                        • +
                                                                                                                                                                                                                                                                                                                        • Delayed load bf in delegator to prevent bfs been loaded over and over again when worker has no more memory (#33650)- Fixed a bug that queryHook unable to recognize vector type (#33911)
                                                                                                                                                                                                                                                                                                                        • +
                                                                                                                                                                                                                                                                                                                        • Prevented use captured iteration variable partitionID (#33970)
                                                                                                                                                                                                                                                                                                                        • +
                                                                                                                                                                                                                                                                                                                        • Fixed a bug that may cause Milvus to be unable to create AutoIndex on binary and sparse vectors (#33867)
                                                                                                                                                                                                                                                                                                                        • +
                                                                                                                                                                                                                                                                                                                        • Fixed a bug that may cause indexnode to retry creating index on invalid index params of all vectors(#33878)
                                                                                                                                                                                                                                                                                                                        • +
                                                                                                                                                                                                                                                                                                                        • Fixed the bug that when loads and releases happen concurrently may crash the Server(#33699)
                                                                                                                                                                                                                                                                                                                        • +
                                                                                                                                                                                                                                                                                                                        • Improved cache consistency for configuration values (#33797)
                                                                                                                                                                                                                                                                                                                        • +
                                                                                                                                                                                                                                                                                                                        • Prevented possible data loss during deletion (#33821)
                                                                                                                                                                                                                                                                                                                        • +
                                                                                                                                                                                                                                                                                                                        • Ensured the DroppedAt field (likely deletion timestamp) is set after dropping collections(#33767)
                                                                                                                                                                                                                                                                                                                        • +
                                                                                                                                                                                                                                                                                                                        • Fixed an issue that might have caused Milvus to handle binary vector data sizes incorrectly(#33751)
                                                                                                                                                                                                                                                                                                                        • +
                                                                                                                                                                                                                                                                                                                        • Prevented sensitive Kafka credentials from being logged in plain text.(#33694, #33747)
                                                                                                                                                                                                                                                                                                                        • +
                                                                                                                                                                                                                                                                                                                        • Ensured Milvus can correctly import data with multiple vector fields.(#33724)
                                                                                                                                                                                                                                                                                                                        • +
                                                                                                                                                                                                                                                                                                                        • Enhanced import reliability by checking if an import job exists before starting. (#33673)
                                                                                                                                                                                                                                                                                                                        • +
                                                                                                                                                                                                                                                                                                                        • Improved handling of the sparse HNSW index (internal functionality) (#33714)
                                                                                                                                                                                                                                                                                                                        • +
                                                                                                                                                                                                                                                                                                                        • Cleaned vector memory to avoid memory leak(#33708)
                                                                                                                                                                                                                                                                                                                        • +
                                                                                                                                                                                                                                                                                                                        • Ensured smoother asynchronous warmup by fixing a state lock issue.(#33687)
                                                                                                                                                                                                                                                                                                                        • +
                                                                                                                                                                                                                                                                                                                        • Addressed a bug that might have caused missing results in query iterators. (#33506)
                                                                                                                                                                                                                                                                                                                        • +
                                                                                                                                                                                                                                                                                                                        • Fixed a bug that might cause import segment size is uneven (#33634)
                                                                                                                                                                                                                                                                                                                        • +
                                                                                                                                                                                                                                                                                                                        • Fixed incorrect data size handling for bf16, fp16, and binary vector types (#33488)
                                                                                                                                                                                                                                                                                                                        • +
                                                                                                                                                                                                                                                                                                                        • Improved stability by addressing potential issues with the L0 compactor(#33564)
                                                                                                                                                                                                                                                                                                                        • +
                                                                                                                                                                                                                                                                                                                        • Ensured dynamic configuration updates are reflected correctly in the cache. (#33590)
                                                                                                                                                                                                                                                                                                                        • +
                                                                                                                                                                                                                                                                                                                        • Improved the accuracy of the RootCoordQuotaStates metric (#33601)
                                                                                                                                                                                                                                                                                                                        • +
                                                                                                                                                                                                                                                                                                                        • Ensured accurate reporting of the number of loaded entities in metric(#33522)
                                                                                                                                                                                                                                                                                                                        • +
                                                                                                                                                                                                                                                                                                                        • Provided more complete information in exception logs. (#33396)
                                                                                                                                                                                                                                                                                                                        • +
                                                                                                                                                                                                                                                                                                                        • Optimized query pipeline by removing unnecessary group checker (#33485)
                                                                                                                                                                                                                                                                                                                        • +
                                                                                                                                                                                                                                                                                                                        • Used the local storage path for a more accurate disk capacity check on the index node. (#33505)
                                                                                                                                                                                                                                                                                                                        • +
                                                                                                                                                                                                                                                                                                                        • Corrected hasMoreResult may return false when hit number larger than limit (#33642)
                                                                                                                                                                                                                                                                                                                        • +
                                                                                                                                                                                                                                                                                                                        • Delayed load bf in delegator to prevent bfs been loaded over and over again when worker has no more memory (#33650)

                                                                                                                                                                                                                                                                                                                        v2.4.4

                                                                                                                                                                                                                                                                                                                        Data de lançamento: 31 de maio de 2024

                                                                                                                                                                                                                                                                                                                        +

                                                                                                                                                                                                                                                                                                                        Release date: May 31, 2024

                                                                                                                                                                                                                                                                                                                        - +
                                                                                                                                                                                                                                                                                                                        Versão MilvusVersão Python SDKVersão do Java SDKVersão do SDK do Node.js
                                                                                                                                                                                                                                                                                                                        Milvus versionPython SDK versionJava SDK versionNode.js SDK version
                                                                                                                                                                                                                                                                                                                        2.4.42.4.32.4.12.4.2
                                                                                                                                                                                                                                                                                                                        -

                                                                                                                                                                                                                                                                                                                        O Milvus v2.4.4 inclui várias correcções de erros críticos e melhorias destinadas a melhorar o desempenho e a estabilidade. Em particular, resolvemos um problema crítico em que os registos de estatísticas de inserção em massa eram incorretamente recolhidos, afectando potencialmente a integridade dos dados. Recomendamos vivamente que todos os utilizadores da versão 2.4 actualizem para esta versão para beneficiarem destas correcções.

                                                                                                                                                                                                                                                                                                                        -

                                                                                                                                                                                                                                                                                                                        Se estiver a utilizar a inserção em massa, actualize para a v2.4.4 o mais rapidamente possível para garantir a integridade dos dados.

                                                                                                                                                                                                                                                                                                                        -

                                                                                                                                                                                                                                                                                                                        Correcções de erros críticos

                                                                                                                                                                                                                                                                                                                          -
                                                                                                                                                                                                                                                                                                                        • Preenchimento do ID do registo de estatísticas e validação da sua correção(#33478)
                                                                                                                                                                                                                                                                                                                        • +

                                                                                                                                                                                                                                                                                                                          Milvus v2.4.4 includes several critical bug fixes and improvements aimed at enhancing performance and stability. Notably, we’ve resolved a critical issue where bulk insert statistics logs were incorrectly garbage collected, potentially affecting data integrity. We strongly recommend all v2.4 users upgrade to this version to benefit from these fixes.

                                                                                                                                                                                                                                                                                                                          +

                                                                                                                                                                                                                                                                                                                          If you are using bulk insert, upgrade to v2.4.4 at the earliest opportunity for data integrity.

                                                                                                                                                                                                                                                                                                                          +

                                                                                                                                                                                                                                                                                                                          Critical bug fixes

                                                                                                                                                                                                                                                                                                                            +
                                                                                                                                                                                                                                                                                                                          • Filled stats log ID and validated its correctness (#33478)
                                                                                                                                                                                                                                                                                                                          -

                                                                                                                                                                                                                                                                                                                          Melhorias

                                                                                                                                                                                                                                                                                                                            -
                                                                                                                                                                                                                                                                                                                          • Conjunto de bits atualizado para ARM SVE(#33440)
                                                                                                                                                                                                                                                                                                                          • -
                                                                                                                                                                                                                                                                                                                          • Activada a compilação Milvus com GCC-13(#33441)
                                                                                                                                                                                                                                                                                                                          • +

                                                                                                                                                                                                                                                                                                                            Improvements

                                                                                                                                                                                                                                                                                                                              +
                                                                                                                                                                                                                                                                                                                            • Upgraded bitset for ARM SVE (#33440)
                                                                                                                                                                                                                                                                                                                            • +
                                                                                                                                                                                                                                                                                                                            • Enabled Milvus compilation with GCC-13 (#33441)
                                                                                                                                                                                                                                                                                                                            -

                                                                                                                                                                                                                                                                                                                            Correcções de erros

                                                                                                                                                                                                                                                                                                                              -
                                                                                                                                                                                                                                                                                                                            • Mostrava colecções vazias quando todos os privilégios eram concedidos(#33454)
                                                                                                                                                                                                                                                                                                                            • -
                                                                                                                                                                                                                                                                                                                            • Assegurado que o CMake descarrega e instala para a plataforma atual, não apenas x86_64(#33439)
                                                                                                                                                                                                                                                                                                                            • +

                                                                                                                                                                                                                                                                                                                              Bug fixes

                                                                                                                                                                                                                                                                                                                                +
                                                                                                                                                                                                                                                                                                                              • Displayed empty collections when all privilege is granted (#33454)
                                                                                                                                                                                                                                                                                                                              • +
                                                                                                                                                                                                                                                                                                                              • Ensured CMake downloads and installs for the current platform, not just x86_64 (#33439)

                                                                                                                                                                                                                                                                                                                              v2.4.3

                                                                                                                                                                                                                                                                                                                              Data de lançamento: 29 de maio de 2024

                                                                                                                                                                                                                                                                                                                              +

                                                                                                                                                                                                                                                                                                                              Release date: May 29, 2024

                                                                                                                                                                                                                                                                                                                              - +
                                                                                                                                                                                                                                                                                                                              Versão do MilvusVersão do Python SDKVersão do Java SDKVersão do SDK do Node.js
                                                                                                                                                                                                                                                                                                                              Milvus versionPython SDK versionJava SDK versionNode.js SDK version
                                                                                                                                                                                                                                                                                                                              2.4.32.4.32.4.12.4.2
                                                                                                                                                                                                                                                                                                                              -

                                                                                                                                                                                                                                                                                                                              A versão 2.4.3 do Milvus introduziu uma série de funcionalidades, melhorias e correcções de erros para aumentar o desempenho e a fiabilidade. Melhorias notáveis incluíram suporte para inserção em massa de vetor float esparso e aceleração otimizada de filtro bloom. As melhorias abrangeram várias áreas, desde atualizações de configuração dinâmica até otimização do uso de memória. As correcções de erros abordaram questões críticas como cenários de pânico e garantiram operações de sistema mais suaves. Esta versão sublinhou o compromisso contínuo da Milvus em melhorar a funcionalidade, otimizar o desempenho e fornecer uma experiência de utilizador robusta.

                                                                                                                                                                                                                                                                                                                              -

                                                                                                                                                                                                                                                                                                                              Caraterísticas

                                                                                                                                                                                                                                                                                                                                -
                                                                                                                                                                                                                                                                                                                              • Suporte para inserção em massa de vetor de flutuação esparsa para binlog/json/parquet(#32649)
                                                                                                                                                                                                                                                                                                                              • +

                                                                                                                                                                                                                                                                                                                                Milvus version 2.4.3 introduced a host of features, improvements, and bug fixes to elevate performance and reliability. Notable enhancements included support for sparse float vector bulk insert and optimized bloom filter acceleration. Improvements covered various areas, from dynamic configuration updates to memory usage optimization. Bug fixes addressed critical issues like panic scenarios and ensured smoother system operations. This release underscored Milvus’s ongoing commitment to enhancing functionality, optimizing performance, and delivering a robust user experience.

                                                                                                                                                                                                                                                                                                                                +

                                                                                                                                                                                                                                                                                                                                Features

                                                                                                                                                                                                                                                                                                                                  +
                                                                                                                                                                                                                                                                                                                                • Supported sparse float vector bulk insert for binlog/json/parquet (#32649)
                                                                                                                                                                                                                                                                                                                                -

                                                                                                                                                                                                                                                                                                                                Melhorias

                                                                                                                                                                                                                                                                                                                                  -
                                                                                                                                                                                                                                                                                                                                • Implementação do canal de observação Datacoord/node baseado em RPC(#32036)
                                                                                                                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                                                                                                                • Filtro bloom optimizado para acelerar a filtragem de eliminação(#32642, #33329, #33284)
                                                                                                                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                                                                                                                • Carregamento de dados brutos via mmap se o índice escalar não tiver dados brutos(#33317)
                                                                                                                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                                                                                                                • Sincronizada a configuração do milvus para milvus.yaml(#33322, #32920, #32857, #32946)
                                                                                                                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                                                                                                                • Actualizada a versão do knowhere(#33310, #32931, #33043)
                                                                                                                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                                                                                                                • Activada a atualização dinâmica da política do balancer no QueryCoord(#33272)
                                                                                                                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                                                                                                                • Usado um logger pré-construído no buffer de escrita para minimizar a alocação de logger(#33304)
                                                                                                                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                                                                                                                • Verificação de parâmetros melhorada(#32777, #33271, #33218)
                                                                                                                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                                                                                                                • Adicionado um parâmetro para ignorar IDs de mensagens incorrectas no ponto de verificação(#33249)
                                                                                                                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                                                                                                                • Adicionada configuração para controlar o tratamento de falhas de inicialização para plugins(#32680)
                                                                                                                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                                                                                                                • Adicionada uma configuração de consistência de cálculo de pontuação para o knowhere(#32997)
                                                                                                                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                                                                                                                • Introduzida uma opção de configuração para controlar a inicialização das permissões de função pública(#33174)
                                                                                                                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                                                                                                                • Optimizada a utilização de memória ao ler campos(#33196)
                                                                                                                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                                                                                                                • Implementação refinada do Channel Manager v2(#33172, #33121, #33014)
                                                                                                                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                                                                                                                • Adicionada funcionalidade para controlar o tamanho dos dados na memória para o binlog(#33025)
                                                                                                                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                                                                                                                • Adicionada métrica para o tamanho dos ficheiros de índice de segmentos(#32979, #33305)
                                                                                                                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                                                                                                                • Substituído o Delete por DeletePartialMatch para remover métricas(#33029)
                                                                                                                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                                                                                                                • Obteve o tamanho dos dados relacionados de acordo com o tipo de segmento(#33017)
                                                                                                                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                                                                                                                • Limpada a informação do nó do canal na meta store(#32988)
                                                                                                                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                                                                                                                • Removido o rootcoord do datanode broker(#32818)
                                                                                                                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                                                                                                                • Ativado o upload em lote(#32788)
                                                                                                                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                                                                                                                • Alterado o número de partição predefinido para 16 quando se usa a chave de partição(#32950)
                                                                                                                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                                                                                                                • Melhorado o desempenho de redução em consultas top-k muito grandes(#32871)
                                                                                                                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                                                                                                                • Utilizada a capacidade de TestLocations para acelerar a escrita e compactação(#32948)
                                                                                                                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                                                                                                                • Optimizado o pool de analisadores de planos para evitar reciclagem desnecessária(#32869)
                                                                                                                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                                                                                                                • Velocidade de carregamento melhorada(#32898)
                                                                                                                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                                                                                                                • Utilizado o nível de consistência padrão da coleção para restv2(#32956)
                                                                                                                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                                                                                                                • Adicionada resposta de custo para o resto da API(#32620)
                                                                                                                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                                                                                                                • Activada a política de equilíbrio exclusiva do canal(#32911)
                                                                                                                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                                                                                                                • Exposta a API describedatabase em proxy(#32732)
                                                                                                                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                                                                                                                • Utilizado o mapeamento coll2replica ao obter RG por coleção(#32892)
                                                                                                                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                                                                                                                • Adicionado mais tracing para pesquisa e consulta(#32734)
                                                                                                                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                                                                                                                • Suportada configuração dinâmica para rastreio de opentelemetria(#32169)
                                                                                                                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                                                                                                                • Evitada a iteração sobre os resultados do canal ao atualizar o leaderview(#32887)
                                                                                                                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                                                                                                                • Optimizado o tratamento de offsets de vetor para parquet(#32822)
                                                                                                                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                                                                                                                • Melhorada a filtragem do segmento datacoord com recolha(#32831)
                                                                                                                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                                                                                                                • Ajustado o nível e frequência do registo(#33042, #32838, #33337)
                                                                                                                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                                                                                                                • Ativado o equilíbrio de paragem após o equilíbrio ter sido suspenso(#32812)
                                                                                                                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                                                                                                                • Actualizada a cache do líder do fragmento quando a localização do líder foi alterada(#32470)
                                                                                                                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                                                                                                                • Removido API e campo obsoletos(#32808, #32704)
                                                                                                                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                                                                                                                • Adicionado metautil.channel para converter string compare para int(#32749)
                                                                                                                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                                                                                                                • Adicionada informação de tipo para mensagem de erro do escritor de carga útil e registo quando o querynode encontrou uma nova coleção(#32522)
                                                                                                                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                                                                                                                • Verificado o número da partição ao criar uma coleção com chave de partição(#32670)
                                                                                                                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                                                                                                                • Removido o segmento l0 legado se o watch falhar(#32725)
                                                                                                                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                                                                                                                • Melhoria na impressão do tipo de pedido(#33319)
                                                                                                                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                                                                                                                • Verificado que os dados do campo do array eram nulos antes de obter o tipo(#33311)
                                                                                                                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                                                                                                                • Devolvido erro quando a operação de arranque do nó Delete/AddNode falhava(#33258)
                                                                                                                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                                                                                                                • Permitiu que o ID do servidor do datanode fosse atualizado(#31597)
                                                                                                                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                                                                                                                • Limpeza unificada das métricas do querynode no lançamento da coleção(#32805)
                                                                                                                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                                                                                                                • Corrigida a versão incorrecta da configuração do índice automático escalar(#32795)
                                                                                                                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                                                                                                                • Verificação de parâmetros de índice refinada para criar/alterar índice(#32712)
                                                                                                                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                                                                                                                • Removida a recuperação redundante de réplicas(#32985)
                                                                                                                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                                                                                                                • Activada a meta tabela de canais para escrever mais de 200k segmentos(#33300)
                                                                                                                                                                                                                                                                                                                                • +

                                                                                                                                                                                                                                                                                                                                  Improvements

                                                                                                                                                                                                                                                                                                                                    +
                                                                                                                                                                                                                                                                                                                                  • Implemented Datacoord/node watch channel based on RPC (#32036)
                                                                                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                                                                                  • Optimized bloom filter to accelerate delete filtering (#32642, #33329, #33284)
                                                                                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                                                                                  • Loaded raw data via mmap if scalar index did not have raw data (#33317)
                                                                                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                                                                                  • Synced milvus config to milvus.yaml (#33322, #32920, #32857, #32946)
                                                                                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                                                                                  • Updated knowhere version (#33310, #32931, #33043)
                                                                                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                                                                                  • Enabled dynamic updating of balancer policy in QueryCoord (#33272)
                                                                                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                                                                                  • Used a pre-built logger in the write buffer to minimize logger allocation (#33304)
                                                                                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                                                                                  • Improved parameter checking (#32777, #33271, #33218)
                                                                                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                                                                                  • Added a parameter to ignore incorrect message IDs in the checkpoint (#33249)
                                                                                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                                                                                  • Added config to control initialization failure handling for plugins (#32680)
                                                                                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                                                                                  • Added score compute consistency config for knowhere (#32997)
                                                                                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                                                                                  • Introduced a configuration option to control the initialization of public role permissions (#33174)
                                                                                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                                                                                  • Optimized memory usage when reading fields (#33196)
                                                                                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                                                                                  • Refined implementation of Channel Manager v2 (#33172, #33121, #33014)
                                                                                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                                                                                  • Added feature to track the size of data in memory for binlog (#33025)
                                                                                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                                                                                  • Added metrics for segment index files size (#32979, #33305)
                                                                                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                                                                                  • Replaced Delete with DeletePartialMatch to remove metrics (#33029)
                                                                                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                                                                                  • Got related data size according to segment type (#33017)
                                                                                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                                                                                  • Cleaned channel node info in meta store (#32988)
                                                                                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                                                                                  • Removed rootcoord from datanode broker (#32818)
                                                                                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                                                                                  • Enabled batch uploading (#32788)
                                                                                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                                                                                  • Changed default partition number to 16 when using partition key (#32950)
                                                                                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                                                                                  • Improved reduce performance on very large top-k queries (#32871)
                                                                                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                                                                                  • Utilized TestLocations ability to accelerate write & compaction (#32948)
                                                                                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                                                                                  • Optimized plan parser pool to avoid unnecessary recycling (#32869)
                                                                                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                                                                                  • Improved load speed (#32898)
                                                                                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                                                                                  • Used collection default consistency level for restv2 (#32956)
                                                                                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                                                                                  • Added cost response for the rest API (#32620)
                                                                                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                                                                                  • Enabled channel exclusive balance policy (#32911)
                                                                                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                                                                                  • Exposed describedatabase API in proxy (#32732)
                                                                                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                                                                                  • Utilized coll2replica mapping when getting RG by collection (#32892)
                                                                                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                                                                                  • Added more tracing for search & query (#32734)
                                                                                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                                                                                  • Supported dynamic config for opentelemetry trace (#32169)
                                                                                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                                                                                  • Avoided iteration over channel results when updating leaderview (#32887)
                                                                                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                                                                                  • Optimized vector offsets handling for parquet (#32822)
                                                                                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                                                                                  • Improved datacoord segment filtering with collection (#32831)
                                                                                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                                                                                  • Adjusted log level and frequency (#33042, #32838, #33337)
                                                                                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                                                                                  • Enabled stopping balance after balance had been suspended (#32812)
                                                                                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                                                                                  • Updated shard leader cache when leader location changed (#32470)
                                                                                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                                                                                  • Removed deprecated API and field (#32808, #32704)
                                                                                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                                                                                  • Added metautil.channel to convert string compare to int (#32749)
                                                                                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                                                                                  • Added type info for payload writer error message and log when querynode found new collection (#32522)
                                                                                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                                                                                  • Checked partition number when creating collection with partition key (#32670)
                                                                                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                                                                                  • Removed legacy l0 segment if watch failed (#32725)
                                                                                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                                                                                  • Improved printing type of request (#33319)
                                                                                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                                                                                  • Checked array field data was nil before getting the type (#33311)
                                                                                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                                                                                  • Returned error when startup Delete/AddNode node operation failed (#33258)
                                                                                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                                                                                  • Allowed datanode’s server ID to be updated (#31597)
                                                                                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                                                                                  • Unified querynode metrics cleanup in collection release (#32805)
                                                                                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                                                                                  • Fixed scalar auto index config incorrect version (#32795)
                                                                                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                                                                                  • Refined index param check for create/alter index (#32712)
                                                                                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                                                                                  • Removed redundant replica recovery (#32985)
                                                                                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                                                                                  • Enabled channel meta table to write more than 200k segments (#33300)
                                                                                                                                                                                                                                                                                                                                  -

                                                                                                                                                                                                                                                                                                                                  Correcções de erros

                                                                                                                                                                                                                                                                                                                                    -
                                                                                                                                                                                                                                                                                                                                  • Corrigido o pânico quando a base de dados não existia no intercetor de limite de taxa(#33308)
                                                                                                                                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                                                                                                                                  • Corrigida a falha na recolha de métricas do quotacenter devido a parâmetros incorrectos(#33399)
                                                                                                                                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                                                                                                                                  • Corrigido o pânico se o processactivestandby devolvesse um erro(#33372)
                                                                                                                                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                                                                                                                                  • Corrigido o truncamento do resultado da pesquisa em restful v2 quando nq > 1(#33363)
                                                                                                                                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                                                                                                                                  • Adicionado campo de nome de base de dados para operações de função em restful v2(#33291)
                                                                                                                                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                                                                                                                                  • Corrigido o limite de taxa global que não funcionava(#33336)
                                                                                                                                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                                                                                                                                  • Corrigido o pânico causado pela falha na construção do índice(#33314)
                                                                                                                                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                                                                                                                                  • Adicionada validação para vetor esparso no segcore para garantir a legalidade(#33312)
                                                                                                                                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                                                                                                                                  • Removida a tarefa do syncmgr após a conclusão da tarefa(#33303)
                                                                                                                                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                                                                                                                                  • Corrigida a falha de filtragem da chave de partição durante a importação de dados(#33277)
                                                                                                                                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                                                                                                                                  • Corrigida a incapacidade de gerar traceID ao usar o exportador noop(#33208)
                                                                                                                                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                                                                                                                                  • Melhorada a recuperação dos resultados da consulta(#33179)
                                                                                                                                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                                                                                                                                  • Marcado o ponto de verificação do canal descartado para evitar a fuga de métricas de atraso do ponto de verificação(#33201)
                                                                                                                                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                                                                                                                                  • Corrigido o nó de consulta a ficar preso durante a paragem do progresso(#33154)
                                                                                                                                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                                                                                                                                  • Corrigido segmentos em falta na resposta de descarga(#33061)
                                                                                                                                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                                                                                                                                  • Tornada a operação de submissão idempotente(#33053)
                                                                                                                                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                                                                                                                                  • Atribuída nova fatia para cada lote no leitor de streaming(#33360)
                                                                                                                                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                                                                                                                                  • Limpou o nó offline do grupo de recursos após o reinício do QueryCoord(#33233)
                                                                                                                                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                                                                                                                                  • Removido compactador l0 em completedCompactor(#33216)
                                                                                                                                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                                                                                                                                  • Redefinido o valor da quota ao inicializar o limitador(#33152)
                                                                                                                                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                                                                                                                                  • Resolvido o problema em que o limite do etcd era excedido(#33041)
                                                                                                                                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                                                                                                                                  • Resolvida a ultrapassagem do limite da transação etcd devido a demasiados campos(#33040)
                                                                                                                                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                                                                                                                                  • Removida a reentrada de RLock em GetNumRowsOfPartition(#33045)
                                                                                                                                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                                                                                                                                  • Iniciado o LeaderCacheObserver antes do SyncAll(#33035)
                                                                                                                                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                                                                                                                                  • Ativado o balanceamento do canal standby libertado(#32986)
                                                                                                                                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                                                                                                                                  • Inicializado o registador de acesso antes da inicialização do servidor(#32976)
                                                                                                                                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                                                                                                                                  • Tornou o compactador capaz de limpar segmentos vazios(#32821)
                                                                                                                                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                                                                                                                                  • Preenchido o número de entrada do deltalog e o intervalo de tempo nas compactações l0(#33004)
                                                                                                                                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                                                                                                                                  • Corrigido o crash do proxy devido à corrida de dados da cache do líder do shard(#32971)
                                                                                                                                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                                                                                                                                  • Corrigida a unidade de tempo para a métrica de índice de carga(#32935)
                                                                                                                                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                                                                                                                                  • Corrigido o problema onde o segmento na paragem do nó de consulta não podia ser libertado com sucesso(#32929)
                                                                                                                                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                                                                                                                                  • Corrigida a estimativa de recursos do índice(#32842)
                                                                                                                                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                                                                                                                                  • Definido o ponto de controlo do canal para a posição delta(#32878)
                                                                                                                                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                                                                                                                                  • Fez o syncmgr bloquear a chave antes de retornar o futuro(#32865)
                                                                                                                                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                                                                                                                                  • Assegurado que o índice invertido tinha apenas um segmento(#32858)
                                                                                                                                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                                                                                                                                  • Corrigido o gatilho de compactação escolhendo dois segmentos idênticos(#32800)
                                                                                                                                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                                                                                                                                  • Corrigido o problema onde o nome da partição não podia ser especificado na importação do binlog(#32730, #33027)
                                                                                                                                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                                                                                                                                  • Tornada a coluna dinâmica opcional na importação de parquet(#32738)
                                                                                                                                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                                                                                                                                  • Saltava a verificação do ID automático ao inserir dados(#32775)
                                                                                                                                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                                                                                                                                  • Validado o número de linhas para inserir dados de campo com o esquema(#32770)
                                                                                                                                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                                                                                                                                  • Adicionado Wrapper e Keepalive para IDs CTraceContext(#32746)
                                                                                                                                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                                                                                                                                  • Corrigido o problema em que o nome da base de dados não era encontrado no meta objeto datacoord(#33412)
                                                                                                                                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                                                                                                                                  • Sincronizado o segmento descartado para a partição descartada(#33332)
                                                                                                                                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                                                                                                                                  • Corrigida a falha na recolha de métricas do quotaCenter devido a parâmetros incorrectos(#33399)
                                                                                                                                                                                                                                                                                                                                  • +

                                                                                                                                                                                                                                                                                                                                    Bug fixes

                                                                                                                                                                                                                                                                                                                                      +
                                                                                                                                                                                                                                                                                                                                    • Fixed panic when the database didn’t exist in the rate limit interceptor (#33308)
                                                                                                                                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                                                                                                                                    • Fixed quotacenter metrics collection failure due to incorrect parameters (#33399)
                                                                                                                                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                                                                                                                                    • Fixed panic if processactivestandby returned an error (#33372)
                                                                                                                                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                                                                                                                                    • Fixed search result truncation in restful v2 when nq > 1 (#33363)
                                                                                                                                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                                                                                                                                    • Added database name field for role operations in restful v2 (#33291)
                                                                                                                                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                                                                                                                                    • Fixed global rate limit not working (#33336)
                                                                                                                                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                                                                                                                                    • Fixed panic caused by failure of building index (#33314)
                                                                                                                                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                                                                                                                                    • Added validation for sparse vector in segcore to ensure legality (#33312)
                                                                                                                                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                                                                                                                                    • Removed task from syncmgr after task completion (#33303)
                                                                                                                                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                                                                                                                                    • Fixed partition key filtering failure during data import (#33277)
                                                                                                                                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                                                                                                                                    • Fixed inability to generate traceID when using noop exporter (#33208)
                                                                                                                                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                                                                                                                                    • Improved query results retrieval (#33179)
                                                                                                                                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                                                                                                                                    • Marked channel checkpoint dropped to prevent checkpoint lag metrics leakage (#33201)
                                                                                                                                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                                                                                                                                    • Fixed query node getting stuck during stopping progress (#33154)
                                                                                                                                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                                                                                                                                    • Fixed missing segments in flush response (#33061)
                                                                                                                                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                                                                                                                                    • Made submit operation idempotent (#33053)
                                                                                                                                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                                                                                                                                    • Allocated new slice for each batch in streaming reader (#33360)
                                                                                                                                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                                                                                                                                    • Cleaned offline node from resource group after QueryCoord restart (#33233)
                                                                                                                                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                                                                                                                                    • Removed l0 compactor in completedCompactor (#33216)
                                                                                                                                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                                                                                                                                    • Reset quota value when initializing the limiter (#33152)
                                                                                                                                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                                                                                                                                    • Fixed issue where etcd limit was exceeded (#33041)
                                                                                                                                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                                                                                                                                    • Resolved etcd transaction limit exceedance due to too many fields (#33040)
                                                                                                                                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                                                                                                                                    • Removed RLock re-entry in GetNumRowsOfPartition (#33045)
                                                                                                                                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                                                                                                                                    • Started LeaderCacheObserver before SyncAll (#33035)
                                                                                                                                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                                                                                                                                    • Enabled balancing of released standby channel (#32986)
                                                                                                                                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                                                                                                                                    • Initialized access logger before server initialization (#32976)
                                                                                                                                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                                                                                                                                    • Made compactor capable of clearing empty segments (#32821)
                                                                                                                                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                                                                                                                                    • Filled deltalog entry number and time range in l0 compactions (#33004)
                                                                                                                                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                                                                                                                                    • Fixed proxy crash due to shard leader cache data race (#32971)
                                                                                                                                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                                                                                                                                    • Corrected time unit for load index metric (#32935)
                                                                                                                                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                                                                                                                                    • Fixed issue where segment on stopping query node couldn’t be released successfully (#32929)
                                                                                                                                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                                                                                                                                    • Fixed index resource estimation (#32842)
                                                                                                                                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                                                                                                                                    • Set channel checkpoint to delta position (#32878)
                                                                                                                                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                                                                                                                                    • Made syncmgr lock key before returning future (#32865)
                                                                                                                                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                                                                                                                                    • Ensured inverted index had only one segment (#32858)
                                                                                                                                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                                                                                                                                    • Fixed compaction trigger choosing two identical segments (#32800)
                                                                                                                                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                                                                                                                                    • Fixed issue where partition name could not be specified in binlog import (#32730, #33027)
                                                                                                                                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                                                                                                                                    • Made dynamic column optional in parquet import (#32738)
                                                                                                                                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                                                                                                                                    • Skipped checking auto ID when inserting data (#32775)
                                                                                                                                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                                                                                                                                    • Validated number of rows for insert field data with schema (#32770)
                                                                                                                                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                                                                                                                                    • Added Wrapper and Keepalive for CTraceContext IDs (#32746)
                                                                                                                                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                                                                                                                                    • Fixed issue where database name was not found in the datacoord meta object (#33412)
                                                                                                                                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                                                                                                                                    • Synchronized dropped segment for dropped partition (#33332)
                                                                                                                                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                                                                                                                                    • Fixed quotaCenter metrics collection failure due to incorrect parameters (#33399)

                                                                                                                                                                                                                                                                                                                                    v2.4.1

                                                                                                                                                                                                                                                                                                                                    Data de lançamento: 6 de maio de 2024

                                                                                                                                                                                                                                                                                                                                    +

                                                                                                                                                                                                                                                                                                                                    Release date: May 6, 2024

                                                                                                                                                                                                                                                                                                                                    - +
                                                                                                                                                                                                                                                                                                                                    Versão do MilvusVersão do Python SDKVersão do Java SDKVersão do SDK do Node.js
                                                                                                                                                                                                                                                                                                                                    Milvus versionPython SDK versionJava SDK versionNode.js SDK version
                                                                                                                                                                                                                                                                                                                                    2.4.12.4.12.4.02.4.2
                                                                                                                                                                                                                                                                                                                                    -

                                                                                                                                                                                                                                                                                                                                    A versão 2.4.1 do Milvus traz inúmeras melhorias e correcções de erros que visam melhorar o desempenho, a observabilidade e a estabilidade do software. Estas melhorias incluem uma API declarativa de grupo de recursos, uma funcionalidade melhorada de inserção em massa que suporta tipos de dados vectoriais Float16/BFloat16, um mecanismo refinado de recolha de lixo (GC) que reduz as operações de lista para armazenamento de objectos e outras alterações relacionadas com optimizações de desempenho. Além disso, as correções de bugs abordam problemas como erros de compilação, correspondências difusas com falha em caracteres de nova linha, tipos de dados de parâmetro incorretos para interfaces RESTful e BulkInsert gerando erros em arquivos numpy quando os campos dinâmicos estão ativados.

                                                                                                                                                                                                                                                                                                                                    -

                                                                                                                                                                                                                                                                                                                                    Alterações de rutura

                                                                                                                                                                                                                                                                                                                                      -
                                                                                                                                                                                                                                                                                                                                    • Suporte descontinuado para exclusão com uma expressão de filtro vazia.(#32472)
                                                                                                                                                                                                                                                                                                                                    • +

                                                                                                                                                                                                                                                                                                                                      Milvus version 2.4.1 brings numerous improvements and bug fixes that aim to enhance the software’s performance, observability, and stability. These improvements include a declarative resource group API, enhanced bulk insert functionality that supports Float16/BFloat16 vector data types, a refined garbage collection (GC) mechanism that reduces list operations for object storage, and other changes related to performance optimizations. Additionally, bug fixes address issues such as compilation errors, failed fuzzy matches on newline characters, incorrect parameter datatypes for RESTful interfaces, and BulkInsert raising errors on numpy files when dynamic fields are enabled.

                                                                                                                                                                                                                                                                                                                                      +

                                                                                                                                                                                                                                                                                                                                      Breaking changes

                                                                                                                                                                                                                                                                                                                                        +
                                                                                                                                                                                                                                                                                                                                      • Discontinued support for delete with an empty filter expression. (#32472)
                                                                                                                                                                                                                                                                                                                                      -

                                                                                                                                                                                                                                                                                                                                      Caraterísticas

                                                                                                                                                                                                                                                                                                                                        -
                                                                                                                                                                                                                                                                                                                                      • Adicionado suporte para tipos de dados de vetor Float16/BFloat16 na inserção em massa(#32157)
                                                                                                                                                                                                                                                                                                                                      • -
                                                                                                                                                                                                                                                                                                                                      • Vetor float esparso melhorado para suportar pesquisa de iteradores de força bruta e pesquisa de intervalos(#32635)
                                                                                                                                                                                                                                                                                                                                      • +

                                                                                                                                                                                                                                                                                                                                        Features

                                                                                                                                                                                                                                                                                                                                          +
                                                                                                                                                                                                                                                                                                                                        • Added support for Float16/BFloat16 vector data types in bulk insert (#32157)
                                                                                                                                                                                                                                                                                                                                        • +
                                                                                                                                                                                                                                                                                                                                        • Enhanced sparse float vector to support brute force iterator search and range search (#32635)
                                                                                                                                                                                                                                                                                                                                        -

                                                                                                                                                                                                                                                                                                                                        Melhorias

                                                                                                                                                                                                                                                                                                                                          -
                                                                                                                                                                                                                                                                                                                                        • Adicionada a API declarativa de grupo de recursos(#31930, #32297, #32536, #32666)
                                                                                                                                                                                                                                                                                                                                        • -
                                                                                                                                                                                                                                                                                                                                        • Reescreveu o observador da coleção no QueryCoord para o tornar orientado para a tarefa(#32441)
                                                                                                                                                                                                                                                                                                                                        • -
                                                                                                                                                                                                                                                                                                                                        • Refacturada a estrutura de dados usada no SyncManager do DataNode para reduzir a utilização de memória e evitar erros(#32673)
                                                                                                                                                                                                                                                                                                                                        • -
                                                                                                                                                                                                                                                                                                                                        • Revisto a implementação da recolha de lixo para minimizar as operações de lista associadas ao armazenamento de objectos(#31740)
                                                                                                                                                                                                                                                                                                                                        • -
                                                                                                                                                                                                                                                                                                                                        • Reduzida a utilização do cpu quando o número de colecções é elevado(#32245)
                                                                                                                                                                                                                                                                                                                                        • -
                                                                                                                                                                                                                                                                                                                                        • Melhorou a gestão do milvus.yaml, gerando automaticamente itens de configuração relevantes no ficheiro milvus.yaml através de código(#31832, #32357)
                                                                                                                                                                                                                                                                                                                                        • -
                                                                                                                                                                                                                                                                                                                                        • Melhorado o desempenho da Query, recuperando os dados depois de efetuar a redução local(#32346)
                                                                                                                                                                                                                                                                                                                                        • -
                                                                                                                                                                                                                                                                                                                                        • Adicionada a opção WithBlock para a criação do cliente etcd(#32641)
                                                                                                                                                                                                                                                                                                                                        • -
                                                                                                                                                                                                                                                                                                                                        • Usado client_request_id especificado pelo cliente como o TraceID se o cliente forneceu(#32264)
                                                                                                                                                                                                                                                                                                                                        • -
                                                                                                                                                                                                                                                                                                                                        • Adicionada etiqueta db às métricas para as operações de eliminação e inserção em massa(#32611)
                                                                                                                                                                                                                                                                                                                                        • -
                                                                                                                                                                                                                                                                                                                                        • Adicionada lógica para saltar a verificação através da configuração para as colunas AutoID e PartitionKey(#32592)
                                                                                                                                                                                                                                                                                                                                        • -
                                                                                                                                                                                                                                                                                                                                        • Erros refinados relacionados com a autenticação(#32253)
                                                                                                                                                                                                                                                                                                                                        • -
                                                                                                                                                                                                                                                                                                                                        • Registos de erros refinados para AllocSegmentID em DataCoord(#32351, #32335)
                                                                                                                                                                                                                                                                                                                                        • -
                                                                                                                                                                                                                                                                                                                                        • Remoção de métricas duplicadas(#32380, #32308) e limpeza de métricas não utilizadas(#32404, #32515)
                                                                                                                                                                                                                                                                                                                                        • -
                                                                                                                                                                                                                                                                                                                                        • Adicionada a opção de configuração para controlar se a ativação da funcionalidade partitionKey deve ser imposta(#32433)
                                                                                                                                                                                                                                                                                                                                        • -
                                                                                                                                                                                                                                                                                                                                        • Adicionada opção de configuração para controlar a quantidade máxima de dados que podem ser inseridos num único pedido(#32433)
                                                                                                                                                                                                                                                                                                                                        • -
                                                                                                                                                                                                                                                                                                                                        • Paralelização da operação applyDelete ao nível do segmento para acelerar o processamento de mensagens Delete pelo Delegador(#32291)
                                                                                                                                                                                                                                                                                                                                        • -
                                                                                                                                                                                                                                                                                                                                        • Usou o índice(#32232, #32505, #32533, #32595) e adicionou a cache(#32580) para acelerar as operações de filtragem frequentes no QueryCoord.
                                                                                                                                                                                                                                                                                                                                        • -
                                                                                                                                                                                                                                                                                                                                        • Reescreveu a estrutura de dados(#32273) e refacturou o código(#32389) para acelerar operações comuns no DataCoord.
                                                                                                                                                                                                                                                                                                                                        • -
                                                                                                                                                                                                                                                                                                                                        • Removido o openblas do conan(#32002)
                                                                                                                                                                                                                                                                                                                                        • +

                                                                                                                                                                                                                                                                                                                                          Improvements

                                                                                                                                                                                                                                                                                                                                            +
                                                                                                                                                                                                                                                                                                                                          • Added declarative resource group api (#31930, #32297, #32536, #32666)
                                                                                                                                                                                                                                                                                                                                          • +
                                                                                                                                                                                                                                                                                                                                          • Rewrote the collection observer in QueryCoord to make it task-driven (#32441)
                                                                                                                                                                                                                                                                                                                                          • +
                                                                                                                                                                                                                                                                                                                                          • Refactored the data structure used in the SyncManager of DataNode to reduce memory usage and prevent errors (#32673)
                                                                                                                                                                                                                                                                                                                                          • +
                                                                                                                                                                                                                                                                                                                                          • Revised the implementation of garbage collection to minimize list operations associated with object storage (#31740)
                                                                                                                                                                                                                                                                                                                                          • +
                                                                                                                                                                                                                                                                                                                                          • Reduced the cpu usage when collection number is high (#32245)
                                                                                                                                                                                                                                                                                                                                          • +
                                                                                                                                                                                                                                                                                                                                          • Enhanced the management of milvus.yaml by automatically generating relevant configuration items in the milvus.yaml file through code (#31832, #32357)
                                                                                                                                                                                                                                                                                                                                          • +
                                                                                                                                                                                                                                                                                                                                          • Enhanced the performance of the Query by retrieving the data after performing local reduction (#32346)
                                                                                                                                                                                                                                                                                                                                          • +
                                                                                                                                                                                                                                                                                                                                          • Added WithBlock option for etcd client creation (#32641)
                                                                                                                                                                                                                                                                                                                                          • +
                                                                                                                                                                                                                                                                                                                                          • Used client_request_id specified by the client as the TraceID if client provided (#32264)
                                                                                                                                                                                                                                                                                                                                          • +
                                                                                                                                                                                                                                                                                                                                          • Added db label to the metrics for the delete and bulk insert operations (#32611)
                                                                                                                                                                                                                                                                                                                                          • +
                                                                                                                                                                                                                                                                                                                                          • Added logic to skip the verification through configuration for AutoID and PartitionKey columns (#32592)
                                                                                                                                                                                                                                                                                                                                          • +
                                                                                                                                                                                                                                                                                                                                          • Refined errors related to authentication (#32253)
                                                                                                                                                                                                                                                                                                                                          • +
                                                                                                                                                                                                                                                                                                                                          • Refined error logs for AllocSegmentID in DataCoord (#32351, #32335)
                                                                                                                                                                                                                                                                                                                                          • +
                                                                                                                                                                                                                                                                                                                                          • Removed duplicate metrics (#32380, #32308) and cleaned up unused metrics (#32404, #32515)
                                                                                                                                                                                                                                                                                                                                          • +
                                                                                                                                                                                                                                                                                                                                          • Added configuration option to control whether to enforce the activation of the partitionKey feature (#32433)
                                                                                                                                                                                                                                                                                                                                          • +
                                                                                                                                                                                                                                                                                                                                          • Added configuration option to control the maximum amount of data that can be inserted in a single request (#32433)
                                                                                                                                                                                                                                                                                                                                          • +
                                                                                                                                                                                                                                                                                                                                          • Parallelize the applyDelete operation at the segment level to accelerate the processing of Delete messages by the Delegator (#32291)
                                                                                                                                                                                                                                                                                                                                          • +
                                                                                                                                                                                                                                                                                                                                          • Used index (#32232, #32505, #32533, #32595) and add cache (#32580) to accelerate frequent filtering operations in QueryCoord.
                                                                                                                                                                                                                                                                                                                                          • +
                                                                                                                                                                                                                                                                                                                                          • Rewrote the data structure (#32273) and refactored code (#32389) to accelerate common operations in DataCoord.
                                                                                                                                                                                                                                                                                                                                          • +
                                                                                                                                                                                                                                                                                                                                          • Removed openblas from conan (#32002)
                                                                                                                                                                                                                                                                                                                                          -

                                                                                                                                                                                                                                                                                                                                          Correcções de erros

                                                                                                                                                                                                                                                                                                                                            -
                                                                                                                                                                                                                                                                                                                                          • Corrigida a compilação milvus no rockylinux8(#32619)
                                                                                                                                                                                                                                                                                                                                          • -
                                                                                                                                                                                                                                                                                                                                          • Corrigidos erros de compilação para SVE em ARM(#32463, #32270)
                                                                                                                                                                                                                                                                                                                                          • -
                                                                                                                                                                                                                                                                                                                                          • Corrigido o problema de crash em imagens GPU baseadas em ARM(#31980)
                                                                                                                                                                                                                                                                                                                                          • -
                                                                                                                                                                                                                                                                                                                                          • Corrigido a consulta regex não pode lidar com texto com nova linha(#32569)
                                                                                                                                                                                                                                                                                                                                          • -
                                                                                                                                                                                                                                                                                                                                          • Corrigido a pesquisa obter resultado vazio causado por GetShardLeaders retornar lista de nós vazios(#32685)
                                                                                                                                                                                                                                                                                                                                          • -
                                                                                                                                                                                                                                                                                                                                          • Corrigido o erro levantado pelo BulkInsert ao encontrar campos dinâmicos em ficheiros numpy(#32596)
                                                                                                                                                                                                                                                                                                                                          • -
                                                                                                                                                                                                                                                                                                                                          • Corrigidos erros relacionados com a interface RESTFulV2, incluindo uma correção importante que permite que os parâmetros numéricos nos pedidos aceitem entrada numérica em vez de tipo string(#32485, #32355)
                                                                                                                                                                                                                                                                                                                                          • -
                                                                                                                                                                                                                                                                                                                                          • Corrigida a fuga de memória no proxy ao remover o evento de configuração de observação no limitador de taxa(#32313)
                                                                                                                                                                                                                                                                                                                                          • -
                                                                                                                                                                                                                                                                                                                                          • Corrigido o problema em que o limitador de taxa informava incorretamente que a partição não podia ser encontrada quando partitionName não era especificado(#32647)
                                                                                                                                                                                                                                                                                                                                          • -
                                                                                                                                                                                                                                                                                                                                          • Adicionada a deteção entre os casos da coleção estar no estado de recuperação e não estar carregada no tipo de erro.(#32447)
                                                                                                                                                                                                                                                                                                                                          • -
                                                                                                                                                                                                                                                                                                                                          • Correção da métrica negativa de entidades numéricas consultáveis(#32361)
                                                                                                                                                                                                                                                                                                                                          • +

                                                                                                                                                                                                                                                                                                                                            Bug fixes

                                                                                                                                                                                                                                                                                                                                              +
                                                                                                                                                                                                                                                                                                                                            • Fixed build milvus in rockylinux8 (#32619)
                                                                                                                                                                                                                                                                                                                                            • +
                                                                                                                                                                                                                                                                                                                                            • Fixed compilation errors for SVE on ARM (#32463, #32270)
                                                                                                                                                                                                                                                                                                                                            • +
                                                                                                                                                                                                                                                                                                                                            • Fixed the crash issue on ARM-based GPU images (#31980)
                                                                                                                                                                                                                                                                                                                                            • +
                                                                                                                                                                                                                                                                                                                                            • Fixed regex query can’t handle text with newline (#32569)
                                                                                                                                                                                                                                                                                                                                            • +
                                                                                                                                                                                                                                                                                                                                            • Fixed search get empty result caused by GetShardLeaders return empty node list (#32685)
                                                                                                                                                                                                                                                                                                                                            • +
                                                                                                                                                                                                                                                                                                                                            • Fixed BulkInsert raised error when encountering dynamic fields in numpy files (#32596)
                                                                                                                                                                                                                                                                                                                                            • +
                                                                                                                                                                                                                                                                                                                                            • Fixed bugs related to the RESTFulV2 interface, including an important fix that allows numeric parameters in requests to accept numerical input instead of string type (#32485, #32355)
                                                                                                                                                                                                                                                                                                                                            • +
                                                                                                                                                                                                                                                                                                                                            • Fixed memory leak in proxy by removing watching config event in rate limiter (#32313)
                                                                                                                                                                                                                                                                                                                                            • +
                                                                                                                                                                                                                                                                                                                                            • Fixed the issue where the rate limiter incorrectly reports that the partition cannot be found when partitionName is not specified (#32647)
                                                                                                                                                                                                                                                                                                                                            • +
                                                                                                                                                                                                                                                                                                                                            • Added detection between the cases of Collection being in the recovery state and not being loaded in the error type. (#32447)
                                                                                                                                                                                                                                                                                                                                            • +
                                                                                                                                                                                                                                                                                                                                            • Corrected the negative queryable num entities metric (#32361)

                                                                                                                                                                                                                                                                                                                                            v2.4.0

                                                                                                                                                                                                                                                                                                                                            Data de lançamento: 17 de abril de 2024

                                                                                                                                                                                                                                                                                                                                            +

                                                                                                                                                                                                                                                                                                                                            Release date: April 17, 2024

                                                                                                                                                                                                                                                                                                                                            - +
                                                                                                                                                                                                                                                                                                                                            Versão do MilvusVersão do Python SDKVersão do SDK do Node.js
                                                                                                                                                                                                                                                                                                                                            Milvus versionPython SDK versionNode.js SDK version
                                                                                                                                                                                                                                                                                                                                            2.4.02.4.02.4.0
                                                                                                                                                                                                                                                                                                                                            -

                                                                                                                                                                                                                                                                                                                                            Temos o prazer de anunciar o lançamento oficial do Milvus 2.4.0. Com base na base sólida da versão 2.4.0-rc.1, concentrámo-nos em resolver os erros críticos relatados pelos nossos utilizadores, preservando a funcionalidade existente. Além disso, o Milvus 2.4.0 introduz uma série de optimizações destinadas a melhorar o desempenho do sistema, melhorando a observabilidade através da incorporação de várias métricas, e simplificando a base de código para uma maior simplicidade.

                                                                                                                                                                                                                                                                                                                                            -

                                                                                                                                                                                                                                                                                                                                            Melhorias

                                                                                                                                                                                                                                                                                                                                              -
                                                                                                                                                                                                                                                                                                                                            • Suporte para conexões MinIO TLS(#31396, #31618)
                                                                                                                                                                                                                                                                                                                                            • -
                                                                                                                                                                                                                                                                                                                                            • Suporte AutoIndex para campos escalares(#31593)
                                                                                                                                                                                                                                                                                                                                            • -
                                                                                                                                                                                                                                                                                                                                            • Refactoring de pesquisa híbrida para caminhos de execução consistentes com pesquisa regular(#31742, #32178)
                                                                                                                                                                                                                                                                                                                                            • -
                                                                                                                                                                                                                                                                                                                                            • Filtragem acelerada através de bitset e bitset_view refactoring(#31592, #31754, #32139)
                                                                                                                                                                                                                                                                                                                                            • -
                                                                                                                                                                                                                                                                                                                                            • As tarefas de importação suportam agora a espera pela conclusão do índice de dados(#31733)
                                                                                                                                                                                                                                                                                                                                            • -
                                                                                                                                                                                                                                                                                                                                            • Compatibilidade de importação melhorada(#32121), agendamento de tarefas(#31475), e limites no tamanho e número de ficheiros importados(#31542)
                                                                                                                                                                                                                                                                                                                                            • -
                                                                                                                                                                                                                                                                                                                                            • Esforços de simplificação do código, incluindo a normalização da interface para verificação de tipos(#31945, #31857), remoção de código e métricas obsoletas(#32079, #32134, #31535, #32211, #31935), e normalização de nomes constantes(#31515)
                                                                                                                                                                                                                                                                                                                                            • -
                                                                                                                                                                                                                                                                                                                                            • Nova métrica para a latência do atraso do ponto de verificação do canal de destino atual do QueryCoord(#31420)
                                                                                                                                                                                                                                                                                                                                            • -
                                                                                                                                                                                                                                                                                                                                            • Nova etiqueta db para métricas comuns(#32024)
                                                                                                                                                                                                                                                                                                                                            • -
                                                                                                                                                                                                                                                                                                                                            • Novas métricas relativas à contagem de entidades eliminadas, indexadas e carregadas, com a inclusão de etiquetas tais como collectionName e dbName(#31861)
                                                                                                                                                                                                                                                                                                                                            • -
                                                                                                                                                                                                                                                                                                                                            • Melhorias no tratamento de erros para tipos de vectores incompatíveis(#31766)
                                                                                                                                                                                                                                                                                                                                            • -
                                                                                                                                                                                                                                                                                                                                            • Suporte para lançar erros em vez de falhar quando o índice não pode ser construído(#31845)
                                                                                                                                                                                                                                                                                                                                            • -
                                                                                                                                                                                                                                                                                                                                            • Suporte para invalidar a meta cache da base de dados quando se deixa cair bases de dados(#32092)
                                                                                                                                                                                                                                                                                                                                            • -
                                                                                                                                                                                                                                                                                                                                            • Refactoring de interface para distribuição de canais(#31814) e gestão da vista de líder(#32127)
                                                                                                                                                                                                                                                                                                                                            • -
                                                                                                                                                                                                                                                                                                                                            • Refactorizar a interface do gestor de distribuição de canais(#31814) e refactorizar a interface do gestor da vista do líder(#32127)
                                                                                                                                                                                                                                                                                                                                            • -
                                                                                                                                                                                                                                                                                                                                            • Processamento em lote(#31632), adicionando informação de mapeamento(#32234, #32249), e evitando a utilização de lock(#31787) para acelerar operações frequentemente invocadas
                                                                                                                                                                                                                                                                                                                                            • +

                                                                                                                                                                                                                                                                                                                                              We are excited to announce the official launch of Milvus 2.4.- Building upon the solid foundation of the 2.4.0-rc.1 release, we have focused on addressing critical bugs reported by our users, while preserving the existing functionality. In addition, Milvus 2.4.0 introduces a range of optimizations aimed at enhancing system performance, improving observability through the incorporation of various metrics, and streamlining the codebase for increased simplicity.

                                                                                                                                                                                                                                                                                                                                              +

                                                                                                                                                                                                                                                                                                                                              Improvements

                                                                                                                                                                                                                                                                                                                                                +
                                                                                                                                                                                                                                                                                                                                              • Support for MinIO TLS connections (#31396, #31618)
                                                                                                                                                                                                                                                                                                                                              • +
                                                                                                                                                                                                                                                                                                                                              • AutoIndex support for scalar fields (#31593)
                                                                                                                                                                                                                                                                                                                                              • +
                                                                                                                                                                                                                                                                                                                                              • Hybrid search refactoring for consistent execution paths with regular search (#31742, #32178)
                                                                                                                                                                                                                                                                                                                                              • +
                                                                                                                                                                                                                                                                                                                                              • Accelerated filtering through bitset and bitset_view refactoring (#31592, #31754, #32139)
                                                                                                                                                                                                                                                                                                                                              • +
                                                                                                                                                                                                                                                                                                                                              • Import tasks now support waiting for data index completion (#31733)
                                                                                                                                                                                                                                                                                                                                              • +
                                                                                                                                                                                                                                                                                                                                              • Enhanced Import compatibility (#32121), task scheduling (#31475), and limits on imported file size and number (#31542)
                                                                                                                                                                                                                                                                                                                                              • +
                                                                                                                                                                                                                                                                                                                                              • Code simplification efforts including interface standardization for type checking (#31945, #31857), removal of deprecated code and metrics (#32079, #32134, #31535, #32211, #31935), and normalization of constant names (#31515)
                                                                                                                                                                                                                                                                                                                                              • +
                                                                                                                                                                                                                                                                                                                                              • New metrics for QueryCoord current target channel check point lag latency (#31420)
                                                                                                                                                                                                                                                                                                                                              • +
                                                                                                                                                                                                                                                                                                                                              • New db label for common metrics (#32024)
                                                                                                                                                                                                                                                                                                                                              • +
                                                                                                                                                                                                                                                                                                                                              • New metrics regarding the count of deleted, indexed, and loaded entities, with the inclusion of labels such as collectionName and dbName (#31861)
                                                                                                                                                                                                                                                                                                                                              • +
                                                                                                                                                                                                                                                                                                                                              • Error handling improvements for mismatched vector types (#31766)
                                                                                                                                                                                                                                                                                                                                              • +
                                                                                                                                                                                                                                                                                                                                              • Support for throwing errors instead of crashing when index cannot be built (#31845)
                                                                                                                                                                                                                                                                                                                                              • +
                                                                                                                                                                                                                                                                                                                                              • Support for invalidating the database meta cache when dropping databases (#32092)
                                                                                                                                                                                                                                                                                                                                              • +
                                                                                                                                                                                                                                                                                                                                              • Interface refactoring for channel distribution (#31814) and leader view management (#32127)
                                                                                                                                                                                                                                                                                                                                              • +
                                                                                                                                                                                                                                                                                                                                              • Refactor channel dist manager interface (#31814) and Refactor leader view manager interface (#32127)
                                                                                                                                                                                                                                                                                                                                              • +
                                                                                                                                                                                                                                                                                                                                              • Batch processing (#31632), adding mapping information (#32234, #32249), and avoiding usage of lock (#31787) to accelerate frequently invoked operations
                                                                                                                                                                                                                                                                                                                                              -

                                                                                                                                                                                                                                                                                                                                              Alterações de rutura

                                                                                                                                                                                                                                                                                                                                                -
                                                                                                                                                                                                                                                                                                                                              • Pesquisa de agrupamento descontinuada em vectores binários(#31735)
                                                                                                                                                                                                                                                                                                                                              • -
                                                                                                                                                                                                                                                                                                                                              • Descontinuação da pesquisa de agrupamento com pesquisa híbrida(#31812)
                                                                                                                                                                                                                                                                                                                                              • -
                                                                                                                                                                                                                                                                                                                                              • Descontinuação do índice HNSW em vectores binários(#31883)
                                                                                                                                                                                                                                                                                                                                              • +

                                                                                                                                                                                                                                                                                                                                                Breaking Changes

                                                                                                                                                                                                                                                                                                                                                  +
                                                                                                                                                                                                                                                                                                                                                • Discontinued grouping search on binary vectors (#31735)
                                                                                                                                                                                                                                                                                                                                                • +
                                                                                                                                                                                                                                                                                                                                                • Discontinued grouping search with hybrid search (#31812)
                                                                                                                                                                                                                                                                                                                                                • +
                                                                                                                                                                                                                                                                                                                                                • Discontinued HNSW index on binary vectors (#31883)
                                                                                                                                                                                                                                                                                                                                                -

                                                                                                                                                                                                                                                                                                                                                Correcções de erros

                                                                                                                                                                                                                                                                                                                                                  -
                                                                                                                                                                                                                                                                                                                                                • Verificações melhoradas do tipo de dados e valores para consultas e inserções para evitar falhas(#31478, #31653, #31698, #31842, #32042, #32251, #32204)
                                                                                                                                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                                                                                                                                • Correcções de erros da API RESTful(#32160)
                                                                                                                                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                                                                                                                                • Previsão melhorada da utilização de recursos de índice invertido(#31641)
                                                                                                                                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                                                                                                                                • Resolução de problemas de ligação com o etcd quando a autorização está activada(#31668)
                                                                                                                                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                                                                                                                                • Atualização de segurança para o servidor nats(#32023)
                                                                                                                                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                                                                                                                                • Ficheiros de índices invertidos armazenados num caminho de armazenamento local do QueryNode em vez de /tmp(#32210)
                                                                                                                                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                                                                                                                                • Resolvida a fuga de memória do datacoord para o collectionInfo(#32243)
                                                                                                                                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                                                                                                                                • Correcções para bugs relacionados com fp16/bf16 que potencialmente causam panes no sistema(#31677, #31841, #32196)
                                                                                                                                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                                                                                                                                • Resolvidos problemas com a pesquisa de agrupamento que retornava resultados insuficientes(#32151)
                                                                                                                                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                                                                                                                                • Ajustamento da pesquisa com iteradores para lidar com deslocações no passo Reduzir mais eficazmente e assegurar resultados adequados com "reduceStopForBest" ativado(#32088)
                                                                                                                                                                                                                                                                                                                                                • +

                                                                                                                                                                                                                                                                                                                                                  Bug Fixes

                                                                                                                                                                                                                                                                                                                                                    +
                                                                                                                                                                                                                                                                                                                                                  • Enhanced data type and value checks for queries and insertions to prevent crashes (#31478, #31653, #31698, #31842, #32042, #32251, #32204)
                                                                                                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                                                                                                  • RESTful API bug fixes (#32160)
                                                                                                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                                                                                                  • Improved prediction of inverted index resource usage (#31641)
                                                                                                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                                                                                                  • Resolution of connection issues with etcd when authorization is enabled (#31668)
                                                                                                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                                                                                                  • Security update for nats server (#32023)
                                                                                                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                                                                                                  • Stored inverted index files into a local storage path of QueryNode instead of /tmp (#32210)
                                                                                                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                                                                                                  • Addressed datacoord memory leaks for collectionInfo (#32243)
                                                                                                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                                                                                                  • Fixes for fp16/bf16 related bugs potentially causing system panic (#31677, #31841, #32196)
                                                                                                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                                                                                                  • Resolved issues with grouping search returning insufficient results (#32151)
                                                                                                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                                                                                                  • Adjustment of search with iterators to handle offsets in the Reduce step more effectively and ensure adequate results with “reduceStopForBest” enabled (#32088)

                                                                                                                                                                                                                                                                                                                                                  v2.4.0-rc.1

                                                                                                                                                                                                                                                                                                                                                  Data de lançamento: 20 de março de 2024

                                                                                                                                                                                                                                                                                                                                                  +

                                                                                                                                                                                                                                                                                                                                                  Release date: March 20, 2024

                                                                                                                                                                                                                                                                                                                                                  - +
                                                                                                                                                                                                                                                                                                                                                  Versão do MilvusVersão do Python SDK
                                                                                                                                                                                                                                                                                                                                                  Milvus versionPython SDK version
                                                                                                                                                                                                                                                                                                                                                  2.4.0-rc.12.4.0
                                                                                                                                                                                                                                                                                                                                                  -

                                                                                                                                                                                                                                                                                                                                                  Esta versão introduz várias funcionalidades baseadas em cenários:

                                                                                                                                                                                                                                                                                                                                                  +

                                                                                                                                                                                                                                                                                                                                                  This release introduces several scenario-based features:

                                                                                                                                                                                                                                                                                                                                                    -
                                                                                                                                                                                                                                                                                                                                                  • Novo índice GPU - CAGRA: Graças à contribuição da NVIDIA, este novo índice GPU oferece um aumento de desempenho de 10x, especialmente para pesquisas em lote. Para obter detalhes, consulte Índice de GPU.

                                                                                                                                                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                                                                                                                                                  • Pesquisamulti-vetorial e híbrida: Este recurso permite armazenar embeddings vetoriais de vários modelos e realizar pesquisas híbridas. Para obter detalhes, consulte Pesquisa híbrida.

                                                                                                                                                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                                                                                                                                                  • Vectores esparsos: Ideais para interpretação e análise de palavras-chave, os vectores esparsos são agora suportados para processamento na sua coleção. Para obter detalhes, consulte Vectores esparsos.

                                                                                                                                                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                                                                                                                                                  • Pesquisa de agrupamento: A agregação categórica melhora a recuperação a nível de documento para aplicações de Geração Aumentada por Recuperação (RAG). Para obter detalhes, consulte Pesquisa de agrupamento.

                                                                                                                                                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                                                                                                                                                  • Índice invertido e Fuzzy Matching: Estas capacidades melhoram a recuperação de palavras-chave para campos escalares. Para obter detalhes, consulte Indexar campos escalares e pesquisa filtrada.

                                                                                                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                                                                                                  • New GPU Index - CAGRA: Thanks to NVIDIA’s contribution, this new GPU index offers a 10x performance boost, especially for batch searches. For details, refer to GPU Index.

                                                                                                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                                                                                                  • Multi-vector and Hybrid Search: This feature enables storing vector embeddings from multiple models and conducting hybrid searches. For details, refer to Hybrid Search.

                                                                                                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                                                                                                  • Sparse Vectors: Ideal for keyword interpretation and analysis, sparse vectors are now supported for processing in your collection. For details, refer to Sparse Vectors.

                                                                                                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                                                                                                  • Grouping Search: Categorical aggregation enhances document-level recall for Retrieval-Augmented Generation (RAG) applications. For details, refer to Grouping Search.

                                                                                                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                                                                                                  • Inverted Index and Fuzzy Matching: These capabilities improve keyword retrieval for scalar fields. For details, refer to Index Scalar Fields and Filtered Search.

                                                                                                                                                                                                                                                                                                                                                  -

                                                                                                                                                                                                                                                                                                                                                  Novos recursos

                                                                                                                                                                                                                                                                                                                                                  Índice GPU - CAGRA

                                                                                                                                                                                                                                                                                                                                                  Gostaríamos de expressar a nossa sincera gratidão à equipa da NVIDIA pela sua inestimável contribuição para o CAGRA, um índice de grafos baseado em GPU de última geração (SoTA) que pode ser utilizado online.

                                                                                                                                                                                                                                                                                                                                                  -

                                                                                                                                                                                                                                                                                                                                                  Ao contrário dos índices GPU anteriores, o CAGRA demonstra uma superioridade esmagadora mesmo em consultas de pequenos lotes, uma área em que os índices CPU tradicionalmente se destacam. Além disso, o desempenho do CAGRA em consultas de grandes lotes e na velocidade de construção de índices, domínios em que os índices de GPU já se destacam, é verdadeiramente incomparável.

                                                                                                                                                                                                                                                                                                                                                  -

                                                                                                                                                                                                                                                                                                                                                  O código de exemplo pode ser encontrado em example_gpu_cagra.py.

                                                                                                                                                                                                                                                                                                                                                  -

                                                                                                                                                                                                                                                                                                                                                  Vetor esparso (Beta)

                                                                                                                                                                                                                                                                                                                                                  Nesta versão, estamos a introduzir um novo tipo de campo vetorial chamado vetor esparso. Os vectores esparsos são diferentes dos seus homólogos densos, uma vez que tendem a ter um número de dimensões superior em várias magnitudes, sendo que apenas algumas são diferentes de zero. Esta caraterística oferece uma melhor interpretabilidade devido à sua natureza baseada em termos e pode ser mais eficaz em determinados domínios. Os modelos esparsos aprendidos, como o SPLADEv2/BGE-M3, provaram ser muito úteis para tarefas comuns de classificação na primeira fase. O principal caso de utilização desta nova funcionalidade do Milvus é permitir uma pesquisa semântica aproximada eficiente do vizinho mais próximo em vectores esparsos gerados por modelos neurais como o SPLADEv2/BGE-M3 e modelos estatísticos como o algoritmo BM25. O Milvus suporta agora armazenamento, indexação e pesquisa eficazes e de alto desempenho (MIPS, Maximum Inner Product Search) de vectores esparsos.

                                                                                                                                                                                                                                                                                                                                                  -

                                                                                                                                                                                                                                                                                                                                                  O código de exemplo pode ser encontrado em hello_sparse.py.

                                                                                                                                                                                                                                                                                                                                                  -

                                                                                                                                                                                                                                                                                                                                                  O suporte multi-vetorial é a pedra angular para aplicações que requerem processamento de dados multi-modelo ou uma mistura de vectores densos e esparsos. Com o suporte a vários vetores, agora é possível:

                                                                                                                                                                                                                                                                                                                                                  +

                                                                                                                                                                                                                                                                                                                                                  New Features

                                                                                                                                                                                                                                                                                                                                                  GPU Index - CAGRA

                                                                                                                                                                                                                                                                                                                                                  We would like to express our sincere gratitude to the NVIDIA team for their invaluable contribution to CAGRA, a state-of-the-art (SoTA) GPU-based graph index that can be used online.

                                                                                                                                                                                                                                                                                                                                                  +

                                                                                                                                                                                                                                                                                                                                                  Unlike previous GPU indices, CAGRA demonstrates overwhelming superiority even in small batch queries, an area where CPU indices traditionally excel. In addition, CAGRA’s performance in large batch queries and index construction speed, domains where GPU indices already shine, is truly unparalleled.

                                                                                                                                                                                                                                                                                                                                                  +

                                                                                                                                                                                                                                                                                                                                                  Example code can be found in example_gpu_cagra.py.

                                                                                                                                                                                                                                                                                                                                                  +

                                                                                                                                                                                                                                                                                                                                                  Sparse Vector (Beta)

                                                                                                                                                                                                                                                                                                                                                  In this release, we are introducing a new type of vector field called sparse vector. Sparse vectors are different from their dense counterparts as they tend to have several magnitude higher number of dimensions with only a handful being non-zero. This feature offers better interpretability due to its term-based nature and can be more effective in certain domains. Learned sparse models such as SPLADEv2/BGE-M3 have proven to be very useful for common first-stage ranking tasks. The main use case for this new feature in Milvus is to allow efficient approximate semantic nearest neighbor search over sparse vectors generated by neural models such as SPLADEv2/BGE-M3 and statistics models such as the BM25 algorithm. Milvus now supports effective and high-performance storage, indexing, and searching (MIPS, Maximum Inner Product Search) of sparse vectors.

                                                                                                                                                                                                                                                                                                                                                  +

                                                                                                                                                                                                                                                                                                                                                  Example code can be found in hello_sparse.py.

                                                                                                                                                                                                                                                                                                                                                  +

                                                                                                                                                                                                                                                                                                                                                  Multi-vector support is the cornerstone for applications that require multi-model data processing or a mix of dense and sparse vectors. With multi-vector support, now you can:

                                                                                                                                                                                                                                                                                                                                                    -
                                                                                                                                                                                                                                                                                                                                                  • Armazenar embeddings vectoriais gerados para amostras de texto, imagem ou áudio não estruturados a partir de vários modelos.
                                                                                                                                                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                                                                                                                                                  • Realizar pesquisas ANN que incluam vários vectores de cada entidade.
                                                                                                                                                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                                                                                                                                                  • Personalizar estratégias de pesquisa atribuindo pesos a diferentes modelos de incorporação.
                                                                                                                                                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                                                                                                                                                  • Experimentar vários modelos de incorporação para encontrar a combinação ideal de modelos.
                                                                                                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                                                                                                  • Store vector embeddings generated for unstructured text, image, or audio samples from multiple models.
                                                                                                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                                                                                                  • Conduct ANN searches that include multiple vectors of each entity.
                                                                                                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                                                                                                  • Customize search strategies by assigning weights to different embedding models.
                                                                                                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                                                                                                  • Experiment with various embedding models to find the optimal model combination.
                                                                                                                                                                                                                                                                                                                                                  -

                                                                                                                                                                                                                                                                                                                                                  O suporte a vários vetores permite armazenar, indexar e aplicar estratégias de reranking a vários campos de vetores de diferentes tipos, como FLOAT_VECTOR e SPARSE_FLOAT_VECTOR, em uma coleção. Atualmente, estão disponíveis duas estratégias de reclassificação: Reciprocal Rank Fusion (RRF) e Average Weighted Scoring. Ambas as estratégias combinam os resultados da pesquisa de diferentes campos vectoriais num conjunto de resultados unificado. A primeira estratégia dá prioridade às entidades que aparecem consistentemente nos resultados de pesquisa de diferentes campos vectoriais, enquanto a outra estratégia atribui pesos aos resultados de pesquisa de cada campo vetorial para determinar a sua importância no conjunto de resultados final.

                                                                                                                                                                                                                                                                                                                                                  -

                                                                                                                                                                                                                                                                                                                                                  O código de exemplo pode ser encontrado em hybrid_search.py.

                                                                                                                                                                                                                                                                                                                                                  -

                                                                                                                                                                                                                                                                                                                                                  Índice invertido e Fuzzy Match

                                                                                                                                                                                                                                                                                                                                                  Em versões anteriores do Milvus, os índices de pesquisa binária baseados em memória e os índices Marisa Trie eram usados para indexação de campos escalares. No entanto, esses métodos consumiam muita memória. A versão mais recente do Milvus agora emprega o índice invertido baseado em Tantivy, que pode ser aplicado a todos os tipos de dados numéricos e de strings. Este novo índice melhora drasticamente o desempenho da consulta escalar, reduzindo em dez vezes a consulta de palavras-chave em cadeias de caracteres. Além disso, o índice invertido consome menos memória, graças a optimizações adicionais na compressão de dados e no mecanismo de armazenamento mapeado por memória (MMap) da estrutura de indexação interna.

                                                                                                                                                                                                                                                                                                                                                  -

                                                                                                                                                                                                                                                                                                                                                  Esta versão também suporta correspondências difusas na filtragem escalar usando prefixos, infixos e sufixos.

                                                                                                                                                                                                                                                                                                                                                  -

                                                                                                                                                                                                                                                                                                                                                  O código de exemplo pode ser encontrado em inverted_index_example.py e fuzzy_match.py.

                                                                                                                                                                                                                                                                                                                                                  -

                                                                                                                                                                                                                                                                                                                                                  Agora é possível agregar os resultados da pesquisa pelos valores de um campo escalar específico. Isso ajuda os aplicativos RAG a implementar a recuperação no nível do documento. Considere uma coleção de documentos, cada documento dividido em várias passagens. Cada passagem é representada por um vetor de incorporação e pertence a um documento. Para encontrar os documentos mais relevantes em vez de passagens dispersas, pode incluir o argumento group_by_field na operação search() para agrupar os resultados pelo ID do documento.

                                                                                                                                                                                                                                                                                                                                                  -

                                                                                                                                                                                                                                                                                                                                                  O código de exemplo pode ser encontrado em example_group_by.py.

                                                                                                                                                                                                                                                                                                                                                  -

                                                                                                                                                                                                                                                                                                                                                  Float16 e BFloat- Vetor DataType

                                                                                                                                                                                                                                                                                                                                                  A aprendizagem automática e as redes neurais utilizam frequentemente tipos de dados de meia-precisão, como Float16 e BFloat. Embora estes tipos de dados possam melhorar a eficiência da consulta e reduzir a utilização de memória, têm como contrapartida uma precisão reduzida. Com esta versão, o Milvus suporta agora estes tipos de dados para campos vectoriais.

                                                                                                                                                                                                                                                                                                                                                  -

                                                                                                                                                                                                                                                                                                                                                  O código de exemplo pode ser encontrado em float16_example.py e bfloat16_example.py.

                                                                                                                                                                                                                                                                                                                                                  -

                                                                                                                                                                                                                                                                                                                                                  Arquitetura atualizada

                                                                                                                                                                                                                                                                                                                                                  Segmento L0

                                                                                                                                                                                                                                                                                                                                                  Esta versão inclui um novo segmento chamado Segmento L0, projetado para registrar dados excluídos. Este segmento compacta periodicamente os registos apagados armazenados e divide-os em segmentos selados, reduzindo o número de descargas de dados necessárias para pequenas eliminações e deixando uma pequena pegada de armazenamento. Com este mecanismo, o Milvus separa completamente as compactações de dados das descargas de dados, melhorando o desempenho das operações de eliminação e inserção.

                                                                                                                                                                                                                                                                                                                                                  -

                                                                                                                                                                                                                                                                                                                                                  BulkInsert refatorado

                                                                                                                                                                                                                                                                                                                                                  Esta versão também introduz uma lógica melhorada de inserção em massa. Isto permite-lhe importar vários ficheiros num único pedido de inserção em massa. Com a versão refacturada, tanto o desempenho como a estabilidade da inserção em massa registaram melhorias significativas. A experiência do utilizador também foi melhorada, como a limitação de taxa ajustada e mensagens de erro mais fáceis de utilizar. Além disso, pode aceder facilmente aos pontos de extremidade de inserção em massa através da API RESTful do Milvus.

                                                                                                                                                                                                                                                                                                                                                  -

                                                                                                                                                                                                                                                                                                                                                  Armazenamento com memória mapeada

                                                                                                                                                                                                                                                                                                                                                  O Milvus utiliza o armazenamento mapeado na memória (MMap) para otimizar a utilização da memória. Em vez de carregar o conteúdo do ficheiro diretamente para a memória, este mecanismo mapeia o conteúdo do ficheiro para a memória. Esta abordagem tem como contrapartida a degradação do desempenho. Ao ativar o MMap para uma coleção indexada HNSW num anfitrião com 2 CPUs e 8 GB de RAM, pode carregar 4x mais dados com menos de 10% de degradação do desempenho.

                                                                                                                                                                                                                                                                                                                                                  -

                                                                                                                                                                                                                                                                                                                                                  Além disso, esta versão também permite um controlo dinâmico e fino do MMap sem necessidade de reiniciar o Milvus.

                                                                                                                                                                                                                                                                                                                                                  -

                                                                                                                                                                                                                                                                                                                                                  Para obter detalhes, consulte MMap Storage.

                                                                                                                                                                                                                                                                                                                                                  -

                                                                                                                                                                                                                                                                                                                                                  Outros

                                                                                                                                                                                                                                                                                                                                                  Milvus-CDC

                                                                                                                                                                                                                                                                                                                                                  O Milvus-CDC é uma ferramenta complementar fácil de usar para capturar e sincronizar dados incrementais entre instâncias do Milvus, permitindo um backup incremental fácil e recuperação de desastres. Nesta versão, o Milvus-CDC melhorou a estabilidade e a sua funcionalidade de Captura de Dados de Alteração (CDC) está agora disponível para todos.

                                                                                                                                                                                                                                                                                                                                                  -

                                                                                                                                                                                                                                                                                                                                                  Para saber mais sobre o Milvus-CDC, consulte o repositório GitHub e a Visão geral do Milvus-CDC.

                                                                                                                                                                                                                                                                                                                                                  -

                                                                                                                                                                                                                                                                                                                                                  Interfaces MilvusClient refinadas

                                                                                                                                                                                                                                                                                                                                                  MilvusClient é uma alternativa fácil de usar para o módulo ORM. Ele adota uma abordagem puramente funcional para simplificar as interações com o servidor. Em vez de manter um pool de conexões, cada MilvusClient estabelece uma conexão gRPC com o servidor. O módulo MilvusClient implementou a maioria das funcionalidades do módulo ORM. Para saber mais sobre o módulo MilvusClient, visite pymilvus e os documentos de referência.

                                                                                                                                                                                                                                                                                                                                                  +

                                                                                                                                                                                                                                                                                                                                                  Multi-vector support allows storing, indexing, and applying reranking strategies to multiple vector fields of different types, such as FLOAT_VECTOR and SPARSE_FLOAT_VECTOR, in a collection. Currently, two reranking strategies are available: Reciprocal Rank Fusion (RRF) and Average Weighted Scoring. Both strategies combine the search results from different vector fields into a unified result set. The first strategy prioritizes the entities that consistently appear in the search results of different vector fields, while the other strategy assigns weights to the search results of each vector field to determine their importance in the final result set.

                                                                                                                                                                                                                                                                                                                                                  +

                                                                                                                                                                                                                                                                                                                                                  Example code can be found in hybrid_search.py.

                                                                                                                                                                                                                                                                                                                                                  +

                                                                                                                                                                                                                                                                                                                                                  Inverted Index and Fuzzy Match

                                                                                                                                                                                                                                                                                                                                                  In previous releases of Milvus, memory-based binary search indexes and Marisa Trie indexes were used for scalar field indexing. However, these methods were memory-intensive. The latest release of Milvus now employs the Tantivy-based inverted index, which can be applied to all numeric and string data types. This new index dramatically improves scalar query performance, reducing the query of keywords in strings by ten times. In addition, The inverted index consumes less memory, thanks to additional optimizations in data compression and Memory-mapped storage (MMap) mechanism of the internal indexing structure.

                                                                                                                                                                                                                                                                                                                                                  +

                                                                                                                                                                                                                                                                                                                                                  This release also supports fuzzy matches in scalar filtering using prefixes, infixes, and suffixes.

                                                                                                                                                                                                                                                                                                                                                  +

                                                                                                                                                                                                                                                                                                                                                  Example code can be found in inverted_index_example.py and fuzzy_match.py.

                                                                                                                                                                                                                                                                                                                                                  +

                                                                                                                                                                                                                                                                                                                                                  You can now aggregate the search results by the values in a specific scalar field. This helps RAG applications to implement document-level recall. Consider a collection of documents, each document splits into various passages. Each passage is represented by one vector embedding and belongs to one document. To find the most relevant documents instead of scattering passages, you can include the group_by_field argument in the search() operation to group results by the document ID.

                                                                                                                                                                                                                                                                                                                                                  +

                                                                                                                                                                                                                                                                                                                                                  Example code can be found in example_group_by.py.

                                                                                                                                                                                                                                                                                                                                                  +

                                                                                                                                                                                                                                                                                                                                                  Float16 and BFloat- Vector DataType

                                                                                                                                                                                                                                                                                                                                                  Machine learning and neural networks often use half-precision data types, such as Float16 and BFloat- While these data types can improve query efficiency and reduce memory usage, they come with a tradeoff of reduced accuracy. With this release, Milvus now supports these data types for vector fields.

                                                                                                                                                                                                                                                                                                                                                  +

                                                                                                                                                                                                                                                                                                                                                  Example code can be found in float16_example.py and bfloat16_example.py.

                                                                                                                                                                                                                                                                                                                                                  +

                                                                                                                                                                                                                                                                                                                                                  Upgraded Architecture

                                                                                                                                                                                                                                                                                                                                                  L0 Segment

                                                                                                                                                                                                                                                                                                                                                  This release includes a new segment called L0 Segment, designed to record deleted data. This segment periodically compacts stored deleted records and splits them into sealed segments, reducing the number of data flushes required for small deletions and leaving a small storage footprint. With this mechanism, Milvus completely separates data compactions from data flushes, enhancing the performance of delete and upsert operations.

                                                                                                                                                                                                                                                                                                                                                  +

                                                                                                                                                                                                                                                                                                                                                  Refactored BulkInsert

                                                                                                                                                                                                                                                                                                                                                  This release also introduces improved bulk-insert logic. This allows you to import multiple files in a single bulk-insert request. With the refactored version, both the performance and stability of bulk insert have seen significant improvements. The user experience has also been enhanced, such as fine-tuned rate limiting and more user-friendly error messages. In addition, you can easily access the bulk-insert endpoints through Milvus’ RESTful API.

                                                                                                                                                                                                                                                                                                                                                  +

                                                                                                                                                                                                                                                                                                                                                  Memory-mapped Storage

                                                                                                                                                                                                                                                                                                                                                  Milvus uses memory-mapped storage (MMap) to optimize its memory usage. Instead of loading file content directly into memory, this mechanism maps the file content into memory. This approach comes with a tradeoff of performance degradation. By enabling MMap for an HNSW-indexed collection on a host with 2 CPUs and 8 GB RAM, you can load 4x more data with less than 10% performance degradation.

                                                                                                                                                                                                                                                                                                                                                  +

                                                                                                                                                                                                                                                                                                                                                  In addition, this release also allows dynamic and fine-grained control over MMap without the need to restart Milvus.

                                                                                                                                                                                                                                                                                                                                                  +

                                                                                                                                                                                                                                                                                                                                                  For details, refer to MMap Storage.

                                                                                                                                                                                                                                                                                                                                                  +

                                                                                                                                                                                                                                                                                                                                                  Others

                                                                                                                                                                                                                                                                                                                                                  Milvus-CDC

                                                                                                                                                                                                                                                                                                                                                  Milvus-CDC is an easy-to-use companion tool to capture and synchronize incremental data between Milvus instances, allowing for easy incremental backup and disaster recovery. In this release, Milvus-CDC has improved stability, and its Change Data Capture (CDC) functionality now becomes generally available.

                                                                                                                                                                                                                                                                                                                                                  +

                                                                                                                                                                                                                                                                                                                                                  To learn more about Milvus-CDC, refer to GitHub repository and Milvus-CDC Overview.

                                                                                                                                                                                                                                                                                                                                                  +

                                                                                                                                                                                                                                                                                                                                                  Refined MilvusClient Interfaces

                                                                                                                                                                                                                                                                                                                                                  MilvusClient is an easy-to-use alternative to the ORM module. It adopts a purely functional approach to simplify interactions with the server. Instead of maintaining a connection pool, each MilvusClient establishes a gRPC connection to the server. +The MilvusClient module has implemented most of the functionalities of the ORM module. +To learn more about the MilvusClient module, visit pymilvus and the reference documents.

                                                                                                                                                                                                                                                                                                                                                  diff --git a/localization/v2.4.x/site/pt/userGuide/data-import/import-data.json b/localization/v2.4.x/site/pt/userGuide/data-import/import-data.json index 28856a0c3..b1eff800c 100644 --- a/localization/v2.4.x/site/pt/userGuide/data-import/import-data.json +++ b/localization/v2.4.x/site/pt/userGuide/data-import/import-data.json @@ -1 +1 @@ -{"codeList":["client = MilvusClient(\"http://localhost:19530\")\n\nschema = MilvusClient.create_schema(\n auto_id=False,\n enable_dynamic_field=True\n)\n\nschema.add_field(field_name=\"id\", datatype=DataType.INT64, is_primary=True)\nschema.add_field(field_name=\"vector\", datatype=DataType.FLOAT_VECTOR, dim=768)\nschema.add_field(field_name=\"scalar_1\", datatype=DataType.VARCHAR, max_length=512)\nschema.add_field(field_name=\"scalar_2\", datatype=DataType.INT64)\n\nclient.create_collection(\n collection_name=\"quick_setup\",\n schema=schema\n)\n","import io.milvus.client.MilvusServiceClient;\nimport io.milvus.param.ConnectParam;\nimport io.milvus.grpc.DataType;\nimport io.milvus.param.collection.CollectionSchemaParam;\nimport io.milvus.param.collection.CollectionSchemaParam;\nimport io.milvus.param.collection.FieldType;\n\nfinal MilvusServiceClient milvusClient = new MilvusServiceClient(\nConnectParam.newBuilder()\n .withUri(\"localhost:19530\")\n .withToken(\"root:Milvus\")\n .build()\n);\n\n// Define schema for the target collection\nFieldType id = FieldType.newBuilder()\n .withName(\"id\")\n .withDataType(DataType.Int64)\n .withPrimaryKey(true)\n .withAutoID(false)\n .build();\n\nFieldType vector = FieldType.newBuilder()\n .withName(\"vector\")\n .withDataType(DataType.FloatVector)\n .withDimension(768)\n .build();\n\nFieldType scalar1 = FieldType.newBuilder()\n .withName(\"scalar_1\")\n .withDataType(DataType.VarChar)\n .withMaxLength(512)\n .build();\n\nFieldType scalar2 = FieldType.newBuilder()\n .withName(\"scalar_2\")\n .withDataType(DataType.Int64)\n .build();\n\nCollectionSchemaParam schema = CollectionSchemaParam.newBuilder()\n .withEnableDynamicField(true)\n .addFieldType(id)\n .addFieldType(vector)\n .addFieldType(scalar1)\n .addFieldType(scalar2)\n .build();\n\n// Create a collection with the given schema\nmilvusClient.createCollection(CreateCollectionParam.newBuilder()\n .withCollectionName(\"quick_setup\")\n .withSchema(schema)\n .build()\n);\n","export MILVUS_URI=\"localhost:19530\"\n\ncurl --request POST \"http://${MILVUS_URI}/v2/vectordb/jobs/import/create\" \\\n--header \"Content-Type: application/json\" \\\n--data-raw '{\n \"files\": [\n [\n \"/8ca44f28-47f7-40ba-9604-98918afe26d1/1.parquet\"\n ],\n [\n \"/8ca44f28-47f7-40ba-9604-98918afe26d1/2.parquet\"\n ]\n ],\n \"collectionName\": \"quick_setup\"\n}'\n","[\n \"/d1782fa1-6b65-4ff3-b05a-43a436342445/1.json\"\n],\n","[\n \"/a6fb2d1c-7b1b-427c-a8a3-178944e3b66d/1.parquet\"\n]\n\n","{\n \"code\": 200,\n \"data\": {\n \"jobId\": \"448707763884413158\"\n }\n}\n","export MILVUS_URI=\"localhost:19530\"\n\ncurl --request POST \"http://${MILVUS_URI}/v2/vectordb/jobs/import/get_progress\" \\\n--header \"Content-Type: application/json\" \\\n--data-raw '{\n \"jobId\": \"449839014328146739\"\n}'\n","{\n \"code\": 200,\n \"data\": {\n \"collectionName\": \"quick_setup\",\n \"completeTime\": \"2024-05-18T02:57:13Z\",\n \"details\": [\n {\n \"completeTime\": \"2024-05-18T02:57:11Z\",\n \"fileName\": \"id:449839014328146740 paths:\\\"/8ca44f28-47f7-40ba-9604-98918afe26d1/1.parquet\\\" \",\n \"fileSize\": 31567874,\n \"importedRows\": 100000,\n \"progress\": 100,\n \"state\": \"Completed\",\n \"totalRows\": 100000\n },\n {\n \"completeTime\": \"2024-05-18T02:57:11Z\",\n \"fileName\": \"id:449839014328146741 paths:\\\"/8ca44f28-47f7-40ba-9604-98918afe26d1/2.parquet\\\" \",\n \"fileSize\": 31517224,\n \"importedRows\": 100000,\n \"progress\": 100,\n \"state\": \"Completed\",\n \"totalRows\": 200000 \n }\n ],\n \"fileSize\": 63085098,\n \"importedRows\": 200000,\n \"jobId\": \"449839014328146739\",\n \"progress\": 100,\n \"state\": \"Completed\",\n \"totalRows\": 200000\n }\n}\n","export MILVUS_URI=\"localhost:19530\"\n\ncurl --request POST \"http://${MILVUS_URI}/v2/vectordb/jobs/import/list\" \\\n--header \"Content-Type: application/json\" \\\n--data-raw '{\n \"collectionName\": \"quick_setup\"\n}'\n","{\n \"code\": 200,\n \"data\": {\n \"records\": [\n {\n \"collectionName\": \"quick_setup\",\n \"jobId\": \"448761313698322011\",\n \"progress\": 50,\n \"state\": \"Importing\"\n }\n ]\n }\n}\n"],"headingContent":"","anchorList":[{"label":"Importar dados","href":"Import-data","type":1,"isActive":false},{"label":"Antes de começar","href":"Before-you-start","type":2,"isActive":false},{"label":"Importar dados","href":"Import-data","type":2,"isActive":false},{"label":"Verificar o progresso da importação","href":"Check-import-progress","type":2,"isActive":false},{"label":"Listar tarefas de importação","href":"List-Import-Jobs","type":2,"isActive":false}]} \ No newline at end of file +{"codeList":["from pymilvus.bulk_writer import bulk_import\n\nurl = f\"http://127.0.0.1:19530\"\n\n# Bulk-insert data from a set of JSON files already uploaded to the MinIO server\nresp = bulk_import(\n url=url,\n collection_name=\"quick_setup\",\n files=[['a1e18323-a658-4d1b-95a7-9907a4391bcf/1.parquet'],\n ['a1e18323-a658-4d1b-95a7-9907a4391bcf/2.parquet'],\n ['a1e18323-a658-4d1b-95a7-9907a4391bcf/3.parquet'],\n ['a1e18323-a658-4d1b-95a7-9907a4391bcf/4.parquet'],\n ['a1e18323-a658-4d1b-95a7-9907a4391bcf/5.parquet'],\n ['a1e18323-a658-4d1b-95a7-9907a4391bcf/6.parquet'],\n ['a1e18323-a658-4d1b-95a7-9907a4391bcf/7.parquet'],\n ['a1e18323-a658-4d1b-95a7-9907a4391bcf/8.parquet'],\n ['a1e18323-a658-4d1b-95a7-9907a4391bcf/9.parquet'],\n ['a1e18323-a658-4d1b-95a7-9907a4391bcf/10.parquet']],\n)\n\njob_id = resp.json()['data']['jobId']\nprint(job_id)\n","private static String bulkImport(List> batchFiles) throws InterruptedException {\n MilvusImportRequest milvusImportRequest = MilvusImportRequest.builder()\n .collectionName(\"quick_setup\")\n .files(batchFiles)\n .build();\n String bulkImportResult = BulkImport.bulkImport(\"http://localhost:19530\", milvusImportRequest);\n System.out.println(bulkImportResult);\n\n JsonObject bulkImportObject = new Gson().fromJson(bulkImportResult, JsonObject.class);\n String jobId = bulkImportObject.getAsJsonObject(\"data\").get(\"jobId\").getAsString();\n System.out.println(\"Create a bulkInert task, job id: \" + jobId);\n return jobId;\n}\n\npublic static void main(String[] args) throws Exception {\n List> batchFiles = uploadData();\n String jobId = bulkImport(batchFiles);\n}\n","export MILVUS_URI=\"localhost:19530\"\n\ncurl --request POST \"http://${MILVUS_URI}/v2/vectordb/jobs/import/create\" \\\n--header \"Content-Type: application/json\" \\\n--data-raw '{\n \"files\": [\n [\n \"/8ca44f28-47f7-40ba-9604-98918afe26d1/1.parquet\"\n ],\n [\n \"/8ca44f28-47f7-40ba-9604-98918afe26d1/2.parquet\"\n ]\n ],\n \"collectionName\": \"quick_setup\"\n}'\n","[\n \"/d1782fa1-6b65-4ff3-b05a-43a436342445/1.json\"\n],\n","[\n \"/a6fb2d1c-7b1b-427c-a8a3-178944e3b66d/1.parquet\"\n]\n\n","{\n \"code\": 200,\n \"data\": {\n \"jobId\": \"448707763884413158\"\n }\n}\n","import json\nfrom pymilvus.bulk_writer import get_import_progress\n\nurl = f\"http://127.0.0.1:19530\"\n\n# Get bulk-insert job progress\nresp = get_import_progress(\n url=url,\n job_id=\"453265736269038336\",\n)\n\nprint(json.dumps(resp.json(), indent=4))\n","private static void getImportProgress(String jobId) {\n while (true) {\n System.out.println(\"Wait 5 second to check bulkInsert job state...\");\n try {\n TimeUnit.SECONDS.sleep(5);\n } catch (InterruptedException e) {\n break;\n }\n\n MilvusDescribeImportRequest request = MilvusDescribeImportRequest.builder()\n .jobId(jobId)\n .build();\n String getImportProgressResult = BulkImport.getImportProgress(\"http://localhost:19530\", request);\n\n JsonObject getImportProgressObject = new Gson().fromJson(getImportProgressResult, JsonObject.class);\n String state = getImportProgressObject.getAsJsonObject(\"data\").get(\"state\").getAsString();\n String progress = getImportProgressObject.getAsJsonObject(\"data\").get(\"progress\").getAsString();\n if (\"Failed\".equals(state)) {\n String reason = getImportProgressObject.getAsJsonObject(\"data\").get(\"reason\").getAsString();\n System.out.printf(\"The job %s failed, reason: %s%n\", jobId, reason);\n break;\n } else if (\"Completed\".equals(state)) {\n System.out.printf(\"The job %s completed%n\", jobId);\n break;\n } else {\n System.out.printf(\"The job %s is running, state:%s progress:%s%n\", jobId, state, progress);\n }\n }\n}\n\npublic static void main(String[] args) throws Exception {\n List> batchFiles = uploadData();\n String jobId = bulkImport(batchFiles);\n getImportProgress(jobId);\n}\n","export MILVUS_URI=\"localhost:19530\"\n\ncurl --request POST \"http://${MILVUS_URI}/v2/vectordb/jobs/import/describe\" \\\n--header \"Content-Type: application/json\" \\\n--data-raw '{\n \"jobId\": \"449839014328146739\"\n}'\n","{\n \"code\": 200,\n \"data\": {\n \"collectionName\": \"quick_setup\",\n \"completeTime\": \"2024-05-18T02:57:13Z\",\n \"details\": [\n {\n \"completeTime\": \"2024-05-18T02:57:11Z\",\n \"fileName\": \"id:449839014328146740 paths:\\\"/8ca44f28-47f7-40ba-9604-98918afe26d1/1.parquet\\\" \",\n \"fileSize\": 31567874,\n \"importedRows\": 100000,\n \"progress\": 100,\n \"state\": \"Completed\",\n \"totalRows\": 100000\n },\n {\n \"completeTime\": \"2024-05-18T02:57:11Z\",\n \"fileName\": \"id:449839014328146741 paths:\\\"/8ca44f28-47f7-40ba-9604-98918afe26d1/2.parquet\\\" \",\n \"fileSize\": 31517224,\n \"importedRows\": 100000,\n \"progress\": 100,\n \"state\": \"Completed\",\n \"totalRows\": 200000 \n }\n ],\n \"fileSize\": 63085098,\n \"importedRows\": 200000,\n \"jobId\": \"449839014328146739\",\n \"progress\": 100,\n \"state\": \"Completed\",\n \"totalRows\": 200000\n }\n}\n","import json\nfrom pymilvus.bulk_writer import list_import_jobs\n\nurl = f\"http://127.0.0.1:19530\"\n\n# List bulk-insert jobs\nresp = list_import_jobs(\n url=url,\n collection_name=\"quick_setup\",\n)\n\nprint(json.dumps(resp.json(), indent=4))\n","private static void listImportJobs() {\n MilvusListImportJobsRequest listImportJobsRequest = MilvusListImportJobsRequest.builder().collectionName(\"quick_setup\").build();\n String listImportJobsResult = BulkImport.listImportJobs(\"http://localhost:19530\", listImportJobsRequest);\n System.out.println(listImportJobsResult);\n}\n\npublic static void main(String[] args) throws Exception {\n listImportJobs();\n}\n","export MILVUS_URI=\"localhost:19530\"\n\ncurl --request POST \"http://${MILVUS_URI}/v2/vectordb/jobs/import/list\" \\\n--header \"Content-Type: application/json\" \\\n--data-raw '{\n \"collectionName\": \"quick_setup\"\n}'\n","{\n \"code\": 200,\n \"data\": {\n \"records\": [\n {\n \"collectionName\": \"quick_setup\",\n \"jobId\": \"448761313698322011\",\n \"progress\": 50,\n \"state\": \"Importing\"\n }\n ]\n }\n}\n"],"headingContent":"Import data","anchorList":[{"label":"Importar dados","href":"Import-data","type":1,"isActive":false},{"label":"Antes de começar","href":"Before-you-start","type":2,"isActive":false},{"label":"Importar dados","href":"Import-data","type":2,"isActive":false},{"label":"Verificar o progresso da importação","href":"Check-import-progress","type":2,"isActive":false},{"label":"Listar tarefas de importação","href":"List-Import-Jobs","type":2,"isActive":false},{"label":"Limitações","href":"Limitations","type":2,"isActive":false},{"label":"Restrições","href":"Constraints","type":2,"isActive":false},{"label":"Recomendações","href":"Recommendations","type":2,"isActive":false}]} \ No newline at end of file diff --git a/localization/v2.4.x/site/pt/userGuide/data-import/import-data.md b/localization/v2.4.x/site/pt/userGuide/data-import/import-data.md index e388474c3..6af6c0fee 100644 --- a/localization/v2.4.x/site/pt/userGuide/data-import/import-data.md +++ b/localization/v2.4.x/site/pt/userGuide/data-import/import-data.md @@ -46,79 +46,6 @@ summary: Esta página demonstra o procedimento para importar os dados preparados

                                                                                                                                                                                                                                                                                                                                                  O seguinte trecho de código cria uma coleção simples com o esquema fornecido. Para obter mais informações sobre os parâmetros, consulte createCollection() na referência do SDK.

                                                                                                                                                                                                                                                                                                                                                  - -
                                                                                                                                                                                                                                                                                                                                                  client = MilvusClient("http://localhost:19530")
                                                                                                                                                                                                                                                                                                                                                  -
                                                                                                                                                                                                                                                                                                                                                  -schema = MilvusClient.create_schema(
                                                                                                                                                                                                                                                                                                                                                  -    auto_id=False,
                                                                                                                                                                                                                                                                                                                                                  -    enable_dynamic_field=True
                                                                                                                                                                                                                                                                                                                                                  -)
                                                                                                                                                                                                                                                                                                                                                  -
                                                                                                                                                                                                                                                                                                                                                  -schema.add_field(field_name="id", datatype=DataType.INT64, is_primary=True)
                                                                                                                                                                                                                                                                                                                                                  -schema.add_field(field_name="vector", datatype=DataType.FLOAT_VECTOR, dim=768)
                                                                                                                                                                                                                                                                                                                                                  -schema.add_field(field_name="scalar_1", datatype=DataType.VARCHAR, max_length=512)
                                                                                                                                                                                                                                                                                                                                                  -schema.add_field(field_name="scalar_2", datatype=DataType.INT64)
                                                                                                                                                                                                                                                                                                                                                  -
                                                                                                                                                                                                                                                                                                                                                  -client.create_collection(
                                                                                                                                                                                                                                                                                                                                                  -    collection_name="quick_setup",
                                                                                                                                                                                                                                                                                                                                                  -    schema=schema
                                                                                                                                                                                                                                                                                                                                                  -)
                                                                                                                                                                                                                                                                                                                                                  -
                                                                                                                                                                                                                                                                                                                                                  -
                                                                                                                                                                                                                                                                                                                                                  import io.milvus.client.MilvusServiceClient;
                                                                                                                                                                                                                                                                                                                                                  -import io.milvus.param.ConnectParam;
                                                                                                                                                                                                                                                                                                                                                  -import io.milvus.grpc.DataType;
                                                                                                                                                                                                                                                                                                                                                  -import io.milvus.param.collection.CollectionSchemaParam;
                                                                                                                                                                                                                                                                                                                                                  -import io.milvus.param.collection.CollectionSchemaParam;
                                                                                                                                                                                                                                                                                                                                                  -import io.milvus.param.collection.FieldType;
                                                                                                                                                                                                                                                                                                                                                  -
                                                                                                                                                                                                                                                                                                                                                  -final MilvusServiceClient milvusClient = new MilvusServiceClient(
                                                                                                                                                                                                                                                                                                                                                  -ConnectParam.newBuilder()
                                                                                                                                                                                                                                                                                                                                                  -    .withUri("localhost:19530")
                                                                                                                                                                                                                                                                                                                                                  -    .withToken("root:Milvus")
                                                                                                                                                                                                                                                                                                                                                  -    .build()
                                                                                                                                                                                                                                                                                                                                                  -);
                                                                                                                                                                                                                                                                                                                                                  -
                                                                                                                                                                                                                                                                                                                                                  -// Define schema for the target collection
                                                                                                                                                                                                                                                                                                                                                  -FieldType id = FieldType.newBuilder()
                                                                                                                                                                                                                                                                                                                                                  -    .withName("id")
                                                                                                                                                                                                                                                                                                                                                  -    .withDataType(DataType.Int64)
                                                                                                                                                                                                                                                                                                                                                  -    .withPrimaryKey(true)
                                                                                                                                                                                                                                                                                                                                                  -    .withAutoID(false)
                                                                                                                                                                                                                                                                                                                                                  -    .build();
                                                                                                                                                                                                                                                                                                                                                  -
                                                                                                                                                                                                                                                                                                                                                  -FieldType vector = FieldType.newBuilder()
                                                                                                                                                                                                                                                                                                                                                  -    .withName("vector")
                                                                                                                                                                                                                                                                                                                                                  -    .withDataType(DataType.FloatVector)
                                                                                                                                                                                                                                                                                                                                                  -    .withDimension(768)
                                                                                                                                                                                                                                                                                                                                                  -    .build();
                                                                                                                                                                                                                                                                                                                                                  -
                                                                                                                                                                                                                                                                                                                                                  -FieldType scalar1 = FieldType.newBuilder()
                                                                                                                                                                                                                                                                                                                                                  -    .withName("scalar_1")
                                                                                                                                                                                                                                                                                                                                                  -    .withDataType(DataType.VarChar)
                                                                                                                                                                                                                                                                                                                                                  -    .withMaxLength(512)
                                                                                                                                                                                                                                                                                                                                                  -    .build();
                                                                                                                                                                                                                                                                                                                                                  -
                                                                                                                                                                                                                                                                                                                                                  -FieldType scalar2 = FieldType.newBuilder()
                                                                                                                                                                                                                                                                                                                                                  -    .withName("scalar_2")
                                                                                                                                                                                                                                                                                                                                                  -    .withDataType(DataType.Int64)
                                                                                                                                                                                                                                                                                                                                                  -    .build();
                                                                                                                                                                                                                                                                                                                                                  -
                                                                                                                                                                                                                                                                                                                                                  -CollectionSchemaParam schema = CollectionSchemaParam.newBuilder()
                                                                                                                                                                                                                                                                                                                                                  -    .withEnableDynamicField(true)
                                                                                                                                                                                                                                                                                                                                                  -    .addFieldType(id)
                                                                                                                                                                                                                                                                                                                                                  -    .addFieldType(vector)
                                                                                                                                                                                                                                                                                                                                                  -    .addFieldType(scalar1)
                                                                                                                                                                                                                                                                                                                                                  -    .addFieldType(scalar2)
                                                                                                                                                                                                                                                                                                                                                  -    .build();
                                                                                                                                                                                                                                                                                                                                                  -
                                                                                                                                                                                                                                                                                                                                                  -// Create a collection with the given schema
                                                                                                                                                                                                                                                                                                                                                  -milvusClient.createCollection(CreateCollectionParam.newBuilder()
                                                                                                                                                                                                                                                                                                                                                  -    .withCollectionName("quick_setup")
                                                                                                                                                                                                                                                                                                                                                  -    .withSchema(schema)
                                                                                                                                                                                                                                                                                                                                                  -    .build()
                                                                                                                                                                                                                                                                                                                                                  -);
                                                                                                                                                                                                                                                                                                                                                  -

                                                                                                                                                                                                                                                                                                                                                  Importar dados

                                                                                                                                                                                                                                                                                                                                                  Para importar os dados preparados, tem de criar um trabalho de importação da seguinte forma:

                                                                                                                                                                                                                                                                                                                                                  -
                                                                                                                                                                                                                                                                                                                                                  export MILVUS_URI="localhost:19530"
                                                                                                                                                                                                                                                                                                                                                  +
                                                                                                                                                                                                                                                                                                                                                  +
                                                                                                                                                                                                                                                                                                                                                  from pymilvus.bulk_writer import bulk_import
                                                                                                                                                                                                                                                                                                                                                  +
                                                                                                                                                                                                                                                                                                                                                  +url = f"http://127.0.0.1:19530"
                                                                                                                                                                                                                                                                                                                                                  +
                                                                                                                                                                                                                                                                                                                                                  +# Bulk-insert data from a set of JSON files already uploaded to the MinIO server
                                                                                                                                                                                                                                                                                                                                                  +resp = bulk_import(
                                                                                                                                                                                                                                                                                                                                                  +    url=url,
                                                                                                                                                                                                                                                                                                                                                  +    collection_name="quick_setup",
                                                                                                                                                                                                                                                                                                                                                  +    files=[['a1e18323-a658-4d1b-95a7-9907a4391bcf/1.parquet'],
                                                                                                                                                                                                                                                                                                                                                  +           ['a1e18323-a658-4d1b-95a7-9907a4391bcf/2.parquet'],
                                                                                                                                                                                                                                                                                                                                                  +           ['a1e18323-a658-4d1b-95a7-9907a4391bcf/3.parquet'],
                                                                                                                                                                                                                                                                                                                                                  +           ['a1e18323-a658-4d1b-95a7-9907a4391bcf/4.parquet'],
                                                                                                                                                                                                                                                                                                                                                  +           ['a1e18323-a658-4d1b-95a7-9907a4391bcf/5.parquet'],
                                                                                                                                                                                                                                                                                                                                                  +           ['a1e18323-a658-4d1b-95a7-9907a4391bcf/6.parquet'],
                                                                                                                                                                                                                                                                                                                                                  +           ['a1e18323-a658-4d1b-95a7-9907a4391bcf/7.parquet'],
                                                                                                                                                                                                                                                                                                                                                  +           ['a1e18323-a658-4d1b-95a7-9907a4391bcf/8.parquet'],
                                                                                                                                                                                                                                                                                                                                                  +           ['a1e18323-a658-4d1b-95a7-9907a4391bcf/9.parquet'],
                                                                                                                                                                                                                                                                                                                                                  +           ['a1e18323-a658-4d1b-95a7-9907a4391bcf/10.parquet']],
                                                                                                                                                                                                                                                                                                                                                  +)
                                                                                                                                                                                                                                                                                                                                                  +
                                                                                                                                                                                                                                                                                                                                                  +job_id = resp.json()['data']['jobId']
                                                                                                                                                                                                                                                                                                                                                  +print(job_id)
                                                                                                                                                                                                                                                                                                                                                  +
                                                                                                                                                                                                                                                                                                                                                  +
                                                                                                                                                                                                                                                                                                                                                  private static String bulkImport(List<List<String>> batchFiles) throws InterruptedException {
                                                                                                                                                                                                                                                                                                                                                  +    MilvusImportRequest milvusImportRequest = MilvusImportRequest.builder()
                                                                                                                                                                                                                                                                                                                                                  +            .collectionName("quick_setup")
                                                                                                                                                                                                                                                                                                                                                  +            .files(batchFiles)
                                                                                                                                                                                                                                                                                                                                                  +            .build();
                                                                                                                                                                                                                                                                                                                                                  +    String bulkImportResult = BulkImport.bulkImport("http://localhost:19530", milvusImportRequest);
                                                                                                                                                                                                                                                                                                                                                  +    System.out.println(bulkImportResult);
                                                                                                                                                                                                                                                                                                                                                  +
                                                                                                                                                                                                                                                                                                                                                  +    JsonObject bulkImportObject = new Gson().fromJson(bulkImportResult, JsonObject.class);
                                                                                                                                                                                                                                                                                                                                                  +    String jobId = bulkImportObject.getAsJsonObject("data").get("jobId").getAsString();
                                                                                                                                                                                                                                                                                                                                                  +    System.out.println("Create a bulkInert task, job id: " + jobId);
                                                                                                                                                                                                                                                                                                                                                  +    return jobId;
                                                                                                                                                                                                                                                                                                                                                  +}
                                                                                                                                                                                                                                                                                                                                                  +
                                                                                                                                                                                                                                                                                                                                                  +public static void main(String[] args) throws Exception {
                                                                                                                                                                                                                                                                                                                                                  +    List<List<String>> batchFiles = uploadData();
                                                                                                                                                                                                                                                                                                                                                  +    String jobId = bulkImport(batchFiles);
                                                                                                                                                                                                                                                                                                                                                  +}
                                                                                                                                                                                                                                                                                                                                                  +
                                                                                                                                                                                                                                                                                                                                                  +
                                                                                                                                                                                                                                                                                                                                                  export MILVUS_URI="localhost:19530"
                                                                                                                                                                                                                                                                                                                                                   
                                                                                                                                                                                                                                                                                                                                                   curl --request POST "http://${MILVUS_URI}/v2/vectordb/jobs/import/create" \
                                                                                                                                                                                                                                                                                                                                                   --header "Content-Type: application/json" \
                                                                                                                                                                                                                                                                                                                                                  @@ -174,7 +145,7 @@ curl --request POST "http://{
                                                                                                                                                                                                                                                                                                                                                  +
                                                                                                                                                                                                                                                                                                                                                  {
                                                                                                                                                                                                                                                                                                                                                       "code": 200,
                                                                                                                                                                                                                                                                                                                                                       "data": {
                                                                                                                                                                                                                                                                                                                                                           "jobId": "448707763884413158"
                                                                                                                                                                                                                                                                                                                                                  @@ -196,10 +167,61 @@ curl --request POST "http://
                                                                                                                                                                                                                                                                                                                                                         
                                                                                                                                                                                                                                                                                                                                                  -    

                                                                                                                                                                                                                                                                                                                                                  Depois de obter um ID de trabalho de importação, pode verificar o progresso da importação da seguinte forma:

                                                                                                                                                                                                                                                                                                                                                  -
                                                                                                                                                                                                                                                                                                                                                  export MILVUS_URI="localhost:19530"
                                                                                                                                                                                                                                                                                                                                                  +    

                                                                                                                                                                                                                                                                                                                                                  Depois de obter um ID de tarefa de importação, pode verificar o progresso da importação da seguinte forma:

                                                                                                                                                                                                                                                                                                                                                  + +
                                                                                                                                                                                                                                                                                                                                                  import json
                                                                                                                                                                                                                                                                                                                                                  +from pymilvus.bulk_writer import get_import_progress
                                                                                                                                                                                                                                                                                                                                                  +
                                                                                                                                                                                                                                                                                                                                                  +url = f"http://127.0.0.1:19530"
                                                                                                                                                                                                                                                                                                                                                  +
                                                                                                                                                                                                                                                                                                                                                  +# Get bulk-insert job progress
                                                                                                                                                                                                                                                                                                                                                  +resp = get_import_progress(
                                                                                                                                                                                                                                                                                                                                                  +    url=url,
                                                                                                                                                                                                                                                                                                                                                  +    job_id="453265736269038336",
                                                                                                                                                                                                                                                                                                                                                  +)
                                                                                                                                                                                                                                                                                                                                                  +
                                                                                                                                                                                                                                                                                                                                                  +print(json.dumps(resp.json(), indent=4))
                                                                                                                                                                                                                                                                                                                                                  +
                                                                                                                                                                                                                                                                                                                                                  +
                                                                                                                                                                                                                                                                                                                                                  private static void getImportProgress(String jobId) {
                                                                                                                                                                                                                                                                                                                                                  +    while (true) {
                                                                                                                                                                                                                                                                                                                                                  +        System.out.println("Wait 5 second to check bulkInsert job state...");
                                                                                                                                                                                                                                                                                                                                                  +        try {
                                                                                                                                                                                                                                                                                                                                                  +            TimeUnit.SECONDS.sleep(5);
                                                                                                                                                                                                                                                                                                                                                  +        } catch (InterruptedException e) {
                                                                                                                                                                                                                                                                                                                                                  +            break;
                                                                                                                                                                                                                                                                                                                                                  +        }
                                                                                                                                                                                                                                                                                                                                                  +
                                                                                                                                                                                                                                                                                                                                                  +        MilvusDescribeImportRequest request = MilvusDescribeImportRequest.builder()
                                                                                                                                                                                                                                                                                                                                                  +                .jobId(jobId)
                                                                                                                                                                                                                                                                                                                                                  +                .build();
                                                                                                                                                                                                                                                                                                                                                  +        String getImportProgressResult = BulkImport.getImportProgress("http://localhost:19530", request);
                                                                                                                                                                                                                                                                                                                                                   
                                                                                                                                                                                                                                                                                                                                                  -curl --request POST "http://${MILVUS_URI}/v2/vectordb/jobs/import/get_progress" \
                                                                                                                                                                                                                                                                                                                                                  +        JsonObject getImportProgressObject = new Gson().fromJson(getImportProgressResult, JsonObject.class);
                                                                                                                                                                                                                                                                                                                                                  +        String state = getImportProgressObject.getAsJsonObject("data").get("state").getAsString();
                                                                                                                                                                                                                                                                                                                                                  +        String progress = getImportProgressObject.getAsJsonObject("data").get("progress").getAsString();
                                                                                                                                                                                                                                                                                                                                                  +        if ("Failed".equals(state)) {
                                                                                                                                                                                                                                                                                                                                                  +            String reason = getImportProgressObject.getAsJsonObject("data").get("reason").getAsString();
                                                                                                                                                                                                                                                                                                                                                  +            System.out.printf("The job %s failed, reason: %s%n", jobId, reason);
                                                                                                                                                                                                                                                                                                                                                  +            break;
                                                                                                                                                                                                                                                                                                                                                  +        } else if ("Completed".equals(state)) {
                                                                                                                                                                                                                                                                                                                                                  +            System.out.printf("The job %s completed%n", jobId);
                                                                                                                                                                                                                                                                                                                                                  +            break;
                                                                                                                                                                                                                                                                                                                                                  +        } else {
                                                                                                                                                                                                                                                                                                                                                  +            System.out.printf("The job %s is running, state:%s progress:%s%n", jobId, state, progress);
                                                                                                                                                                                                                                                                                                                                                  +        }
                                                                                                                                                                                                                                                                                                                                                  +    }
                                                                                                                                                                                                                                                                                                                                                  +}
                                                                                                                                                                                                                                                                                                                                                  +
                                                                                                                                                                                                                                                                                                                                                  +public static void main(String[] args) throws Exception {
                                                                                                                                                                                                                                                                                                                                                  +    List<List<String>> batchFiles = uploadData();
                                                                                                                                                                                                                                                                                                                                                  +    String jobId = bulkImport(batchFiles);
                                                                                                                                                                                                                                                                                                                                                  +    getImportProgress(jobId);
                                                                                                                                                                                                                                                                                                                                                  +}
                                                                                                                                                                                                                                                                                                                                                  +
                                                                                                                                                                                                                                                                                                                                                  +
                                                                                                                                                                                                                                                                                                                                                  export MILVUS_URI="localhost:19530"
                                                                                                                                                                                                                                                                                                                                                  +
                                                                                                                                                                                                                                                                                                                                                  +curl --request POST "http://${MILVUS_URI}/v2/vectordb/jobs/import/describe" \
                                                                                                                                                                                                                                                                                                                                                   --header "Content-Type: application/json" \
                                                                                                                                                                                                                                                                                                                                                   --data-raw '{
                                                                                                                                                                                                                                                                                                                                                       "jobId": "449839014328146739"
                                                                                                                                                                                                                                                                                                                                                  @@ -255,8 +277,33 @@ curl --request POST "http://
                                                                                                                                                                                                                                                                                                                                                         
                                                                                                                                                                                                                                                                                                                                                  -    

                                                                                                                                                                                                                                                                                                                                                  Pode listar todos os trabalhos de importação relativos a uma coleção específica da seguinte forma:

                                                                                                                                                                                                                                                                                                                                                  -
                                                                                                                                                                                                                                                                                                                                                  export MILVUS_URI="localhost:19530"
                                                                                                                                                                                                                                                                                                                                                  +    

                                                                                                                                                                                                                                                                                                                                                  Pode listar todas as tarefas de importação relativas a uma coleção específica da seguinte forma:

                                                                                                                                                                                                                                                                                                                                                  + +
                                                                                                                                                                                                                                                                                                                                                  import json
                                                                                                                                                                                                                                                                                                                                                  +from pymilvus.bulk_writer import list_import_jobs
                                                                                                                                                                                                                                                                                                                                                  +
                                                                                                                                                                                                                                                                                                                                                  +url = f"http://127.0.0.1:19530"
                                                                                                                                                                                                                                                                                                                                                  +
                                                                                                                                                                                                                                                                                                                                                  +# List bulk-insert jobs
                                                                                                                                                                                                                                                                                                                                                  +resp = list_import_jobs(
                                                                                                                                                                                                                                                                                                                                                  +    url=url,
                                                                                                                                                                                                                                                                                                                                                  +    collection_name="quick_setup",
                                                                                                                                                                                                                                                                                                                                                  +)
                                                                                                                                                                                                                                                                                                                                                  +
                                                                                                                                                                                                                                                                                                                                                  +print(json.dumps(resp.json(), indent=4))
                                                                                                                                                                                                                                                                                                                                                  +
                                                                                                                                                                                                                                                                                                                                                  +
                                                                                                                                                                                                                                                                                                                                                  private static void listImportJobs() {
                                                                                                                                                                                                                                                                                                                                                  +    MilvusListImportJobsRequest listImportJobsRequest = MilvusListImportJobsRequest.builder().collectionName("quick_setup").build();
                                                                                                                                                                                                                                                                                                                                                  +    String listImportJobsResult = BulkImport.listImportJobs("http://localhost:19530", listImportJobsRequest);
                                                                                                                                                                                                                                                                                                                                                  +    System.out.println(listImportJobsResult);
                                                                                                                                                                                                                                                                                                                                                  +}
                                                                                                                                                                                                                                                                                                                                                  +
                                                                                                                                                                                                                                                                                                                                                  +public static void main(String[] args) throws Exception {
                                                                                                                                                                                                                                                                                                                                                  +    listImportJobs();
                                                                                                                                                                                                                                                                                                                                                  +}
                                                                                                                                                                                                                                                                                                                                                  +
                                                                                                                                                                                                                                                                                                                                                  +
                                                                                                                                                                                                                                                                                                                                                  export MILVUS_URI="localhost:19530"
                                                                                                                                                                                                                                                                                                                                                   
                                                                                                                                                                                                                                                                                                                                                   curl --request POST "http://${MILVUS_URI}/v2/vectordb/jobs/import/list" \
                                                                                                                                                                                                                                                                                                                                                   --header "Content-Type: application/json" \
                                                                                                                                                                                                                                                                                                                                                  @@ -265,7 +312,7 @@ curl --request POST "http://

                                                                                                                                                                                                                                                                                                                                                  Os valores possíveis são os seguintes:

                                                                                                                                                                                                                                                                                                                                                  -
                                                                                                                                                                                                                                                                                                                                                  {
                                                                                                                                                                                                                                                                                                                                                  +
                                                                                                                                                                                                                                                                                                                                                  {
                                                                                                                                                                                                                                                                                                                                                       "code": 200,
                                                                                                                                                                                                                                                                                                                                                       "data": {
                                                                                                                                                                                                                                                                                                                                                           "records": [
                                                                                                                                                                                                                                                                                                                                                  @@ -279,3 +326,76 @@ curl --request POST "http://
                                                                                                                                                                                                                                                                                                                                                  +

                                                                                                                                                                                                                                                                                                                                                  Limitações

                                                                                                                                                                                                                                                                                                                                                    +
                                                                                                                                                                                                                                                                                                                                                  • O tamanho de cada ficheiro de importação não deve exceder 16 GB.

                                                                                                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                                                                                                  • O número máximo de pedidos de importação está limitado a 1024.

                                                                                                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                                                                                                  • O número máximo de ficheiros por pedido de importação não deve exceder 1024.

                                                                                                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                                                                                                  • Só pode ser especificado um nome de partição num pedido de importação. Se não for especificado um nome de partição, os dados serão inseridos na partição predefinida. Além disso, não pode definir um nome de partição no pedido de importação se tiver definido a Chave de partição na coleção de destino.

                                                                                                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                                                                                                  +

                                                                                                                                                                                                                                                                                                                                                  Restrições

                                                                                                                                                                                                                                                                                                                                                  Antes de importar os dados, certifique-se de que reconheceu as restrições em termos dos seguintes comportamentos do Milvus:

                                                                                                                                                                                                                                                                                                                                                  +
                                                                                                                                                                                                                                                                                                                                                    +
                                                                                                                                                                                                                                                                                                                                                  • Restrições relativas ao comportamento Load:

                                                                                                                                                                                                                                                                                                                                                    +
                                                                                                                                                                                                                                                                                                                                                      +
                                                                                                                                                                                                                                                                                                                                                    • Se uma coleção já tiver sido carregada antes de uma importação, pode utilizar a função refresh_load para carregar os dados recém-importados após a conclusão da importação.
                                                                                                                                                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                                                                                                  • Restrições relativas aos comportamentos de consulta e pesquisa:

                                                                                                                                                                                                                                                                                                                                                    +
                                                                                                                                                                                                                                                                                                                                                      +
                                                                                                                                                                                                                                                                                                                                                    • Antes de o estado da tarefa de importação ser Concluído, é garantido que os dados recentemente importados são invisíveis para consultas e pesquisas.

                                                                                                                                                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                                                                                                                                                    • Quando o estado da tarefa for Concluído,

                                                                                                                                                                                                                                                                                                                                                      +
                                                                                                                                                                                                                                                                                                                                                        +
                                                                                                                                                                                                                                                                                                                                                      • Se a coleção não estiver carregada, pode utilizar a função load para carregar os dados recentemente importados.

                                                                                                                                                                                                                                                                                                                                                      • +
                                                                                                                                                                                                                                                                                                                                                      • Se a coleção já estiver carregada, pode chamar load(is_refresh=True) para carregar os dados importados.

                                                                                                                                                                                                                                                                                                                                                      • +
                                                                                                                                                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                                                                                                  • Restrições relativas ao comportamento de eliminação:

                                                                                                                                                                                                                                                                                                                                                    +
                                                                                                                                                                                                                                                                                                                                                      +
                                                                                                                                                                                                                                                                                                                                                    • Antes de o estado da tarefa de importação ser Concluído, a eliminação não é garantida e pode ou não ser bem sucedida.

                                                                                                                                                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                                                                                                                                                    • A eliminação após o estado da tarefa ser Concluído é garantida.

                                                                                                                                                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                                                                                                  +

                                                                                                                                                                                                                                                                                                                                                  Recomendações

                                                                                                                                                                                                                                                                                                                                                  Recomendamos vivamente a utilização da funcionalidade de importação de vários ficheiros, que lhe permite carregar vários ficheiros num único pedido. Este método não só simplifica o processo de importação, como também aumenta significativamente o desempenho da importação. Entretanto, ao consolidar os seus carregamentos, pode reduzir o tempo gasto na gestão de dados e tornar o seu fluxo de trabalho mais eficiente.

                                                                                                                                                                                                                                                                                                                                                  diff --git a/localization/v2.4.x/site/pt/userGuide/data-import/prepare-source-data.json b/localization/v2.4.x/site/pt/userGuide/data-import/prepare-source-data.json index ef963319c..7fe815ef9 100644 --- a/localization/v2.4.x/site/pt/userGuide/data-import/prepare-source-data.json +++ b/localization/v2.4.x/site/pt/userGuide/data-import/prepare-source-data.json @@ -1 +1 @@ -{"codeList":["from pymilvus import MilvusClient, DataType\n\n# You need to work out a collection schema out of your dataset.\nschema = MilvusClient.create_schema(\n auto_id=False,\n enable_dynamic_field=True\n)\n\nschema.add_field(field_name=\"id\", datatype=DataType.INT64, is_primary=True)\nschema.add_field(field_name=\"vector\", datatype=DataType.FLOAT_VECTOR, dim=768)\nschema.add_field(field_name=\"scalar_1\", datatype=DataType.VARCHAR, max_length=512)\nschema.add_field(field_name=\"scalar_2\", datatype=DataType.INT64)\n\nschema.verify()\n","import io.milvus.grpc.DataType;\nimport io.milvus.param.collection.CollectionSchemaParam;\nimport io.milvus.param.collection.FieldType;\n\n// Define schema for the target collection\nFieldType id = FieldType.newBuilder()\n .withName(\"id\")\n .withDataType(DataType.Int64)\n .withPrimaryKey(true)\n .withAutoID(false)\n .build();\n\nFieldType vector = FieldType.newBuilder()\n .withName(\"vector\")\n .withDataType(DataType.FloatVector)\n .withDimension(768)\n .build();\n\nFieldType scalar1 = FieldType.newBuilder()\n .withName(\"scalar_1\")\n .withDataType(DataType.VarChar)\n .withMaxLength(512)\n .build();\n\nFieldType scalar2 = FieldType.newBuilder()\n .withName(\"scalar_2\")\n .withDataType(DataType.Int64)\n .build();\n\nCollectionSchemaParam schema = CollectionSchemaParam.newBuilder()\n .withEnableDynamicField(true)\n .addFieldType(id)\n .addFieldType(vector)\n .addFieldType(scalar1)\n .addFieldType(scalar2)\n .build();\n","from pymilvus.bulk_writer import LocalBulkWriter, BulkFileType\n# Use `from pymilvus import LocalBulkWriter, BulkFileType` \n# when you use pymilvus earlier than 2.4.2 \n\nwriter = LocalBulkWriter(\n schema=schema,\n local_path='.',\n segment_size=512 * 1024 * 1024, # Default value\n file_type=BulkFileType.PARQUET\n)\n","import io.milvus.bulkwriter.LocalBulkWriter;\nimport io.milvus.bulkwriter.LocalBulkWriterParam;\nimport io.milvus.bulkwriter.common.clientenum.BulkFileType;\n\nLocalBulkWriterParam localBulkWriterParam = LocalBulkWriterParam.newBuilder()\n .withCollectionSchema(schema)\n .withLocalPath(\".\")\n .withChunkSize(512 * 1024 * 1024)\n .withFileType(BulkFileType.PARQUET)\n .build();\n\nLocalBulkWriter localBulkWriter = new LocalBulkWriter(localBulkWriterParam);\n","from pymilvus.bulk_writer import RemoteBulkWriter\n# Use `from pymilvus import RemoteBulkWriter` \n# when you use pymilvus earlier than 2.4.2 \n\n# Third-party constants\nACCESS_KEY=\"minioadmin\"\nSECRET_KEY=\"minioadmin\"\nBUCKET_NAME=\"milvus-bucket\"\n\n# Connections parameters to access the remote bucket\nconn = RemoteBulkWriter.S3ConnectParam(\n endpoint=\"localhost:9000\", # the default MinIO service started along with Milvus\n access_key=ACCESS_KEY,\n secret_key=SECRET_KEY,\n bucket_name=BUCKET_NAME,\n secure=False\n)\n","import io.milvus.bulkwriter.common.clientenum.BulkFileType;\nimport io.milvus.bulkwriter.connect.S3ConnectParam;\nimport io.milvus.bulkwriter.connect.StorageConnectParam;\n\nString ACCESS_KEY = \"minioadmin\";\nString SECRET_KEY = \"minioadmin\";\nString BUCKET_NAME = \"milvus-bucket\";\n\nStorageConnectParam storageConnectParam = S3ConnectParam.newBuilder()\n .withEndpoint(MINIO_URI)\n .withAccessKey(ACCESS_KEY)\n .withSecretKey(SECRET_KEY)\n .withBucketName(BUCKET_NAME)\n .build();\n","from pymilvus.bulk_writer import BulkFileType\n# Use `from pymilvus import BulkFileType` \n# when you use pymilvus earlier than 2.4.2 \n\nwriter = RemoteBulkWriter(\n schema=schema,\n remote_path=\"/\",\n connect_param=conn,\n file_type=BulkFileType.PARQUET\n)\n","import io.milvus.bulkwriter.RemoteBulkWriter;\nimport io.milvus.bulkwriter.RemoteBulkWriterParam;\n\nRemoteBulkWriterParam remoteBulkWriterParam = RemoteBulkWriterParam.newBuilder()\n .withCollectionSchema(schema)\n .withConnectParam(storageConnectParam)\n .withChunkSize(512 * 1024 * 1024)\n .withRemotePath(\"/\")\n .withFileType(BulkFileType.PARQUET)\n .build();\n\nRemoteBulkWriter remoteBulkWriter = new RemoteBulkWriter(remoteBulkWriterParam);\n","import random\nimport string\n\ndef generate_random_str(length=5):\n letters = string.ascii_uppercase\n digits = string.digits\n \n return ''.join(random.choices(letters + digits, k=length))\n\nfor i in range(10000):\n writer.append_row({\n \"id\": i, \n \"vector\": [random.uniform(-1, 1) for _ in range(768)],\n \"scalar_1\": generate_random_str(random.randint(1, 20)),\n \"scalar_2\": random.randint(0, 100)\n })\n \nwriter.commit()\n","import com.alibaba.fastjson.JSONObject;\n\nfor (int i = 0; i < 10000; i++) {\n JSONObject json = new JSONObject();\n json.put(\"id\", i);\n json.put(\"vector\", get_random_vector(768));\n json.put(\"scalar_1\", get_random_string(20));\n json.put(\"scalar_2\", (long) (Math.random() * 100));\n\n // localBulkWriter.appendRow(json);\n remoteBulkWriter.appendRow(json);\n}\n\n// localBulkWriter.commit(false);\nremoteBulkWriter.commit(false);\n","import random\nimport string\n\ndef generate_random_string(length=5):\n letters = string.ascii_uppercase\n digits = string.digits\n \n return ''.join(random.choices(letters + digits, k=length))\n\nfor i in range(10000):\n writer.append_row({\n \"id\": i, \n \"vector\":[random.uniform(-1, 1) for _ in range(768)],\n \"scalar_1\": generate_random_string(),\n \"scalar_2\": random.randint(0, 100),\n \"dynamic_field_1\": random.choice([True, False]),\n \"dynamic_field_2\": random.randint(0, 100)\n })\n \nwriter.commit()\n","for (int i = 0; i < 10000; i++) {\n JSONObject json = new JSONObject();\n json.put(\"id\", i);\n json.put(\"vector\", get_random_vector(768));\n json.put(\"scalar_1\", get_random_string(20));\n json.put(\"scalar_2\", (long) (Math.random() * 100));\n json.put(\"dynamic_field_1\", get_random_boolean());\n json.put(\"dynamic_field_2\", (long) (Math.random() * 100));\n\n // localBulkWriter.appendRow(json);\n remoteBulkWriter.appendRow(json);\n}\n\n// localBulkWriter.commit(false);\nremoteBulkWriter.commit(false);\n","print(writer.batch_files)\n\n# [['d4220a9e-45be-4ccb-8cb5-bf09304b9f23/1.parquet'],\n# ['d4220a9e-45be-4ccb-8cb5-bf09304b9f23/2.parquet']]\n","// localBulkWriter.getBatchFiles();\nremoteBulkWriter.getBatchFiles();\n\n// \n\n// Close the BulkWriter\ntry {\n localBulkWriter.close();\n remoteBulkWriter.close(); \n} catch (Exception e) {\n // TODO: handle exception\n e.printStackTrace();\n}\n","# JSON\n├── folder\n│ └── 45ae1139-1d87-4aff-85f5-0039111f9e6b\n│ └── 1.json \n\n# Parquet\n├── folder\n│ └── 45ae1139-1d87-4aff-85f5-0039111f9e6b\n│ └── 1.parquet \n"],"headingContent":"","anchorList":[{"label":"Preparar os dados de origem","href":"Prepare-Source-Data","type":1,"isActive":false},{"label":"Antes de começar","href":"Before-you-start","type":2,"isActive":false},{"label":"Configurar o BulkWriter","href":"Set-up-BulkWriter","type":2,"isActive":false},{"label":"Iniciar a escrita","href":"Start-writing","type":2,"isActive":false},{"label":"Verificar os resultados","href":"Verify-the-results","type":2,"isActive":false}]} \ No newline at end of file +{"codeList":["from pymilvus import MilvusClient, DataType\n\n# You need to work out a collection schema out of your dataset.\nschema = MilvusClient.create_schema(\n auto_id=False,\n enable_dynamic_field=True\n)\n\nDIM = 512\n\nschema.add_field(field_name=\"id\", datatype=DataType.INT64, is_primary=True),\nschema.add_field(field_name=\"bool\", datatype=DataType.BOOL),\nschema.add_field(field_name=\"int8\", datatype=DataType.INT8),\nschema.add_field(field_name=\"int16\", datatype=DataType.INT16),\nschema.add_field(field_name=\"int32\", datatype=DataType.INT32),\nschema.add_field(field_name=\"int64\", datatype=DataType.INT64),\nschema.add_field(field_name=\"float\", datatype=DataType.FLOAT),\nschema.add_field(field_name=\"double\", datatype=DataType.DOUBLE),\nschema.add_field(field_name=\"varchar\", datatype=DataType.VARCHAR, max_length=512),\nschema.add_field(field_name=\"json\", datatype=DataType.JSON),\nschema.add_field(field_name=\"array_str\", datatype=DataType.ARRAY, max_capacity=100, element_type=DataType.VARCHAR, max_length=128)\nschema.add_field(field_name=\"array_int\", datatype=DataType.ARRAY, max_capacity=100, element_type=DataType.INT64)\nschema.add_field(field_name=\"float_vector\", datatype=DataType.FLOAT_VECTOR, dim=DIM),\nschema.add_field(field_name=\"binary_vector\", datatype=DataType.BINARY_VECTOR, dim=DIM),\nschema.add_field(field_name=\"float16_vector\", datatype=DataType.FLOAT16_VECTOR, dim=DIM),\n# schema.add_field(field_name=\"bfloat16_vector\", datatype=DataType.BFLOAT16_VECTOR, dim=DIM),\nschema.add_field(field_name=\"sparse_vector\", datatype=DataType.SPARSE_FLOAT_VECTOR)\n\nschema.verify()\n\nprint(schema)\n","import com.google.gson.Gson;\nimport com.google.gson.JsonObject;\nimport io.milvus.bulkwriter.BulkImport;\nimport io.milvus.bulkwriter.RemoteBulkWriter;\nimport io.milvus.bulkwriter.RemoteBulkWriterParam;\nimport io.milvus.bulkwriter.common.clientenum.BulkFileType;\nimport io.milvus.bulkwriter.common.clientenum.CloudStorage;\nimport io.milvus.bulkwriter.connect.S3ConnectParam;\nimport io.milvus.bulkwriter.connect.StorageConnectParam;\nimport io.milvus.bulkwriter.request.describe.MilvusDescribeImportRequest;\nimport io.milvus.bulkwriter.request.import_.MilvusImportRequest;\nimport io.milvus.bulkwriter.request.list.MilvusListImportJobsRequest;\nimport io.milvus.common.utils.Float16Utils;\nimport io.milvus.v2.client.ConnectConfig;\nimport io.milvus.v2.client.MilvusClientV2;\nimport io.milvus.v2.common.DataType;\nimport io.milvus.v2.service.collection.request.*;\n\nimport java.io.IOException;\nimport java.nio.ByteBuffer;\nimport java.util.*;\nimport java.util.concurrent.TimeUnit;\n\nprivate static final String MINIO_ENDPOINT = CloudStorage.MINIO.getEndpoint(\"http://127.0.0.1:9000\");\nprivate static final String BUCKET_NAME = \"a-bucket\";\nprivate static final String ACCESS_KEY = \"minioadmin\";\nprivate static final String SECRET_KEY = \"minioadmin\";\n\nprivate static final Integer DIM = 512;\nprivate static final Gson GSON_INSTANCE = new Gson();\n\nprivate static CreateCollectionReq.CollectionSchema createSchema() {\n CreateCollectionReq.CollectionSchema schema = CreateCollectionReq.CollectionSchema.builder()\n .enableDynamicField(true)\n .build();\n schema.addField(AddFieldReq.builder()\n .fieldName(\"id\")\n .dataType(io.milvus.v2.common.DataType.Int64)\n .isPrimaryKey(Boolean.TRUE)\n .autoID(false)\n .build());\n schema.addField(AddFieldReq.builder()\n .fieldName(\"bool\")\n .dataType(DataType.Bool)\n .build());\n schema.addField(AddFieldReq.builder()\n .fieldName(\"int8\")\n .dataType(DataType.Int8)\n .build());\n schema.addField(AddFieldReq.builder()\n .fieldName(\"int16\")\n .dataType(DataType.Int16)\n .build());\n schema.addField(AddFieldReq.builder()\n .fieldName(\"int32\")\n .dataType(DataType.Int32)\n .build());\n schema.addField(AddFieldReq.builder()\n .fieldName(\"int64\")\n .dataType(DataType.Int64)\n .build());\n schema.addField(AddFieldReq.builder()\n .fieldName(\"float\")\n .dataType(DataType.Float)\n .build());\n schema.addField(AddFieldReq.builder()\n .fieldName(\"double\")\n .dataType(DataType.Double)\n .build());\n schema.addField(AddFieldReq.builder()\n .fieldName(\"varchar\")\n .dataType(DataType.VarChar)\n .maxLength(512)\n .build());\n schema.addField(AddFieldReq.builder()\n .fieldName(\"json\")\n .dataType(io.milvus.v2.common.DataType.JSON)\n .build());\n schema.addField(AddFieldReq.builder()\n .fieldName(\"array_int\")\n .dataType(io.milvus.v2.common.DataType.Array)\n .maxCapacity(100)\n .elementType(io.milvus.v2.common.DataType.Int64)\n .build());\n schema.addField(AddFieldReq.builder()\n .fieldName(\"array_str\")\n .dataType(io.milvus.v2.common.DataType.Array)\n .maxCapacity(100)\n .elementType(io.milvus.v2.common.DataType.VarChar)\n .maxLength(128)\n .build());\n schema.addField(AddFieldReq.builder()\n .fieldName(\"float_vector\")\n .dataType(io.milvus.v2.common.DataType.FloatVector)\n .dimension(DIM)\n .build());\n schema.addField(AddFieldReq.builder()\n .fieldName(\"binary_vector\")\n .dataType(io.milvus.v2.common.DataType.BinaryVector)\n .dimension(DIM)\n .build());\n schema.addField(AddFieldReq.builder()\n .fieldName(\"float16_vector\")\n .dataType(io.milvus.v2.common.DataType.Float16Vector)\n .dimension(DIM)\n .build());\n schema.addField(AddFieldReq.builder()\n .fieldName(\"sparse_vector\")\n .dataType(io.milvus.v2.common.DataType.SparseFloatVector)\n .build());\n \n return schema;\n}\n","from pymilvus.bulk_writer import LocalBulkWriter, BulkFileType\n# Use `from pymilvus import LocalBulkWriter, BulkFileType` \n# when you use pymilvus earlier than 2.4.2 \n\nwriter = LocalBulkWriter(\n schema=schema,\n local_path='.',\n segment_size=512 * 1024 * 1024, # Default value\n file_type=BulkFileType.PARQUET\n)\n","import io.milvus.bulkwriter.LocalBulkWriter;\nimport io.milvus.bulkwriter.LocalBulkWriterParam;\nimport io.milvus.bulkwriter.common.clientenum.BulkFileType;\n\nLocalBulkWriterParam localBulkWriterParam = LocalBulkWriterParam.newBuilder()\n .withCollectionSchema(schema)\n .withLocalPath(\".\")\n .withChunkSize(512 * 1024 * 1024)\n .withFileType(BulkFileType.PARQUET)\n .build();\n\nLocalBulkWriter localBulkWriter = new LocalBulkWriter(localBulkWriterParam);\n","from pymilvus.bulk_writer import RemoteBulkWriter\n# Use `from pymilvus import RemoteBulkWriter` \n# when you use pymilvus earlier than 2.4.2 \n\n# Third-party constants\nACCESS_KEY=\"minioadmin\"\nSECRET_KEY=\"minioadmin\"\nBUCKET_NAME=\"a-bucket\"\n\n# Connections parameters to access the remote bucket\nconn = RemoteBulkWriter.S3ConnectParam(\n endpoint=\"localhost:9000\", # the default MinIO service started along with Milvus\n access_key=ACCESS_KEY,\n secret_key=SECRET_KEY,\n bucket_name=BUCKET_NAME,\n secure=False\n)\n\nfrom pymilvus.bulk_writer import BulkFileType\n# Use `from pymilvus import BulkFileType` \n# when you use pymilvus earlier than 2.4.2 \n\nwriter = RemoteBulkWriter(\n schema=schema,\n remote_path=\"/\",\n connect_param=conn,\n file_type=BulkFileType.PARQUET\n)\n\nprint('bulk writer created.')\n","private static RemoteBulkWriter createRemoteBulkWriter(CreateCollectionReq.CollectionSchema collectionSchema) throws IOException {\n StorageConnectParam connectParam = S3ConnectParam.newBuilder()\n .withEndpoint(MINIO_ENDPOINT)\n .withBucketName(BUCKET_NAME)\n .withAccessKey(ACCESS_KEY)\n .withSecretKey(SECRET_KEY)\n .build();\n RemoteBulkWriterParam bulkWriterParam = RemoteBulkWriterParam.newBuilder()\n .withCollectionSchema(collectionSchema)\n .withRemotePath(\"/\")\n .withConnectParam(connectParam)\n .withFileType(BulkFileType.PARQUET)\n .build();\n return new RemoteBulkWriter(bulkWriterParam);\n}\n","from pymilvus.bulk_writer import BulkFileType\n# Use `from pymilvus import BulkFileType` \n# when you use pymilvus earlier than 2.4.2 \n\nwriter = RemoteBulkWriter(\n schema=schema,\n remote_path=\"/\",\n connect_param=conn,\n file_type=BulkFileType.PARQUET\n)\n","import io.milvus.bulkwriter.RemoteBulkWriter;\nimport io.milvus.bulkwriter.RemoteBulkWriterParam;\n\nRemoteBulkWriterParam remoteBulkWriterParam = RemoteBulkWriterParam.newBuilder()\n .withCollectionSchema(schema)\n .withConnectParam(storageConnectParam)\n .withChunkSize(512 * 1024 * 1024)\n .withRemotePath(\"/\")\n .withFileType(BulkFileType.PARQUET)\n .build();\n\nRemoteBulkWriter remoteBulkWriter = new RemoteBulkWriter(remoteBulkWriterParam);\n","import random, string, json\nimport numpy as np\nimport tensorflow as tf\n\ndef generate_random_str(length=5):\n letters = string.ascii_uppercase\n digits = string.digits\n \n return ''.join(random.choices(letters + digits, k=length))\n\n# optional input for binary vector:\n# 1. list of int such as [1, 0, 1, 1, 0, 0, 1, 0]\n# 2. numpy array of uint8\ndef gen_binary_vector(to_numpy_arr):\n raw_vector = [random.randint(0, 1) for i in range(DIM)]\n if to_numpy_arr:\n return np.packbits(raw_vector, axis=-1)\n return raw_vector\n\n# optional input for float vector:\n# 1. list of float such as [0.56, 1.859, 6.55, 9.45]\n# 2. numpy array of float32\ndef gen_float_vector(to_numpy_arr):\n raw_vector = [random.random() for _ in range(DIM)]\n if to_numpy_arr:\n return np.array(raw_vector, dtype=\"float32\")\n return raw_vector\n\n# # optional input for bfloat16 vector:\n# # 1. list of float such as [0.56, 1.859, 6.55, 9.45]\n# # 2. numpy array of bfloat16\n# def gen_bf16_vector(to_numpy_arr):\n# raw_vector = [random.random() for _ in range(DIM)]\n# if to_numpy_arr:\n# return tf.cast(raw_vector, dtype=tf.bfloat16).numpy()\n# return raw_vector\n\n# optional input for float16 vector:\n# 1. list of float such as [0.56, 1.859, 6.55, 9.45]\n# 2. numpy array of float16\ndef gen_fp16_vector(to_numpy_arr):\n raw_vector = [random.random() for _ in range(DIM)]\n if to_numpy_arr:\n return np.array(raw_vector, dtype=np.float16)\n return raw_vector\n\n# optional input for sparse vector:\n# only accepts dict like {2: 13.23, 45: 0.54} or {\"indices\": [1, 2], \"values\": [0.1, 0.2]}\n# note: no need to sort the keys\ndef gen_sparse_vector(pair_dict: bool):\n raw_vector = {}\n dim = random.randint(2, 20)\n if pair_dict:\n raw_vector[\"indices\"] = [i for i in range(dim)]\n raw_vector[\"values\"] = [random.random() for _ in range(dim)]\n else:\n for i in range(dim):\n raw_vector[i] = random.random()\n return raw_vector\n\nfor i in range(10000):\n writer.append_row({\n \"id\": np.int64(i),\n \"bool\": True if i % 3 == 0 else False,\n \"int8\": np.int8(i%128),\n \"int16\": np.int16(i%1000),\n \"int32\": np.int32(i%100000),\n \"int64\": np.int64(i),\n \"float\": np.float32(i/3),\n \"double\": np.float64(i/7),\n \"varchar\": f\"varchar_{i}\",\n \"json\": json.dumps({\"dummy\": i, \"ok\": f\"name_{i}\"}),\n \"array_str\": np.array([f\"str_{k}\" for k in range(5)], np.dtype(\"str\")),\n \"array_int\": np.array([k for k in range(10)], np.dtype(\"int64\")),\n \"float_vector\": gen_float_vector(True),\n \"binary_vector\": gen_binary_vector(True),\n \"float16_vector\": gen_fp16_vector(True),\n # \"bfloat16_vector\": gen_bf16_vector(True),\n \"sparse_vector\": gen_sparse_vector(True),\n f\"dynamic_{i}\": i,\n })\n if (i+1)%1000 == 0:\n writer.commit()\n print('committed')\n\nprint(writer.batch_files)\n","private static byte[] genBinaryVector() {\n Random ran = new Random();\n int byteCount = DIM / 8;\n ByteBuffer vector = ByteBuffer.allocate(byteCount);\n for (int i = 0; i < byteCount; ++i) {\n vector.put((byte) ran.nextInt(Byte.MAX_VALUE));\n }\n return vector.array();\n}\n\nprivate static List genFloatVector() {\n Random ran = new Random();\n List vector = new ArrayList<>();\n for (int i = 0; i < DIM; ++i) {\n vector.add(ran.nextFloat());\n }\n return vector;\n}\n\nprivate static byte[] genFloat16Vector() {\n List originalVector = genFloatVector();\n return Float16Utils.f32VectorToFp16Buffer(originalVector).array();\n}\n\nprivate static SortedMap genSparseVector() {\n Random ran = new Random();\n SortedMap sparse = new TreeMap<>();\n int dim = ran.nextInt(18) + 2; // [2, 20)\n for (int i = 0; i < dim; ++i) {\n sparse.put((long)ran.nextInt(1000000), ran.nextFloat());\n }\n return sparse;\n}\n\nprivate static List genStringArray(int length) {\n List arr = new ArrayList<>();\n for (int i = 0; i < length; i++) {\n arr.add(\"str_\" + i);\n }\n return arr;\n}\n\nprivate static List genIntArray(int length) {\n List arr = new ArrayList<>();\n for (long i = 0; i < length; i++) {\n arr.add(i);\n }\n return arr;\n}\n\nprivate static RemoteBulkWriter createRemoteBulkWriter(CreateCollectionReq.CollectionSchema collectionSchema) throws IOException {\n StorageConnectParam connectParam = S3ConnectParam.newBuilder()\n .withEndpoint(MINIO_ENDPOINT)\n .withBucketName(BUCKET_NAME)\n .withAccessKey(ACCESS_KEY)\n .withSecretKey(SECRET_KEY)\n .build();\n RemoteBulkWriterParam bulkWriterParam = RemoteBulkWriterParam.newBuilder()\n .withCollectionSchema(collectionSchema)\n .withRemotePath(\"/\")\n .withConnectParam(connectParam)\n .withFileType(BulkFileType.PARQUET)\n .build();\n return new RemoteBulkWriter(bulkWriterParam);\n}\n\nprivate static List> uploadData() throws Exception {\n CreateCollectionReq.CollectionSchema collectionSchema = createSchema();\n try (RemoteBulkWriter remoteBulkWriter = createRemoteBulkWriter(collectionSchema)) {\n for (int i = 0; i < 10000; ++i) {\n JsonObject rowObject = new JsonObject();\n\n rowObject.addProperty(\"id\", i);\n rowObject.addProperty(\"bool\", i % 3 == 0);\n rowObject.addProperty(\"int8\", i % 128);\n rowObject.addProperty(\"int16\", i % 1000);\n rowObject.addProperty(\"int32\", i % 100000);\n rowObject.addProperty(\"int64\", i);\n rowObject.addProperty(\"float\", i / 3);\n rowObject.addProperty(\"double\", i / 7);\n rowObject.addProperty(\"varchar\", \"varchar_\" + i);\n rowObject.addProperty(\"json\", String.format(\"{\\\"dummy\\\": %s, \\\"ok\\\": \\\"name_%s\\\"}\", i, i));\n rowObject.add(\"array_str\", GSON_INSTANCE.toJsonTree(genStringArray(5)));\n rowObject.add(\"array_int\", GSON_INSTANCE.toJsonTree(genIntArray(10)));\n rowObject.add(\"float_vector\", GSON_INSTANCE.toJsonTree(genFloatVector()));\n rowObject.add(\"binary_vector\", GSON_INSTANCE.toJsonTree(genBinaryVector()));\n rowObject.add(\"float16_vector\", GSON_INSTANCE.toJsonTree(genFloat16Vector()));\n rowObject.add(\"sparse_vector\", GSON_INSTANCE.toJsonTree(genSparseVector()));\n rowObject.addProperty(\"dynamic\", \"dynamic_\" + i);\n\n remoteBulkWriter.appendRow(rowObject);\n\n if ((i+1)%1000 == 0) {\n remoteBulkWriter.commit(false);\n }\n }\n\n List> batchFiles = remoteBulkWriter.getBatchFiles();\n System.out.println(batchFiles);\n return batchFiles;\n } catch (Exception e) {\n throw e;\n }\n}\n\npublic static void main(String[] args) throws Exception {\n List> batchFiles = uploadData();\n}\n","print(writer.batch_files)\n\n# [['d4220a9e-45be-4ccb-8cb5-bf09304b9f23/1.parquet'],\n# ['d4220a9e-45be-4ccb-8cb5-bf09304b9f23/2.parquet']]\n","// localBulkWriter.getBatchFiles();\nremoteBulkWriter.getBatchFiles();\n\n// \n\n// Close the BulkWriter\ntry {\n localBulkWriter.close();\n remoteBulkWriter.close(); \n} catch (Exception e) {\n // TODO: handle exception\n e.printStackTrace();\n}\n","# JSON\n├── folder\n│ └── 45ae1139-1d87-4aff-85f5-0039111f9e6b\n│ └── 1.json \n\n# Parquet\n├── folder\n│ └── 45ae1139-1d87-4aff-85f5-0039111f9e6b\n│ └── 1.parquet \n"],"headingContent":"Prepare Source Data","anchorList":[{"label":"Preparar os dados de origem","href":"Prepare-Source-Data","type":1,"isActive":false},{"label":"Antes de começar","href":"Before-you-start","type":2,"isActive":false},{"label":"Configurar o BulkWriter","href":"Set-up-BulkWriter","type":2,"isActive":false},{"label":"Iniciar a escrita","href":"Start-writing","type":2,"isActive":false},{"label":"Verificar os resultados","href":"Verify-the-results","type":2,"isActive":false}]} \ No newline at end of file diff --git a/localization/v2.4.x/site/pt/userGuide/data-import/prepare-source-data.md b/localization/v2.4.x/site/pt/userGuide/data-import/prepare-source-data.md index 771416d3f..c871f6c73 100644 --- a/localization/v2.4.x/site/pt/userGuide/data-import/prepare-source-data.md +++ b/localization/v2.4.x/site/pt/userGuide/data-import/prepare-source-data.md @@ -1,7 +1,7 @@ --- id: prepare-source-data.md order: 0 -title: Preparar dados de origem +title: Preparar os dados de origem summary: >- Esta página aborda algo que deve considerar antes de começar a inserir dados em massa na sua coleção. @@ -68,49 +68,143 @@ schema = MilvusClient.create_schema( enable_dynamic_field=True ) -schema.add_field(field_name="id", datatype=DataType.INT64, is_primary=True) -schema.add_field(field_name="vector", datatype=DataType.FLOAT_VECTOR, dim=768) -schema.add_field(field_name="scalar_1", datatype=DataType.VARCHAR, max_length=512) -schema.add_field(field_name="scalar_2", datatype=DataType.INT64) +DIM = 512 + +schema.add_field(field_name="id", datatype=DataType.INT64, is_primary=True), +schema.add_field(field_name="bool", datatype=DataType.BOOL), +schema.add_field(field_name="int8", datatype=DataType.INT8), +schema.add_field(field_name="int16", datatype=DataType.INT16), +schema.add_field(field_name="int32", datatype=DataType.INT32), +schema.add_field(field_name="int64", datatype=DataType.INT64), +schema.add_field(field_name="float", datatype=DataType.FLOAT), +schema.add_field(field_name="double", datatype=DataType.DOUBLE), +schema.add_field(field_name="varchar", datatype=DataType.VARCHAR, max_length=512), +schema.add_field(field_name="json", datatype=DataType.JSON), +schema.add_field(field_name="array_str", datatype=DataType.ARRAY, max_capacity=100, element_type=DataType.VARCHAR, max_length=128) +schema.add_field(field_name="array_int", datatype=DataType.ARRAY, max_capacity=100, element_type=DataType.INT64) +schema.add_field(field_name="float_vector", datatype=DataType.FLOAT_VECTOR, dim=DIM), +schema.add_field(field_name="binary_vector", datatype=DataType.BINARY_VECTOR, dim=DIM), +schema.add_field(field_name="float16_vector", datatype=DataType.FLOAT16_VECTOR, dim=DIM), +# schema.add_field(field_name="bfloat16_vector", datatype=DataType.BFLOAT16_VECTOR, dim=DIM), +schema.add_field(field_name="sparse_vector", datatype=DataType.SPARSE_FLOAT_VECTOR) schema.verify() + +print(schema)
                                                                                                                                                                                                                                                                                                                                                  -
                                                                                                                                                                                                                                                                                                                                                  import io.milvus.grpc.DataType;
                                                                                                                                                                                                                                                                                                                                                  -import io.milvus.param.collection.CollectionSchemaParam;
                                                                                                                                                                                                                                                                                                                                                  -import io.milvus.param.collection.FieldType;
                                                                                                                                                                                                                                                                                                                                                  -
                                                                                                                                                                                                                                                                                                                                                  -// Define schema for the target collection
                                                                                                                                                                                                                                                                                                                                                  -FieldType id = FieldType.newBuilder()
                                                                                                                                                                                                                                                                                                                                                  -        .withName("id")
                                                                                                                                                                                                                                                                                                                                                  -        .withDataType(DataType.Int64)
                                                                                                                                                                                                                                                                                                                                                  -        .withPrimaryKey(true)
                                                                                                                                                                                                                                                                                                                                                  -        .withAutoID(false)
                                                                                                                                                                                                                                                                                                                                                  -        .build();
                                                                                                                                                                                                                                                                                                                                                  +
                                                                                                                                                                                                                                                                                                                                                  import com.google.gson.Gson;
                                                                                                                                                                                                                                                                                                                                                  +import com.google.gson.JsonObject;
                                                                                                                                                                                                                                                                                                                                                  +import io.milvus.bulkwriter.BulkImport;
                                                                                                                                                                                                                                                                                                                                                  +import io.milvus.bulkwriter.RemoteBulkWriter;
                                                                                                                                                                                                                                                                                                                                                  +import io.milvus.bulkwriter.RemoteBulkWriterParam;
                                                                                                                                                                                                                                                                                                                                                  +import io.milvus.bulkwriter.common.clientenum.BulkFileType;
                                                                                                                                                                                                                                                                                                                                                  +import io.milvus.bulkwriter.common.clientenum.CloudStorage;
                                                                                                                                                                                                                                                                                                                                                  +import io.milvus.bulkwriter.connect.S3ConnectParam;
                                                                                                                                                                                                                                                                                                                                                  +import io.milvus.bulkwriter.connect.StorageConnectParam;
                                                                                                                                                                                                                                                                                                                                                  +import io.milvus.bulkwriter.request.describe.MilvusDescribeImportRequest;
                                                                                                                                                                                                                                                                                                                                                  +import io.milvus.bulkwriter.request.import_.MilvusImportRequest;
                                                                                                                                                                                                                                                                                                                                                  +import io.milvus.bulkwriter.request.list.MilvusListImportJobsRequest;
                                                                                                                                                                                                                                                                                                                                                  +import io.milvus.common.utils.Float16Utils;
                                                                                                                                                                                                                                                                                                                                                  +import io.milvus.v2.client.ConnectConfig;
                                                                                                                                                                                                                                                                                                                                                  +import io.milvus.v2.client.MilvusClientV2;
                                                                                                                                                                                                                                                                                                                                                  +import io.milvus.v2.common.DataType;
                                                                                                                                                                                                                                                                                                                                                  +import io.milvus.v2.service.collection.request.*;
                                                                                                                                                                                                                                                                                                                                                   
                                                                                                                                                                                                                                                                                                                                                  -FieldType vector = FieldType.newBuilder()
                                                                                                                                                                                                                                                                                                                                                  -        .withName("vector")
                                                                                                                                                                                                                                                                                                                                                  -        .withDataType(DataType.FloatVector)
                                                                                                                                                                                                                                                                                                                                                  -        .withDimension(768)
                                                                                                                                                                                                                                                                                                                                                  -        .build();
                                                                                                                                                                                                                                                                                                                                                  +import java.io.IOException;
                                                                                                                                                                                                                                                                                                                                                  +import java.nio.ByteBuffer;
                                                                                                                                                                                                                                                                                                                                                  +import java.util.*;
                                                                                                                                                                                                                                                                                                                                                  +import java.util.concurrent.TimeUnit;
                                                                                                                                                                                                                                                                                                                                                   
                                                                                                                                                                                                                                                                                                                                                  -FieldType scalar1 = FieldType.newBuilder()
                                                                                                                                                                                                                                                                                                                                                  -        .withName("scalar_1")
                                                                                                                                                                                                                                                                                                                                                  -        .withDataType(DataType.VarChar)
                                                                                                                                                                                                                                                                                                                                                  -        .withMaxLength(512)
                                                                                                                                                                                                                                                                                                                                                  -        .build();
                                                                                                                                                                                                                                                                                                                                                  +private static final String MINIO_ENDPOINT = CloudStorage.MINIO.getEndpoint("http://127.0.0.1:9000");
                                                                                                                                                                                                                                                                                                                                                  +private static final String BUCKET_NAME = "a-bucket";
                                                                                                                                                                                                                                                                                                                                                  +private static final String ACCESS_KEY = "minioadmin";
                                                                                                                                                                                                                                                                                                                                                  +private static final String SECRET_KEY = "minioadmin";
                                                                                                                                                                                                                                                                                                                                                   
                                                                                                                                                                                                                                                                                                                                                  -FieldType scalar2 = FieldType.newBuilder()
                                                                                                                                                                                                                                                                                                                                                  -        .withName("scalar_2")
                                                                                                                                                                                                                                                                                                                                                  -        .withDataType(DataType.Int64)
                                                                                                                                                                                                                                                                                                                                                  -        .build();
                                                                                                                                                                                                                                                                                                                                                  +private static final Integer DIM = 512;
                                                                                                                                                                                                                                                                                                                                                  +private static final Gson GSON_INSTANCE = new Gson();
                                                                                                                                                                                                                                                                                                                                                   
                                                                                                                                                                                                                                                                                                                                                  -CollectionSchemaParam schema = CollectionSchemaParam.newBuilder()
                                                                                                                                                                                                                                                                                                                                                  -        .withEnableDynamicField(true)
                                                                                                                                                                                                                                                                                                                                                  -        .addFieldType(id)
                                                                                                                                                                                                                                                                                                                                                  -        .addFieldType(vector)
                                                                                                                                                                                                                                                                                                                                                  -        .addFieldType(scalar1)
                                                                                                                                                                                                                                                                                                                                                  -        .addFieldType(scalar2)
                                                                                                                                                                                                                                                                                                                                                  +private static CreateCollectionReq.CollectionSchema createSchema() {
                                                                                                                                                                                                                                                                                                                                                  +    CreateCollectionReq.CollectionSchema schema = CreateCollectionReq.CollectionSchema.builder()
                                                                                                                                                                                                                                                                                                                                                  +        .enableDynamicField(true)
                                                                                                                                                                                                                                                                                                                                                           .build();
                                                                                                                                                                                                                                                                                                                                                  +    schema.addField(AddFieldReq.builder()
                                                                                                                                                                                                                                                                                                                                                  +            .fieldName("id")
                                                                                                                                                                                                                                                                                                                                                  +            .dataType(io.milvus.v2.common.DataType.Int64)
                                                                                                                                                                                                                                                                                                                                                  +            .isPrimaryKey(Boolean.TRUE)
                                                                                                                                                                                                                                                                                                                                                  +            .autoID(false)
                                                                                                                                                                                                                                                                                                                                                  +            .build());
                                                                                                                                                                                                                                                                                                                                                  +    schema.addField(AddFieldReq.builder()
                                                                                                                                                                                                                                                                                                                                                  +            .fieldName("bool")
                                                                                                                                                                                                                                                                                                                                                  +            .dataType(DataType.Bool)
                                                                                                                                                                                                                                                                                                                                                  +            .build());
                                                                                                                                                                                                                                                                                                                                                  +    schema.addField(AddFieldReq.builder()
                                                                                                                                                                                                                                                                                                                                                  +            .fieldName("int8")
                                                                                                                                                                                                                                                                                                                                                  +            .dataType(DataType.Int8)
                                                                                                                                                                                                                                                                                                                                                  +            .build());
                                                                                                                                                                                                                                                                                                                                                  +    schema.addField(AddFieldReq.builder()
                                                                                                                                                                                                                                                                                                                                                  +            .fieldName("int16")
                                                                                                                                                                                                                                                                                                                                                  +            .dataType(DataType.Int16)
                                                                                                                                                                                                                                                                                                                                                  +            .build());
                                                                                                                                                                                                                                                                                                                                                  +    schema.addField(AddFieldReq.builder()
                                                                                                                                                                                                                                                                                                                                                  +            .fieldName("int32")
                                                                                                                                                                                                                                                                                                                                                  +            .dataType(DataType.Int32)
                                                                                                                                                                                                                                                                                                                                                  +            .build());
                                                                                                                                                                                                                                                                                                                                                  +    schema.addField(AddFieldReq.builder()
                                                                                                                                                                                                                                                                                                                                                  +            .fieldName("int64")
                                                                                                                                                                                                                                                                                                                                                  +            .dataType(DataType.Int64)
                                                                                                                                                                                                                                                                                                                                                  +            .build());
                                                                                                                                                                                                                                                                                                                                                  +    schema.addField(AddFieldReq.builder()
                                                                                                                                                                                                                                                                                                                                                  +            .fieldName("float")
                                                                                                                                                                                                                                                                                                                                                  +            .dataType(DataType.Float)
                                                                                                                                                                                                                                                                                                                                                  +            .build());
                                                                                                                                                                                                                                                                                                                                                  +    schema.addField(AddFieldReq.builder()
                                                                                                                                                                                                                                                                                                                                                  +            .fieldName("double")
                                                                                                                                                                                                                                                                                                                                                  +            .dataType(DataType.Double)
                                                                                                                                                                                                                                                                                                                                                  +            .build());
                                                                                                                                                                                                                                                                                                                                                  +    schema.addField(AddFieldReq.builder()
                                                                                                                                                                                                                                                                                                                                                  +            .fieldName("varchar")
                                                                                                                                                                                                                                                                                                                                                  +            .dataType(DataType.VarChar)
                                                                                                                                                                                                                                                                                                                                                  +            .maxLength(512)
                                                                                                                                                                                                                                                                                                                                                  +            .build());
                                                                                                                                                                                                                                                                                                                                                  +    schema.addField(AddFieldReq.builder()
                                                                                                                                                                                                                                                                                                                                                  +            .fieldName("json")
                                                                                                                                                                                                                                                                                                                                                  +            .dataType(io.milvus.v2.common.DataType.JSON)
                                                                                                                                                                                                                                                                                                                                                  +            .build());
                                                                                                                                                                                                                                                                                                                                                  +    schema.addField(AddFieldReq.builder()
                                                                                                                                                                                                                                                                                                                                                  +            .fieldName("array_int")
                                                                                                                                                                                                                                                                                                                                                  +            .dataType(io.milvus.v2.common.DataType.Array)
                                                                                                                                                                                                                                                                                                                                                  +            .maxCapacity(100)
                                                                                                                                                                                                                                                                                                                                                  +            .elementType(io.milvus.v2.common.DataType.Int64)
                                                                                                                                                                                                                                                                                                                                                  +            .build());
                                                                                                                                                                                                                                                                                                                                                  +    schema.addField(AddFieldReq.builder()
                                                                                                                                                                                                                                                                                                                                                  +            .fieldName("array_str")
                                                                                                                                                                                                                                                                                                                                                  +            .dataType(io.milvus.v2.common.DataType.Array)
                                                                                                                                                                                                                                                                                                                                                  +            .maxCapacity(100)
                                                                                                                                                                                                                                                                                                                                                  +            .elementType(io.milvus.v2.common.DataType.VarChar)
                                                                                                                                                                                                                                                                                                                                                  +            .maxLength(128)
                                                                                                                                                                                                                                                                                                                                                  +            .build());
                                                                                                                                                                                                                                                                                                                                                  +    schema.addField(AddFieldReq.builder()
                                                                                                                                                                                                                                                                                                                                                  +            .fieldName("float_vector")
                                                                                                                                                                                                                                                                                                                                                  +            .dataType(io.milvus.v2.common.DataType.FloatVector)
                                                                                                                                                                                                                                                                                                                                                  +            .dimension(DIM)
                                                                                                                                                                                                                                                                                                                                                  +            .build());
                                                                                                                                                                                                                                                                                                                                                  +    schema.addField(AddFieldReq.builder()
                                                                                                                                                                                                                                                                                                                                                  +            .fieldName("binary_vector")
                                                                                                                                                                                                                                                                                                                                                  +            .dataType(io.milvus.v2.common.DataType.BinaryVector)
                                                                                                                                                                                                                                                                                                                                                  +            .dimension(DIM)
                                                                                                                                                                                                                                                                                                                                                  +            .build());
                                                                                                                                                                                                                                                                                                                                                  +    schema.addField(AddFieldReq.builder()
                                                                                                                                                                                                                                                                                                                                                  +            .fieldName("float16_vector")
                                                                                                                                                                                                                                                                                                                                                  +            .dataType(io.milvus.v2.common.DataType.Float16Vector)
                                                                                                                                                                                                                                                                                                                                                  +            .dimension(DIM)
                                                                                                                                                                                                                                                                                                                                                  +            .build());
                                                                                                                                                                                                                                                                                                                                                  +    schema.addField(AddFieldReq.builder()
                                                                                                                                                                                                                                                                                                                                                  +            .fieldName("sparse_vector")
                                                                                                                                                                                                                                                                                                                                                  +            .dataType(io.milvus.v2.common.DataType.SparseFloatVector)
                                                                                                                                                                                                                                                                                                                                                  +            .build());
                                                                                                                                                                                                                                                                                                                                                  +    
                                                                                                                                                                                                                                                                                                                                                  +    return schema;
                                                                                                                                                                                                                                                                                                                                                  +}
                                                                                                                                                                                                                                                                                                                                                   

                                                                                                                                                                                                                                                                                                                                                  Configurar o BulkWriter

                                                                                                                                                                                                                                                                                                                                                  -
                                                                                                                                                                                                                                                                                                                                                  import io.milvus.bulkwriter.common.clientenum.BulkFileType;
                                                                                                                                                                                                                                                                                                                                                  -import io.milvus.bulkwriter.connect.S3ConnectParam;
                                                                                                                                                                                                                                                                                                                                                  -import io.milvus.bulkwriter.connect.StorageConnectParam;
                                                                                                                                                                                                                                                                                                                                                   
                                                                                                                                                                                                                                                                                                                                                  -String ACCESS_KEY = "minioadmin";
                                                                                                                                                                                                                                                                                                                                                  -String SECRET_KEY = "minioadmin";
                                                                                                                                                                                                                                                                                                                                                  -String BUCKET_NAME = "milvus-bucket";
                                                                                                                                                                                                                                                                                                                                                  +from pymilvus.bulk_writer import BulkFileType
                                                                                                                                                                                                                                                                                                                                                  +# Use `from pymilvus import BulkFileType` 
                                                                                                                                                                                                                                                                                                                                                  +# when you use pymilvus earlier than 2.4.2 
                                                                                                                                                                                                                                                                                                                                                   
                                                                                                                                                                                                                                                                                                                                                  -StorageConnectParam storageConnectParam = S3ConnectParam.newBuilder()
                                                                                                                                                                                                                                                                                                                                                  -    .withEndpoint(MINIO_URI)
                                                                                                                                                                                                                                                                                                                                                  -    .withAccessKey(ACCESS_KEY)
                                                                                                                                                                                                                                                                                                                                                  -    .withSecretKey(SECRET_KEY)
                                                                                                                                                                                                                                                                                                                                                  -    .withBucketName(BUCKET_NAME)
                                                                                                                                                                                                                                                                                                                                                  -    .build();
                                                                                                                                                                                                                                                                                                                                                  +writer = RemoteBulkWriter(
                                                                                                                                                                                                                                                                                                                                                  +    schema=schema,
                                                                                                                                                                                                                                                                                                                                                  +    remote_path="/",
                                                                                                                                                                                                                                                                                                                                                  +    connect_param=conn,
                                                                                                                                                                                                                                                                                                                                                  +    file_type=BulkFileType.PARQUET
                                                                                                                                                                                                                                                                                                                                                  +)
                                                                                                                                                                                                                                                                                                                                                  +
                                                                                                                                                                                                                                                                                                                                                  +print('bulk writer created.')
                                                                                                                                                                                                                                                                                                                                                  +
                                                                                                                                                                                                                                                                                                                                                  +
                                                                                                                                                                                                                                                                                                                                                  private static RemoteBulkWriter createRemoteBulkWriter(CreateCollectionReq.CollectionSchema collectionSchema) throws IOException {
                                                                                                                                                                                                                                                                                                                                                  +    StorageConnectParam connectParam = S3ConnectParam.newBuilder()
                                                                                                                                                                                                                                                                                                                                                  +            .withEndpoint(MINIO_ENDPOINT)
                                                                                                                                                                                                                                                                                                                                                  +            .withBucketName(BUCKET_NAME)
                                                                                                                                                                                                                                                                                                                                                  +            .withAccessKey(ACCESS_KEY)
                                                                                                                                                                                                                                                                                                                                                  +            .withSecretKey(SECRET_KEY)
                                                                                                                                                                                                                                                                                                                                                  +            .build();
                                                                                                                                                                                                                                                                                                                                                  +    RemoteBulkWriterParam bulkWriterParam = RemoteBulkWriterParam.newBuilder()
                                                                                                                                                                                                                                                                                                                                                  +            .withCollectionSchema(collectionSchema)
                                                                                                                                                                                                                                                                                                                                                  +            .withRemotePath("/")
                                                                                                                                                                                                                                                                                                                                                  +            .withConnectParam(connectParam)
                                                                                                                                                                                                                                                                                                                                                  +            .withFileType(BulkFileType.PARQUET)
                                                                                                                                                                                                                                                                                                                                                  +            .build();
                                                                                                                                                                                                                                                                                                                                                  +    return new RemoteBulkWriter(bulkWriterParam);
                                                                                                                                                                                                                                                                                                                                                  +}
                                                                                                                                                                                                                                                                                                                                                   

                                                                                                                                                                                                                                                                                                                                                  Quando os parâmetros de ligação estiverem prontos, pode referenciá-los no RemoteBulkWriter da seguinte forma:

                                                                                                                                                                                                                                                                                                                                                  @@ -273,80 +381,201 @@ writer = RemoteBulkWriter(

                                                                                                                                                                                                                                                                                                                                                  Para fins de demonstração, o código a seguir anexa dados gerados aleatoriamente.

                                                                                                                                                                                                                                                                                                                                                  -
                                                                                                                                                                                                                                                                                                                                                  import random
                                                                                                                                                                                                                                                                                                                                                  -import string
                                                                                                                                                                                                                                                                                                                                                  +
                                                                                                                                                                                                                                                                                                                                                  import random, string, json
                                                                                                                                                                                                                                                                                                                                                  +import numpy as np
                                                                                                                                                                                                                                                                                                                                                  +import tensorflow as tf
                                                                                                                                                                                                                                                                                                                                                   
                                                                                                                                                                                                                                                                                                                                                  -def generate_random_str(length=5):
                                                                                                                                                                                                                                                                                                                                                  -    letters = string.ascii_uppercase
                                                                                                                                                                                                                                                                                                                                                  -    digits = string.digits
                                                                                                                                                                                                                                                                                                                                                  +def generate_random_str(length=5):
                                                                                                                                                                                                                                                                                                                                                  +    letters = string.ascii_uppercase
                                                                                                                                                                                                                                                                                                                                                  +    digits = string.digits
                                                                                                                                                                                                                                                                                                                                                       
                                                                                                                                                                                                                                                                                                                                                       return ''.join(random.choices(letters + digits, k=length))
                                                                                                                                                                                                                                                                                                                                                   
                                                                                                                                                                                                                                                                                                                                                  -for i in range(10000):
                                                                                                                                                                                                                                                                                                                                                  -    writer.append_row({
                                                                                                                                                                                                                                                                                                                                                  -        "id": i, 
                                                                                                                                                                                                                                                                                                                                                  -        "vector": [random.uniform(-1, 1) for _ in range(768)],
                                                                                                                                                                                                                                                                                                                                                  -        "scalar_1": generate_random_str(random.randint(1, 20)),
                                                                                                                                                                                                                                                                                                                                                  -        "scalar_2": random.randint(0, 100)
                                                                                                                                                                                                                                                                                                                                                  -    })
                                                                                                                                                                                                                                                                                                                                                  -    
                                                                                                                                                                                                                                                                                                                                                  -writer.commit()
                                                                                                                                                                                                                                                                                                                                                  -
                                                                                                                                                                                                                                                                                                                                                  -
                                                                                                                                                                                                                                                                                                                                                  import com.alibaba.fastjson.JSONObject;
                                                                                                                                                                                                                                                                                                                                                  +# optional input for binary vector:
                                                                                                                                                                                                                                                                                                                                                  +# 1. list of int such as [1, 0, 1, 1, 0, 0, 1, 0]
                                                                                                                                                                                                                                                                                                                                                  +# 2. numpy array of uint8
                                                                                                                                                                                                                                                                                                                                                  +def gen_binary_vector(to_numpy_arr):
                                                                                                                                                                                                                                                                                                                                                  +    raw_vector = [random.randint(0, 1) for i in range(DIM)]
                                                                                                                                                                                                                                                                                                                                                  +    if to_numpy_arr:
                                                                                                                                                                                                                                                                                                                                                  +        return np.packbits(raw_vector, axis=-1)
                                                                                                                                                                                                                                                                                                                                                  +    return raw_vector
                                                                                                                                                                                                                                                                                                                                                   
                                                                                                                                                                                                                                                                                                                                                  -for (int i = 0; i < 10000; i++) {
                                                                                                                                                                                                                                                                                                                                                  -    JSONObject json = new JSONObject();
                                                                                                                                                                                                                                                                                                                                                  -    json.put("id", i);
                                                                                                                                                                                                                                                                                                                                                  -    json.put("vector", get_random_vector(768));
                                                                                                                                                                                                                                                                                                                                                  -    json.put("scalar_1", get_random_string(20));
                                                                                                                                                                                                                                                                                                                                                  -    json.put("scalar_2", (long) (Math.random() * 100));
                                                                                                                                                                                                                                                                                                                                                  +# optional input for float vector:
                                                                                                                                                                                                                                                                                                                                                  +# 1. list of float such as [0.56, 1.859, 6.55, 9.45]
                                                                                                                                                                                                                                                                                                                                                  +# 2. numpy array of float32
                                                                                                                                                                                                                                                                                                                                                  +def gen_float_vector(to_numpy_arr):
                                                                                                                                                                                                                                                                                                                                                  +    raw_vector = [random.random() for _ in range(DIM)]
                                                                                                                                                                                                                                                                                                                                                  +    if to_numpy_arr:
                                                                                                                                                                                                                                                                                                                                                  +        return np.array(raw_vector, dtype="float32")
                                                                                                                                                                                                                                                                                                                                                  +    return raw_vector
                                                                                                                                                                                                                                                                                                                                                   
                                                                                                                                                                                                                                                                                                                                                  -    // localBulkWriter.appendRow(json);
                                                                                                                                                                                                                                                                                                                                                  -    remoteBulkWriter.appendRow(json);
                                                                                                                                                                                                                                                                                                                                                  -}
                                                                                                                                                                                                                                                                                                                                                  +# # optional input for bfloat16 vector:
                                                                                                                                                                                                                                                                                                                                                  +# # 1. list of float such as [0.56, 1.859, 6.55, 9.45]
                                                                                                                                                                                                                                                                                                                                                  +# # 2. numpy array of bfloat16
                                                                                                                                                                                                                                                                                                                                                  +# def gen_bf16_vector(to_numpy_arr):
                                                                                                                                                                                                                                                                                                                                                  +#     raw_vector = [random.random() for _ in range(DIM)]
                                                                                                                                                                                                                                                                                                                                                  +#     if to_numpy_arr:
                                                                                                                                                                                                                                                                                                                                                  +#         return tf.cast(raw_vector, dtype=tf.bfloat16).numpy()
                                                                                                                                                                                                                                                                                                                                                  +#     return raw_vector
                                                                                                                                                                                                                                                                                                                                                   
                                                                                                                                                                                                                                                                                                                                                  -// localBulkWriter.commit(false);
                                                                                                                                                                                                                                                                                                                                                  -remoteBulkWriter.commit(false);
                                                                                                                                                                                                                                                                                                                                                  -
                                                                                                                                                                                                                                                                                                                                                  -

                                                                                                                                                                                                                                                                                                                                                  Uma vez que o esquema definido permite campos dinâmicos, também pode incluir campos não definidos pelo esquema nos dados a inserir da seguinte forma.

                                                                                                                                                                                                                                                                                                                                                  - -
                                                                                                                                                                                                                                                                                                                                                  import random
                                                                                                                                                                                                                                                                                                                                                  -import string
                                                                                                                                                                                                                                                                                                                                                  +# optional input for float16 vector:
                                                                                                                                                                                                                                                                                                                                                  +# 1. list of float such as [0.56, 1.859, 6.55, 9.45]
                                                                                                                                                                                                                                                                                                                                                  +# 2. numpy array of float16
                                                                                                                                                                                                                                                                                                                                                  +def gen_fp16_vector(to_numpy_arr):
                                                                                                                                                                                                                                                                                                                                                  +    raw_vector = [random.random() for _ in range(DIM)]
                                                                                                                                                                                                                                                                                                                                                  +    if to_numpy_arr:
                                                                                                                                                                                                                                                                                                                                                  +        return np.array(raw_vector, dtype=np.float16)
                                                                                                                                                                                                                                                                                                                                                  +    return raw_vector
                                                                                                                                                                                                                                                                                                                                                   
                                                                                                                                                                                                                                                                                                                                                  -def generate_random_string(length=5):
                                                                                                                                                                                                                                                                                                                                                  -    letters = string.ascii_uppercase
                                                                                                                                                                                                                                                                                                                                                  -    digits = string.digits
                                                                                                                                                                                                                                                                                                                                                  -    
                                                                                                                                                                                                                                                                                                                                                  -    return ''.join(random.choices(letters + digits, k=length))
                                                                                                                                                                                                                                                                                                                                                  +# optional input for sparse vector:
                                                                                                                                                                                                                                                                                                                                                  +# only accepts dict like {2: 13.23, 45: 0.54} or {"indices": [1, 2], "values": [0.1, 0.2]}
                                                                                                                                                                                                                                                                                                                                                  +# note: no need to sort the keys
                                                                                                                                                                                                                                                                                                                                                  +def gen_sparse_vector(pair_dict: bool):
                                                                                                                                                                                                                                                                                                                                                  +    raw_vector = {}
                                                                                                                                                                                                                                                                                                                                                  +    dim = random.randint(2, 20)
                                                                                                                                                                                                                                                                                                                                                  +    if pair_dict:
                                                                                                                                                                                                                                                                                                                                                  +        raw_vector["indices"] = [i for i in range(dim)]
                                                                                                                                                                                                                                                                                                                                                  +        raw_vector["values"] = [random.random() for _ in range(dim)]
                                                                                                                                                                                                                                                                                                                                                  +    else:
                                                                                                                                                                                                                                                                                                                                                  +        for i in range(dim):
                                                                                                                                                                                                                                                                                                                                                  +            raw_vector[i] = random.random()
                                                                                                                                                                                                                                                                                                                                                  +    return raw_vector
                                                                                                                                                                                                                                                                                                                                                   
                                                                                                                                                                                                                                                                                                                                                   for i in range(10000):
                                                                                                                                                                                                                                                                                                                                                       writer.append_row({
                                                                                                                                                                                                                                                                                                                                                  -        "id": i, 
                                                                                                                                                                                                                                                                                                                                                  -        "vector":[random.uniform(-1, 1) for _ in range(768)],
                                                                                                                                                                                                                                                                                                                                                  -        "scalar_1": generate_random_string(),
                                                                                                                                                                                                                                                                                                                                                  -        "scalar_2": random.randint(0, 100),
                                                                                                                                                                                                                                                                                                                                                  -        "dynamic_field_1": random.choice([True, False]),
                                                                                                                                                                                                                                                                                                                                                  -        "dynamic_field_2": random.randint(0, 100)
                                                                                                                                                                                                                                                                                                                                                  +        "id": np.int64(i),
                                                                                                                                                                                                                                                                                                                                                  +        "bool": True if i % 3 == 0 else False,
                                                                                                                                                                                                                                                                                                                                                  +        "int8": np.int8(i%128),
                                                                                                                                                                                                                                                                                                                                                  +        "int16": np.int16(i%1000),
                                                                                                                                                                                                                                                                                                                                                  +        "int32": np.int32(i%100000),
                                                                                                                                                                                                                                                                                                                                                  +        "int64": np.int64(i),
                                                                                                                                                                                                                                                                                                                                                  +        "float": np.float32(i/3),
                                                                                                                                                                                                                                                                                                                                                  +        "double": np.float64(i/7),
                                                                                                                                                                                                                                                                                                                                                  +        "varchar": f"varchar_{i}",
                                                                                                                                                                                                                                                                                                                                                  +        "json": json.dumps({"dummy": i, "ok": f"name_{i}"}),
                                                                                                                                                                                                                                                                                                                                                  +        "array_str": np.array([f"str_{k}" for k in range(5)], np.dtype("str")),
                                                                                                                                                                                                                                                                                                                                                  +        "array_int": np.array([k for k in range(10)], np.dtype("int64")),
                                                                                                                                                                                                                                                                                                                                                  +        "float_vector": gen_float_vector(True),
                                                                                                                                                                                                                                                                                                                                                  +        "binary_vector": gen_binary_vector(True),
                                                                                                                                                                                                                                                                                                                                                  +        "float16_vector": gen_fp16_vector(True),
                                                                                                                                                                                                                                                                                                                                                  +        # "bfloat16_vector": gen_bf16_vector(True),
                                                                                                                                                                                                                                                                                                                                                  +        "sparse_vector": gen_sparse_vector(True),
                                                                                                                                                                                                                                                                                                                                                  +        f"dynamic_{i}": i,
                                                                                                                                                                                                                                                                                                                                                       })
                                                                                                                                                                                                                                                                                                                                                  -    
                                                                                                                                                                                                                                                                                                                                                  -writer.commit()
                                                                                                                                                                                                                                                                                                                                                  +    if (i+1)%1000 == 0:
                                                                                                                                                                                                                                                                                                                                                  +        writer.commit()
                                                                                                                                                                                                                                                                                                                                                  +        print('committed')
                                                                                                                                                                                                                                                                                                                                                  +
                                                                                                                                                                                                                                                                                                                                                  +print(writer.batch_files)
                                                                                                                                                                                                                                                                                                                                                   
                                                                                                                                                                                                                                                                                                                                                  -
                                                                                                                                                                                                                                                                                                                                                  for (int i = 0; i < 10000; i++) {
                                                                                                                                                                                                                                                                                                                                                  -    JSONObject json = new JSONObject();
                                                                                                                                                                                                                                                                                                                                                  -    json.put("id", i);
                                                                                                                                                                                                                                                                                                                                                  -    json.put("vector", get_random_vector(768));
                                                                                                                                                                                                                                                                                                                                                  -    json.put("scalar_1", get_random_string(20));
                                                                                                                                                                                                                                                                                                                                                  -    json.put("scalar_2", (long) (Math.random() * 100));
                                                                                                                                                                                                                                                                                                                                                  -    json.put("dynamic_field_1", get_random_boolean());
                                                                                                                                                                                                                                                                                                                                                  -    json.put("dynamic_field_2", (long) (Math.random() * 100));
                                                                                                                                                                                                                                                                                                                                                  -
                                                                                                                                                                                                                                                                                                                                                  -    // localBulkWriter.appendRow(json);
                                                                                                                                                                                                                                                                                                                                                  -    remoteBulkWriter.appendRow(json);
                                                                                                                                                                                                                                                                                                                                                  +
                                                                                                                                                                                                                                                                                                                                                  private static byte[] genBinaryVector() {
                                                                                                                                                                                                                                                                                                                                                  +    Random ran = new Random();
                                                                                                                                                                                                                                                                                                                                                  +    int byteCount = DIM / 8;
                                                                                                                                                                                                                                                                                                                                                  +    ByteBuffer vector = ByteBuffer.allocate(byteCount);
                                                                                                                                                                                                                                                                                                                                                  +    for (int i = 0; i < byteCount; ++i) {
                                                                                                                                                                                                                                                                                                                                                  +        vector.put((byte) ran.nextInt(Byte.MAX_VALUE));
                                                                                                                                                                                                                                                                                                                                                  +    }
                                                                                                                                                                                                                                                                                                                                                  +    return vector.array();
                                                                                                                                                                                                                                                                                                                                                  +}
                                                                                                                                                                                                                                                                                                                                                  +
                                                                                                                                                                                                                                                                                                                                                  +private static List<Float> genFloatVector() {
                                                                                                                                                                                                                                                                                                                                                  +    Random ran = new Random();
                                                                                                                                                                                                                                                                                                                                                  +    List<Float> vector = new ArrayList<>();
                                                                                                                                                                                                                                                                                                                                                  +    for (int i = 0; i < DIM; ++i) {
                                                                                                                                                                                                                                                                                                                                                  +        vector.add(ran.nextFloat());
                                                                                                                                                                                                                                                                                                                                                  +    }
                                                                                                                                                                                                                                                                                                                                                  +    return vector;
                                                                                                                                                                                                                                                                                                                                                  +}
                                                                                                                                                                                                                                                                                                                                                  +
                                                                                                                                                                                                                                                                                                                                                  +private static byte[] genFloat16Vector() {
                                                                                                                                                                                                                                                                                                                                                  +    List<Float> originalVector = genFloatVector();
                                                                                                                                                                                                                                                                                                                                                  +    return Float16Utils.f32VectorToFp16Buffer(originalVector).array();
                                                                                                                                                                                                                                                                                                                                                   }
                                                                                                                                                                                                                                                                                                                                                   
                                                                                                                                                                                                                                                                                                                                                  -// localBulkWriter.commit(false);
                                                                                                                                                                                                                                                                                                                                                  -remoteBulkWriter.commit(false);
                                                                                                                                                                                                                                                                                                                                                  +private static SortedMap<Long, Float> genSparseVector() {
                                                                                                                                                                                                                                                                                                                                                  +    Random ran = new Random();
                                                                                                                                                                                                                                                                                                                                                  +    SortedMap<Long, Float> sparse = new TreeMap<>();
                                                                                                                                                                                                                                                                                                                                                  +    int dim = ran.nextInt(18) + 2; // [2, 20)
                                                                                                                                                                                                                                                                                                                                                  +    for (int i = 0; i < dim; ++i) {
                                                                                                                                                                                                                                                                                                                                                  +        sparse.put((long)ran.nextInt(1000000), ran.nextFloat());
                                                                                                                                                                                                                                                                                                                                                  +    }
                                                                                                                                                                                                                                                                                                                                                  +    return sparse;
                                                                                                                                                                                                                                                                                                                                                  +}
                                                                                                                                                                                                                                                                                                                                                  +
                                                                                                                                                                                                                                                                                                                                                  +private static List<String> genStringArray(int length) {
                                                                                                                                                                                                                                                                                                                                                  +    List<String> arr = new ArrayList<>();
                                                                                                                                                                                                                                                                                                                                                  +    for (int i = 0; i < length; i++) {
                                                                                                                                                                                                                                                                                                                                                  +        arr.add("str_" + i);
                                                                                                                                                                                                                                                                                                                                                  +    }
                                                                                                                                                                                                                                                                                                                                                  +    return arr;
                                                                                                                                                                                                                                                                                                                                                  +}
                                                                                                                                                                                                                                                                                                                                                  +
                                                                                                                                                                                                                                                                                                                                                  +private static List<Long> genIntArray(int length) {
                                                                                                                                                                                                                                                                                                                                                  +    List<Long> arr = new ArrayList<>();
                                                                                                                                                                                                                                                                                                                                                  +    for (long i = 0; i < length; i++) {
                                                                                                                                                                                                                                                                                                                                                  +        arr.add(i);
                                                                                                                                                                                                                                                                                                                                                  +    }
                                                                                                                                                                                                                                                                                                                                                  +    return arr;
                                                                                                                                                                                                                                                                                                                                                  +}
                                                                                                                                                                                                                                                                                                                                                  +
                                                                                                                                                                                                                                                                                                                                                  +private static RemoteBulkWriter createRemoteBulkWriter(CreateCollectionReq.CollectionSchema collectionSchema) throws IOException {
                                                                                                                                                                                                                                                                                                                                                  +    StorageConnectParam connectParam = S3ConnectParam.newBuilder()
                                                                                                                                                                                                                                                                                                                                                  +            .withEndpoint(MINIO_ENDPOINT)
                                                                                                                                                                                                                                                                                                                                                  +            .withBucketName(BUCKET_NAME)
                                                                                                                                                                                                                                                                                                                                                  +            .withAccessKey(ACCESS_KEY)
                                                                                                                                                                                                                                                                                                                                                  +            .withSecretKey(SECRET_KEY)
                                                                                                                                                                                                                                                                                                                                                  +            .build();
                                                                                                                                                                                                                                                                                                                                                  +    RemoteBulkWriterParam bulkWriterParam = RemoteBulkWriterParam.newBuilder()
                                                                                                                                                                                                                                                                                                                                                  +            .withCollectionSchema(collectionSchema)
                                                                                                                                                                                                                                                                                                                                                  +            .withRemotePath("/")
                                                                                                                                                                                                                                                                                                                                                  +            .withConnectParam(connectParam)
                                                                                                                                                                                                                                                                                                                                                  +            .withFileType(BulkFileType.PARQUET)
                                                                                                                                                                                                                                                                                                                                                  +            .build();
                                                                                                                                                                                                                                                                                                                                                  +    return new RemoteBulkWriter(bulkWriterParam);
                                                                                                                                                                                                                                                                                                                                                  +}
                                                                                                                                                                                                                                                                                                                                                  +
                                                                                                                                                                                                                                                                                                                                                  +private static List<List<String>> uploadData() throws Exception {
                                                                                                                                                                                                                                                                                                                                                  +    CreateCollectionReq.CollectionSchema collectionSchema = createSchema();
                                                                                                                                                                                                                                                                                                                                                  +    try (RemoteBulkWriter remoteBulkWriter = createRemoteBulkWriter(collectionSchema)) {
                                                                                                                                                                                                                                                                                                                                                  +        for (int i = 0; i < 10000; ++i) {
                                                                                                                                                                                                                                                                                                                                                  +            JsonObject rowObject = new JsonObject();
                                                                                                                                                                                                                                                                                                                                                  +
                                                                                                                                                                                                                                                                                                                                                  +            rowObject.addProperty("id", i);
                                                                                                                                                                                                                                                                                                                                                  +            rowObject.addProperty("bool", i % 3 == 0);
                                                                                                                                                                                                                                                                                                                                                  +            rowObject.addProperty("int8", i % 128);
                                                                                                                                                                                                                                                                                                                                                  +            rowObject.addProperty("int16", i % 1000);
                                                                                                                                                                                                                                                                                                                                                  +            rowObject.addProperty("int32", i % 100000);
                                                                                                                                                                                                                                                                                                                                                  +            rowObject.addProperty("int64", i);
                                                                                                                                                                                                                                                                                                                                                  +            rowObject.addProperty("float", i / 3);
                                                                                                                                                                                                                                                                                                                                                  +            rowObject.addProperty("double", i / 7);
                                                                                                                                                                                                                                                                                                                                                  +            rowObject.addProperty("varchar", "varchar_" + i);
                                                                                                                                                                                                                                                                                                                                                  +            rowObject.addProperty("json", String.format("{\"dummy\": %s, \"ok\": \"name_%s\"}", i, i));
                                                                                                                                                                                                                                                                                                                                                  +            rowObject.add("array_str", GSON_INSTANCE.toJsonTree(genStringArray(5)));
                                                                                                                                                                                                                                                                                                                                                  +            rowObject.add("array_int", GSON_INSTANCE.toJsonTree(genIntArray(10)));
                                                                                                                                                                                                                                                                                                                                                  +            rowObject.add("float_vector", GSON_INSTANCE.toJsonTree(genFloatVector()));
                                                                                                                                                                                                                                                                                                                                                  +            rowObject.add("binary_vector", GSON_INSTANCE.toJsonTree(genBinaryVector()));
                                                                                                                                                                                                                                                                                                                                                  +            rowObject.add("float16_vector", GSON_INSTANCE.toJsonTree(genFloat16Vector()));
                                                                                                                                                                                                                                                                                                                                                  +            rowObject.add("sparse_vector", GSON_INSTANCE.toJsonTree(genSparseVector()));
                                                                                                                                                                                                                                                                                                                                                  +            rowObject.addProperty("dynamic", "dynamic_" + i);
                                                                                                                                                                                                                                                                                                                                                  +
                                                                                                                                                                                                                                                                                                                                                  +            remoteBulkWriter.appendRow(rowObject);
                                                                                                                                                                                                                                                                                                                                                  +
                                                                                                                                                                                                                                                                                                                                                  +            if ((i+1)%1000 == 0) {
                                                                                                                                                                                                                                                                                                                                                  +                remoteBulkWriter.commit(false);
                                                                                                                                                                                                                                                                                                                                                  +            }
                                                                                                                                                                                                                                                                                                                                                  +        }
                                                                                                                                                                                                                                                                                                                                                  +
                                                                                                                                                                                                                                                                                                                                                  +        List<List<String>> batchFiles = remoteBulkWriter.getBatchFiles();
                                                                                                                                                                                                                                                                                                                                                  +        System.out.println(batchFiles);
                                                                                                                                                                                                                                                                                                                                                  +        return batchFiles;
                                                                                                                                                                                                                                                                                                                                                  +    } catch (Exception e) {
                                                                                                                                                                                                                                                                                                                                                  +        throw e;
                                                                                                                                                                                                                                                                                                                                                  +    }
                                                                                                                                                                                                                                                                                                                                                  +}
                                                                                                                                                                                                                                                                                                                                                  +
                                                                                                                                                                                                                                                                                                                                                  +public static void main(String[] args) throws Exception {
                                                                                                                                                                                                                                                                                                                                                  +    List<List<String>> batchFiles = uploadData();
                                                                                                                                                                                                                                                                                                                                                  +}
                                                                                                                                                                                                                                                                                                                                                   

                                                                                                                                                                                                                                                                                                                                                  Verificar os resultados

                                                                                                                                                                                                                                                                                                                                                  Aproveitando os metadados armazenados num ficheiro de índice, o Milvus organiza os seus dados numa estrutura especializada, facilitando a rápida recuperação da informação solicitada durante as pesquisas ou consultas.

                                                                                                                                                                                                                                                                                                                                                  -

                                                                                                                                                                                                                                                                                                                                                  O Milvus fornece vários tipos de índices e métricas para ordenar os valores de campo para pesquisas de similaridade eficientes. A tabela seguinte lista os tipos de índices e métricas suportados para diferentes tipos de campos vectoriais. Para obter detalhes, consulte Índice na memória e métricas de similaridade.

                                                                                                                                                                                                                                                                                                                                                  +

                                                                                                                                                                                                                                                                                                                                                  O Milvus fornece vários tipos de índices e métricas para ordenar os valores de campo para pesquisas de similaridade eficientes. A tabela seguinte lista os tipos de índices e métricas suportados para diferentes tipos de campos vectoriais. Atualmente, o Milvus suporta vários tipos de dados vectoriais, incluindo embeddings de vírgula flutuante (frequentemente conhecidos como vectores de vírgula flutuante ou vectores densos), embeddings binários (também conhecidos como vectores binários) e embeddings esparsos (também conhecidos como vectores esparsos). Para obter detalhes, consulte Índice na memória e métricas de similaridade.

                                                                                                                                                                                                                                                                                                                                                  - + @@ -348,7 +348,7 @@ res = await client.fieldName - + @@ -421,7 +421,7 @@ res = await client. -

                                                                                                                                                                                                                                                                                                                                                  Depois de ter criado um índice, pode verificar os respectivos detalhes.

                                                                                                                                                                                                                                                                                                                                                  +

                                                                                                                                                                                                                                                                                                                                                  Depois de ter criado um índice, pode verificar os seus detalhes.

                                                                                                                                                                                                                                                                                                                                                  Para verificar os detalhes do índice, utilize list_indexes() para listar os nomes dos índices e describe_index() para obter os detalhes do índice.

                                                                                                                                                                                                                                                                                                                                                  diff --git a/localization/v2.4.x/site/zh/adminGuide/configure-docker.json b/localization/v2.4.x/site/zh/adminGuide/configure-docker.json index 380186cd0..01e9524b9 100644 --- a/localization/v2.4.x/site/zh/adminGuide/configure-docker.json +++ b/localization/v2.4.x/site/zh/adminGuide/configure-docker.json @@ -1 +1 @@ -{"codeList":["$ wget https://raw.githubusercontent.com/milvus-io/milvus/v2.4.15/configs/milvus.yaml\n","# For Milvus standalone\n$ wget https://github.com/milvus-io/milvus/releases/download/v2.4.15/milvus-standalone-docker-compose.yml -O docker-compose.yml\n","...\n standalone:\n container_name: milvus-standalone\n image: milvusdb/milvus:v2.2.13\n command: [\"milvus\", \"run\", \"standalone\"]\n environment:\n ETCD_ENDPOINTS: etcd:2379\n MINIO_ADDRESS: minio:9000\n volumes:\n - /local/path/to/your/milvus.yaml:/milvus/configs/milvus.yaml # Map the local path to the container path\n - ${DOCKER_VOLUME_DIRECTORY:-.}/volumes/milvus:/var/lib/milvus\n ports:\n - \"19530:19530\"\n - \"9091:9091\"\n depends_on:\n - \"etcd\"\n - \"minio\"\n...\n","$ sudo docker compose up -d\n"],"headingContent":"Configure Milvus with Docker Compose","anchorList":[{"label":"使用 Docker Compose 配置 Milvus","href":"Configure-Milvus-with-Docker-Compose","type":1,"isActive":false},{"label":"下载配置文件","href":"Download-a-configuration-file","type":2,"isActive":false},{"label":"修改配置文件","href":"Modify-the-configuration-file","type":2,"isActive":false},{"label":"下载安装文件","href":"Download-an-installation-file","type":2,"isActive":false},{"label":"修改安装文件","href":"Modify-the-installation-file","type":2,"isActive":false},{"label":"启动 Milvus","href":"Start-Milvus","type":2,"isActive":false},{"label":"下一步","href":"Whats-next","type":2,"isActive":false}]} \ No newline at end of file +{"codeList":["$ wget https://raw.githubusercontent.com/milvus-io/milvus/v2.4.17/configs/milvus.yaml\n","# For Milvus standalone\n$ wget https://github.com/milvus-io/milvus/releases/download/v2.4.17/milvus-standalone-docker-compose.yml -O docker-compose.yml\n","...\n standalone:\n container_name: milvus-standalone\n image: milvusdb/milvus:v2.2.13\n command: [\"milvus\", \"run\", \"standalone\"]\n environment:\n ETCD_ENDPOINTS: etcd:2379\n MINIO_ADDRESS: minio:9000\n volumes:\n - /local/path/to/your/milvus.yaml:/milvus/configs/milvus.yaml # Map the local path to the container path\n - ${DOCKER_VOLUME_DIRECTORY:-.}/volumes/milvus:/var/lib/milvus\n ports:\n - \"19530:19530\"\n - \"9091:9091\"\n depends_on:\n - \"etcd\"\n - \"minio\"\n...\n","$ sudo docker compose up -d\n"],"headingContent":"Configure Milvus with Docker Compose","anchorList":[{"label":"使用 Docker Compose 配置 Milvus","href":"Configure-Milvus-with-Docker-Compose","type":1,"isActive":false},{"label":"下载配置文件","href":"Download-a-configuration-file","type":2,"isActive":false},{"label":"修改配置文件","href":"Modify-the-configuration-file","type":2,"isActive":false},{"label":"下载安装文件","href":"Download-an-installation-file","type":2,"isActive":false},{"label":"修改安装文件","href":"Modify-the-installation-file","type":2,"isActive":false},{"label":"启动 Milvus","href":"Start-Milvus","type":2,"isActive":false},{"label":"下一步","href":"Whats-next","type":2,"isActive":false}]} \ No newline at end of file diff --git a/localization/v2.4.x/site/zh/adminGuide/configure-docker.md b/localization/v2.4.x/site/zh/adminGuide/configure-docker.md index 7e4aa178a..6c2159093 100644 --- a/localization/v2.4.x/site/zh/adminGuide/configure-docker.md +++ b/localization/v2.4.x/site/zh/adminGuide/configure-docker.md @@ -38,8 +38,8 @@ title: 使用 Docker Compose 配置 Milvus d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z" > -

                                                                                                                                                                                                                                                                                                                                                  直接或使用以下命令下载 milvus.yaml

                                                                                                                                                                                                                                                                                                                                                  -
                                                                                                                                                                                                                                                                                                                                                  $ wget https://raw.githubusercontent.com/milvus-io/milvus/v2.4.15/configs/milvus.yaml
                                                                                                                                                                                                                                                                                                                                                  +    

                                                                                                                                                                                                                                                                                                                                                  直接或使用以下命令下载 milvus.yaml

                                                                                                                                                                                                                                                                                                                                                  +
                                                                                                                                                                                                                                                                                                                                                  $ wget https://raw.githubusercontent.com/milvus-io/milvus/v2.4.17/configs/milvus.yaml
                                                                                                                                                                                                                                                                                                                                                   

                                                                                                                                                                                                                                                                                                                                                  修改配置文件

                                                                                                                                                                                                                                                                                                                                                  下载 MilvusStandalone 的安装文件,并将其保存为docker-compose.yml

                                                                                                                                                                                                                                                                                                                                                  +

                                                                                                                                                                                                                                                                                                                                                  下载 MilvusStandalone 的安装文件,并将其保存为docker-compose.yml

                                                                                                                                                                                                                                                                                                                                                  也可以直接运行以下命令。

                                                                                                                                                                                                                                                                                                                                                  # For Milvus standalone
                                                                                                                                                                                                                                                                                                                                                  -$ wget https://github.com/milvus-io/milvus/releases/download/v2.4.15/milvus-standalone-docker-compose.yml -O docker-compose.yml
                                                                                                                                                                                                                                                                                                                                                  +$ wget https://github.com/milvus-io/milvus/releases/download/v2.4.17/milvus-standalone-docker-compose.yml -O docker-compose.yml
                                                                                                                                                                                                                                                                                                                                                   

                                                                                                                                                                                                                                                                                                                                                  修改安装文件

                                                                                                                                                                                                                                                                                                                                                  本主题介绍如何使用 Docker Compose 升级 Milvus。

                                                                                                                                                                                                                                                                                                                                                  -

                                                                                                                                                                                                                                                                                                                                                  在正常情况下,你可以通过更改映像来升级 Milvus。不过,在从 v2.1.x 升级到 v2.4.15 之前,需要迁移元数据

                                                                                                                                                                                                                                                                                                                                                  +

                                                                                                                                                                                                                                                                                                                                                  在正常情况下,你可以通过更改映像来升级 Milvus。不过,在从 v2.1.x 升级到 v2.4.17 之前,需要迁移元数据

                                                                                                                                                                                                                                                                                                                                                  通过更改映像升级 Milvus

                                                                                                                                                                                                                                                                                                                                                • 运行以下命令执行升级。

                                                                                                                                                                                                                                                                                                                                                  docker compose down
                                                                                                                                                                                                                                                                                                                                                  @@ -105,7 +105,7 @@ cmd:
                                                                                                                                                                                                                                                                                                                                                     runWithBackup: true
                                                                                                                                                                                                                                                                                                                                                   config:
                                                                                                                                                                                                                                                                                                                                                     sourceVersion: 2.1.4   # Specify your milvus version
                                                                                                                                                                                                                                                                                                                                                  -  targetVersion: 2.4.15
                                                                                                                                                                                                                                                                                                                                                  +  targetVersion: 2.4.17
                                                                                                                                                                                                                                                                                                                                                     backupFilePath: /tmp/migration.bak
                                                                                                                                                                                                                                                                                                                                                   metastore:
                                                                                                                                                                                                                                                                                                                                                     type: etcd
                                                                                                                                                                                                                                                                                                                                                  diff --git a/localization/v2.4.x/site/zh/adminGuide/upgrade_milvus_cluster-helm.json b/localization/v2.4.x/site/zh/adminGuide/upgrade_milvus_cluster-helm.json
                                                                                                                                                                                                                                                                                                                                                  index 7b9518610..0551fc9b5 100644
                                                                                                                                                                                                                                                                                                                                                  --- a/localization/v2.4.x/site/zh/adminGuide/upgrade_milvus_cluster-helm.json
                                                                                                                                                                                                                                                                                                                                                  +++ b/localization/v2.4.x/site/zh/adminGuide/upgrade_milvus_cluster-helm.json
                                                                                                                                                                                                                                                                                                                                                  @@ -1 +1 @@
                                                                                                                                                                                                                                                                                                                                                  -{"codeList":["$ helm repo update\n$ helm search repo zilliztech/milvus --versions\n","helm repo add zilliztech https://zilliztech.github.io/milvus-helm\nhelm repo update\n# upgrade existing helm release\nhelm upgrade my-release zilliztech/milvus\n","NAME                    CHART VERSION   APP VERSION             DESCRIPTION                                       \nzilliztech/milvus       4.1.34          2.4.5                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.33          2.4.4                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.32          2.4.3                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.31          2.4.1                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.30          2.4.1                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.29          2.4.0                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.24          2.3.11                  Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.23          2.3.10                  Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.22          2.3.10                  Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.21          2.3.10                  Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.20          2.3.10                  Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.18          2.3.10                  Milvus is an open-source vector database built ... \nzilliztech/milvus       4.1.18          2.3.9                   Milvus is an open-source vector database built ...                                       \nzilliztech/milvus       4.1.17          2.3.8                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.16          2.3.7                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.15          2.3.5                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.14          2.3.6                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.13          2.3.5                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.12          2.3.5                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.11          2.3.4                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.10          2.3.3                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.9           2.3.3                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.8           2.3.2                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.7           2.3.2                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.6           2.3.1                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.5           2.3.1                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.4           2.3.1                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.3           2.3.1                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.2           2.3.1                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.1           2.3.0                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.0           2.3.0                   Milvus is an open-source vector database built ...\n","sh rollingUpdate.sh -n default -i my-release -o update -t 2.4.15 -w 'milvusdb/milvus:v2.4.15'\n","helm repo update\nhelm upgrade my-release zilliztech/milvus --reuse-values --version=4.1.24 # use the helm chart version here\n","NAME                NAMESPACE   REVISION    UPDATED                                 STATUS      CHART           APP VERSION    \nnew-release         default     1           2022-11-21 15:41:25.51539 +0800 CST     deployed    milvus-3.2.18   2.1.4 \n","NAME                                             READY   STATUS      RESTARTS   AGE\nmy-release-etcd-0                               1/1     Running     0          21m\nmy-release-etcd-1                               1/1     Running     0          21m\nmy-release-etcd-2                               1/1     Running     0          21m\nmy-release-milvus-datacoord-664c58798d-fl75s    1/1     Running     0          21m\nmy-release-milvus-datanode-5f75686c55-xfg2r     1/1     Running     0          21m\nmy-release-milvus-indexcoord-5f98b97589-2l48r   1/1     Running     0          21m\nmy-release-milvus-indexnode-857b4ddf98-vmd75    1/1     Running     0          21m\nmy-release-milvus-proxy-6c548f787f-scspp        1/1     Running     0          21m\nmy-release-milvus-querycoord-c454f44cd-dwmwq    1/1     Running     0          21m\nmy-release-milvus-querynode-76bb4946d-lbrz6     1/1     Running     0          21m\nmy-release-milvus-rootcoord-7764c5b686-62msm    1/1     Running     0          21m\nmy-release-minio-0                              1/1     Running     0          21m\nmy-release-minio-1                              1/1     Running     0          21m\nmy-release-minio-2                              1/1     Running     0          21m\nmy-release-minio-3                              1/1     Running     0          21m\nmy-release-pulsar-bookie-0                      1/1     Running     0          21m\nmy-release-pulsar-bookie-1                      1/1     Running     0          21m\nmy-release-pulsar-bookie-2                      1/1     Running     0          21m\nmy-release-pulsar-bookie-init-tjxpj             0/1     Completed   0          21m\nmy-release-pulsar-broker-0                      1/1     Running     0          21m\nmy-release-pulsar-proxy-0                       1/1     Running     0          21m\nmy-release-pulsar-pulsar-init-c8vvc             0/1     Completed   0          21m\nmy-release-pulsar-recovery-0                    1/1     Running     0          21m\nmy-release-pulsar-zookeeper-0                   1/1     Running     0          21m\nmy-release-pulsar-zookeeper-1                   1/1     Running     0          20m\nmy-release-pulsar-zookeeper-2                   1/1     Running     0          20m\n","$ kubectl get pods my-release-milvus-proxy-6c548f787f-scspp -o=jsonpath='{$.spec.containers[0].image}'\n# milvusdb/milvus:v2.1.4\n","./migrate.sh -i my-release -s 2.1.4 -t 2.2.0\n","./migrate.sh -i my-release -n milvus -s 2.1.4 -t 2.2.0\n","./migrate.sh -i my-release -n milvus -s 2.1.4 -t 2.2.0 -r by-dev\n","./migrate.sh -i my-release -n milvus -s 2.1.4 -t 2.2.0 -r by-dev -w milvusdb/milvus:v2.2.0\n","./migrate.sh -i my-release -n milvus -s 2.1.4 -t 2.2.0 -w milvusdb/milvus:v2.2.0 -d true\n","./migrate.sh -i my-release -n milvus -s 2.1.4 -t 2.2.0 -r by-dev -o rollback -w milvusdb/milvus:v2.1.4\n./migrate.sh -i my-release -n milvus -s 2.1.4 -t 2.2.0 -r by-dev -o migrate -w milvusdb/milvus:v2.2.0\n"],"headingContent":"Upgrade Milvus Cluster with Helm Chart","anchorList":[{"label":"使用 Helm 图表升级 Milvus 群集","href":"Upgrade-Milvus-Cluster-with-Helm-Chart","type":1,"isActive":false},{"label":"检查 Milvus Helm 图表","href":"Check-Milvus-Helm-Chart","type":2,"isActive":false},{"label":"进行滚动升级","href":"Conduct-a-rolling-upgrade","type":2,"isActive":false},{"label":"使用 Helm 升级 Milvus","href":"Upgrade-Milvus-using-Helm","type":2,"isActive":false},{"label":"迁移元数据","href":"Migrate-the-metadata","type":2,"isActive":false}]}
                                                                                                                                                                                                                                                                                                                                                  \ No newline at end of file
                                                                                                                                                                                                                                                                                                                                                  +{"codeList":["$ helm repo update zilliztech\n$ helm search repo zilliztech/milvus --versions\n","helm repo add zilliztech https://zilliztech.github.io/milvus-helm\nhelm repo update\n# upgrade existing helm release\nhelm upgrade my-release zilliztech/milvus --reset-then-reuse-values\n","NAME                    CHART VERSION   APP VERSION             DESCRIPTION                                       \nzilliztech/milvus       4.1.34          2.4.5                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.33          2.4.4                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.32          2.4.3                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.31          2.4.1                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.30          2.4.1                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.29          2.4.0                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.24          2.3.11                  Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.23          2.3.10                  Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.22          2.3.10                  Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.21          2.3.10                  Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.20          2.3.10                  Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.18          2.3.10                  Milvus is an open-source vector database built ... \nzilliztech/milvus       4.1.18          2.3.9                   Milvus is an open-source vector database built ...                                       \nzilliztech/milvus       4.1.17          2.3.8                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.16          2.3.7                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.15          2.3.5                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.14          2.3.6                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.13          2.3.5                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.12          2.3.5                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.11          2.3.4                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.10          2.3.3                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.9           2.3.3                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.8           2.3.2                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.7           2.3.2                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.6           2.3.1                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.5           2.3.1                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.4           2.3.1                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.3           2.3.1                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.2           2.3.1                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.1           2.3.0                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.0           2.3.0                   Milvus is an open-source vector database built ...\n","sh rollingUpdate.sh -n default -i my-release -o update -t 2.4.17 -w 'milvusdb/milvus:v2.4.17'\n","helm repo update zilliztech\nhelm upgrade my-release zilliztech/milvus --reset-then-reuse-values --version=4.1.24 # use the helm chart version here\n","NAME                NAMESPACE   REVISION    UPDATED                                 STATUS      CHART           APP VERSION    \nnew-release         default     1           2022-11-21 15:41:25.51539 +0800 CST     deployed    milvus-3.2.18   2.1.4 \n","NAME                                             READY   STATUS      RESTARTS   AGE\nmy-release-etcd-0                               1/1     Running     0          21m\nmy-release-etcd-1                               1/1     Running     0          21m\nmy-release-etcd-2                               1/1     Running     0          21m\nmy-release-milvus-datacoord-664c58798d-fl75s    1/1     Running     0          21m\nmy-release-milvus-datanode-5f75686c55-xfg2r     1/1     Running     0          21m\nmy-release-milvus-indexcoord-5f98b97589-2l48r   1/1     Running     0          21m\nmy-release-milvus-indexnode-857b4ddf98-vmd75    1/1     Running     0          21m\nmy-release-milvus-proxy-6c548f787f-scspp        1/1     Running     0          21m\nmy-release-milvus-querycoord-c454f44cd-dwmwq    1/1     Running     0          21m\nmy-release-milvus-querynode-76bb4946d-lbrz6     1/1     Running     0          21m\nmy-release-milvus-rootcoord-7764c5b686-62msm    1/1     Running     0          21m\nmy-release-minio-0                              1/1     Running     0          21m\nmy-release-minio-1                              1/1     Running     0          21m\nmy-release-minio-2                              1/1     Running     0          21m\nmy-release-minio-3                              1/1     Running     0          21m\nmy-release-pulsar-bookie-0                      1/1     Running     0          21m\nmy-release-pulsar-bookie-1                      1/1     Running     0          21m\nmy-release-pulsar-bookie-2                      1/1     Running     0          21m\nmy-release-pulsar-bookie-init-tjxpj             0/1     Completed   0          21m\nmy-release-pulsar-broker-0                      1/1     Running     0          21m\nmy-release-pulsar-proxy-0                       1/1     Running     0          21m\nmy-release-pulsar-pulsar-init-c8vvc             0/1     Completed   0          21m\nmy-release-pulsar-recovery-0                    1/1     Running     0          21m\nmy-release-pulsar-zookeeper-0                   1/1     Running     0          21m\nmy-release-pulsar-zookeeper-1                   1/1     Running     0          20m\nmy-release-pulsar-zookeeper-2                   1/1     Running     0          20m\n","$ kubectl get pods my-release-milvus-proxy-6c548f787f-scspp -o=jsonpath='{$.spec.containers[0].image}'\n# milvusdb/milvus:v2.1.4\n","./migrate.sh -i my-release -s 2.1.4 -t 2.2.0\n","./migrate.sh -i my-release -n milvus -s 2.1.4 -t 2.2.0\n","./migrate.sh -i my-release -n milvus -s 2.1.4 -t 2.2.0 -r by-dev\n","./migrate.sh -i my-release -n milvus -s 2.1.4 -t 2.2.0 -r by-dev -w milvusdb/milvus:v2.2.0\n","./migrate.sh -i my-release -n milvus -s 2.1.4 -t 2.2.0 -w milvusdb/milvus:v2.2.0 -d true\n","./migrate.sh -i my-release -n milvus -s 2.1.4 -t 2.2.0 -r by-dev -o rollback -w milvusdb/milvus:v2.1.4\n./migrate.sh -i my-release -n milvus -s 2.1.4 -t 2.2.0 -r by-dev -o migrate -w milvusdb/milvus:v2.2.0\n"],"headingContent":"Upgrade Milvus Cluster with Helm Chart","anchorList":[{"label":"使用 Helm 图表升级 Milvus 群集","href":"Upgrade-Milvus-Cluster-with-Helm-Chart","type":1,"isActive":false},{"label":"前提条件","href":"Prerequisites","type":2,"isActive":false},{"label":"检查 Milvus Helm 图表","href":"Check-Milvus-Helm-Chart","type":2,"isActive":false},{"label":"进行滚动升级","href":"Conduct-a-rolling-upgrade","type":2,"isActive":false},{"label":"使用 Helm 升级 Milvus","href":"Upgrade-Milvus-using-Helm","type":2,"isActive":false},{"label":"迁移元数据","href":"Migrate-the-metadata","type":2,"isActive":false}]}
                                                                                                                                                                                                                                                                                                                                                  \ No newline at end of file
                                                                                                                                                                                                                                                                                                                                                  diff --git a/localization/v2.4.x/site/zh/adminGuide/upgrade_milvus_cluster-helm.md b/localization/v2.4.x/site/zh/adminGuide/upgrade_milvus_cluster-helm.md
                                                                                                                                                                                                                                                                                                                                                  index 257541bb2..c8097603d 100644
                                                                                                                                                                                                                                                                                                                                                  --- a/localization/v2.4.x/site/zh/adminGuide/upgrade_milvus_cluster-helm.md
                                                                                                                                                                                                                                                                                                                                                  +++ b/localization/v2.4.x/site/zh/adminGuide/upgrade_milvus_cluster-helm.md
                                                                                                                                                                                                                                                                                                                                                  @@ -23,7 +23,29 @@ title: 使用 Helm 图表升级 Milvus 群集
                                                                                                                                                                                                                                                                                                                                                             d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
                                                                                                                                                                                                                                                                                                                                                           >
                                                                                                                                                                                                                                                                                                                                                         
                                                                                                                                                                                                                                                                                                                                                  -    

                                                                                                                                                                                                                                                                                                                                                  本指南介绍如何使用 Milvus Helm 图表升级 Milvus 群集。

                                                                                                                                                                                                                                                                                                                                                  +

                                                                                                                                                                                                                                                                                                                                                  本指南介绍如何使用 Milvus Helm 图表升级 Milvus 集群。

                                                                                                                                                                                                                                                                                                                                                  +

                                                                                                                                                                                                                                                                                                                                                  前提条件

                                                                                                                                                                                                                                                                                                                                                    +
                                                                                                                                                                                                                                                                                                                                                  • Helm 版本 >= 3.14.0
                                                                                                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                                                                                                  • Kubernetes 版本 >= 1.20.0
                                                                                                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                                                                                                  +
                                                                                                                                                                                                                                                                                                                                                  +

                                                                                                                                                                                                                                                                                                                                                  自 Milvus Helm 图表 4.2.21 版起,我们引入了 pulsar-v3.x 图表作为依赖。为了向后兼容,请将 Helm 升级到 v3.14 或更高版本,并确保在使用helm upgrade 时添加--reset-then-reuse-values 选项。

                                                                                                                                                                                                                                                                                                                                                  +

                                                                                                                                                                                                                                                                                                                                                  检查 Milvus Helm 图表

                                                                                                                                                                                                                                                                                                                                                  运行以下命令检查新的 Milvus 版本。

                                                                                                                                                                                                                                                                                                                                                  -
                                                                                                                                                                                                                                                                                                                                                  $ helm repo update
                                                                                                                                                                                                                                                                                                                                                  +
                                                                                                                                                                                                                                                                                                                                                  $ helm repo update zilliztech
                                                                                                                                                                                                                                                                                                                                                   $ helm search repo zilliztech/milvus --versions
                                                                                                                                                                                                                                                                                                                                                   
                                                                                                                                                                                                                                                                                                                                                  -

                                                                                                                                                                                                                                                                                                                                                  https://milvus-io.github.io/milvus-helm/ 上的 Milvus Helm 图表 repo 已归档,你可以从https://zilliztech.github.io/milvus-helm/ 获取进一步更新,具体如下:

                                                                                                                                                                                                                                                                                                                                                  +

                                                                                                                                                                                                                                                                                                                                                  https://milvus-io.github.io/milvus-helm/ 上的 Milvus Helm Charts repo 已归档,您可以从https://zilliztech.github.io/milvus-helm/ 获取进一步更新,具体如下:

                                                                                                                                                                                                                                                                                                                                                  helm repo add zilliztech https://zilliztech.github.io/milvus-helm
                                                                                                                                                                                                                                                                                                                                                   helm repo update
                                                                                                                                                                                                                                                                                                                                                   # upgrade existing helm release
                                                                                                                                                                                                                                                                                                                                                  -helm upgrade my-release zilliztech/milvus
                                                                                                                                                                                                                                                                                                                                                  +helm upgrade my-release zilliztech/milvus --reset-then-reuse-values
                                                                                                                                                                                                                                                                                                                                                   

                                                                                                                                                                                                                                                                                                                                                  归档软件源仍可用于 4.0.31 之前的图表。对于后续版本,请使用新版本库。

                                                                                                                                                                                                                                                                                                                                                  @@ -86,10 +108,10 @@ zilliztech/milvus 4.1.1 2.3.0 Milvus is an ope zilliztech/milvus 4.1.0 2.3.0 Milvus is an open-source vector database built ...

                                                                                                                                                                                                                                                                                                                                                  您可以按以下方式选择 Milvus 的升级路径:

                                                                                                                                                                                                                                                                                                                                                  -
                                                                                                                                                                                                                                                                                                                                                  - 进行滚动升级](#conduct-a-rolling-upgrade) 从 Milvus v2.2.3 及以后的版本升级到 v2.4.15。
                                                                                                                                                                                                                                                                                                                                                  +
                                                                                                                                                                                                                                                                                                                                                  - 进行滚动升级](#conduct-a-rolling-upgrade) 从 Milvus v2.2.3 及以后的版本升级到 v2.4.17。

                                                                                                                                                                                                                                                                                                                                                  进行滚动升级

                                                                                                                                                                                                                                                                                                                                                • Tipos de métricaTipos de métricas Tipos de índice
                                                                                                                                                                                                                                                                                                                                                  O nome do campo de destino a que se aplica este objeto IndexParam.O nome do campo de destino ao qual se aplica este objeto IndexParam.
                                                                                                                                                                                                                                                                                                                                                  indexName
                                                                                                                                                                                                                                                                                                                                                  o操作符update
                                                                                                                                                                                                                                                                                                                                                  -

                                                                                                                                                                                                                                                                                                                                                  确保 Milvus 实例中的所有部署都处于正常状态后。可以运行以下命令将 Milvus 实例升级到 2.4.15。

                                                                                                                                                                                                                                                                                                                                                  -
                                                                                                                                                                                                                                                                                                                                                  sh rollingUpdate.sh -n default -i my-release -o update -t 2.4.15 -w 'milvusdb/milvus:v2.4.15'
                                                                                                                                                                                                                                                                                                                                                  +

                                                                                                                                                                                                                                                                                                                                                  确保 Milvus 实例中的所有部署都处于正常状态后。可以运行以下命令将 Milvus 实例升级到 2.4.17。

                                                                                                                                                                                                                                                                                                                                                  +
                                                                                                                                                                                                                                                                                                                                                  sh rollingUpdate.sh -n default -i my-release -o update -t 2.4.17 -w 'milvusdb/milvus:v2.4.17'
                                                                                                                                                                                                                                                                                                                                                   
                                                                                                                                                                                                                                                                                                                                                    @@ -150,8 +172,8 @@ zilliztech/milvus 4.1.0 2.3.0 Milvus is an ope >

                                                                                                                                                                                                                                                                                                                                                    要将 Milvus 从 v2.2.3 之前的次版本升级到最新版本,请运行以下命令:

                                                                                                                                                                                                                                                                                                                                                    -
                                                                                                                                                                                                                                                                                                                                                    helm repo update
                                                                                                                                                                                                                                                                                                                                                    -helm upgrade my-release zilliztech/milvus --reuse-values --version=4.1.24 # use the helm chart version here
                                                                                                                                                                                                                                                                                                                                                    +
                                                                                                                                                                                                                                                                                                                                                    helm repo update zilliztech
                                                                                                                                                                                                                                                                                                                                                    +helm upgrade my-release zilliztech/milvus --reset-then-reuse-values --version=4.1.24 # use the helm chart version here
                                                                                                                                                                                                                                                                                                                                                     

                                                                                                                                                                                                                                                                                                                                                    在前面的命令中使用 Helm 图表版本。有关如何获取 Helm 图表版本的详细信息,请参阅检查 Milvus 版本

                                                                                                                                                                                                                                                                                                                                                    迁移元数据

                                                                                                                                                                                                                                                                                                                                                    将您的 Milvus 操作符升级到最新版本后,您有以下选择:

                                                                                                                                                                                                                                                                                                                                                    进行滚动升级

                                                                                                                                                                                                                                                                                                                                                  在上述配置文件中,将spec.components.enableRollingUpdate 设置为true ,将spec.components.image 设置为所需的 Milvus 版本。

                                                                                                                                                                                                                                                                                                                                                  默认情况下,Milvus 会以有序方式对协调器执行滚动升级,即逐个替换协调器 pod 映像。要缩短升级时间,可以考虑将spec.components.imageUpdateMode 设置为all ,这样 Milvus 就会同时替换所有 pod 映像。

                                                                                                                                                                                                                                                                                                                                                  @@ -88,7 +88,7 @@ spec: components: enableRollingUpdate: true imageUpdateMode: all - image: milvusdb/milvus:v2.4.15 + image: milvusdb/milvus:v2.4.17

                                                                                                                                                                                                                                                                                                                                                  可以将spec.components.imageUpdateMode 设置为rollingDowngrade ,让 Milvus 用较低的版本替换协调器 pod 映像。

                                                                                                                                                                                                                                                                                                                                                  apiVersion: milvus.io/v1beta1
                                                                                                                                                                                                                                                                                                                                                  @@ -101,8 +101,8 @@ spec:
                                                                                                                                                                                                                                                                                                                                                       imageUpdateMode: rollingDowngrade
                                                                                                                                                                                                                                                                                                                                                       image: milvusdb/milvus:<some-old-version>
                                                                                                                                                                                                                                                                                                                                                   
                                                                                                                                                                                                                                                                                                                                                  -

                                                                                                                                                                                                                                                                                                                                                  然后将配置保存为 YAML 文件(例如milvusupgrade.yml ),并按如下步骤将此配置文件应用到 Milvus 实例:

                                                                                                                                                                                                                                                                                                                                                  -
                                                                                                                                                                                                                                                                                                                                                  kubectl apply -f milvusupgrade.yml
                                                                                                                                                                                                                                                                                                                                                  +

                                                                                                                                                                                                                                                                                                                                                  然后将配置保存为 YAML 文件(例如milvusupgrade.yml ),并将此配置文件修补到 Milvus 实例中,如下所示:

                                                                                                                                                                                                                                                                                                                                                  +
                                                                                                                                                                                                                                                                                                                                                  kubectl patch -f milvusupgrade.yml
                                                                                                                                                                                                                                                                                                                                                   

                                                                                                                                                                                                                                                                                                                                                  通过更改映像升级 Milvus

                                                                                                                                                                                                                                                                                                                                                  然后运行以下命令执行升级:

                                                                                                                                                                                                                                                                                                                                                  -
                                                                                                                                                                                                                                                                                                                                                  kubectl apply -f milvusupgrade.yaml
                                                                                                                                                                                                                                                                                                                                                  +
                                                                                                                                                                                                                                                                                                                                                  kubectl patch -f milvusupgrade.yaml
                                                                                                                                                                                                                                                                                                                                                   

                                                                                                                                                                                                                                                                                                                                                  迁移元数据

                                                                                                                                                                                                                                                                                                                                                  自 Milvus 2.2.0 起,元数据与以前版本的元数据不兼容。以下示例片段假定从 Milvus 2.1.4 升级到 Milvus 2.4.15。

                                                                                                                                                                                                                                                                                                                                                  -

                                                                                                                                                                                                                                                                                                                                                  1.创建用于元数据迁移的.yaml 文件

                                                                                                                                                                                                                                                                                                                                                  创建元数据迁移文件。下面是一个示例。需要在配置文件中指定namesourceVersiontargetVersion 。下面的示例将name 设置为my-release-upgrade ,将sourceVersion 设置为v2.1.4 ,将targetVersion 设置为v2.4.15 。这意味着您的 Milvus 群集将从 v2.1.4 升级到 v2.4.15。

                                                                                                                                                                                                                                                                                                                                                  +

                                                                                                                                                                                                                                                                                                                                                  自 Milvus 2.2.0 起,元数据与以前版本的元数据不兼容。以下示例片段假定从 Milvus 2.1.4 升级到 Milvus 2.4.17。

                                                                                                                                                                                                                                                                                                                                                  +

                                                                                                                                                                                                                                                                                                                                                  1.创建用于元数据迁移的.yaml 文件

                                                                                                                                                                                                                                                                                                                                                  创建元数据迁移文件。下面是一个示例。需要在配置文件中指定namesourceVersiontargetVersion 。下面的示例将name 设置为my-release-upgrade ,将sourceVersion 设置为v2.1.4 ,将targetVersion 设置为v2.4.17 。这意味着您的 Milvus 群集将从 v2.1.4 升级到 v2.4.17。

                                                                                                                                                                                                                                                                                                                                                  apiVersion: milvus.io/v1beta1
                                                                                                                                                                                                                                                                                                                                                   kind: MilvusUpgrade
                                                                                                                                                                                                                                                                                                                                                   metadata:
                                                                                                                                                                                                                                                                                                                                                  @@ -159,17 +159,17 @@ spec:
                                                                                                                                                                                                                                                                                                                                                       namespace: default
                                                                                                                                                                                                                                                                                                                                                       name: my-release
                                                                                                                                                                                                                                                                                                                                                     sourceVersion: "v2.1.4"
                                                                                                                                                                                                                                                                                                                                                  -  targetVersion: "v2.4.15"
                                                                                                                                                                                                                                                                                                                                                  +  targetVersion: "v2.4.17"
                                                                                                                                                                                                                                                                                                                                                     # below are some omit default values:
                                                                                                                                                                                                                                                                                                                                                  -  # targetImage: "milvusdb/milvus:v2.4.15"
                                                                                                                                                                                                                                                                                                                                                  +  # targetImage: "milvusdb/milvus:v2.4.17"
                                                                                                                                                                                                                                                                                                                                                     # toolImage: "milvusdb/meta-migration:v2.2.0"
                                                                                                                                                                                                                                                                                                                                                     # operation: upgrade
                                                                                                                                                                                                                                                                                                                                                     # rollbackIfFailed: true
                                                                                                                                                                                                                                                                                                                                                     # backupPVC: ""
                                                                                                                                                                                                                                                                                                                                                     # maxRetry: 3
                                                                                                                                                                                                                                                                                                                                                   
                                                                                                                                                                                                                                                                                                                                                  -

                                                                                                                                                                                                                                                                                                                                                  2.应用新配置

                                                                                                                                                                                                                                                                                                                                                  运行以下命令应用新配置。

                                                                                                                                                                                                                                                                                                                                                  -
                                                                                                                                                                                                                                                                                                                                                  $ kubectl apply -f https://github.com/zilliztech/milvus-operator/blob/main/config/samples/beta/milvusupgrade.yaml
                                                                                                                                                                                                                                                                                                                                                  +

                                                                                                                                                                                                                                                                                                                                                  2.2. 应用新配置

                                                                                                                                                                                                                                                                                                                                                  运行以下命令创建新配置。

                                                                                                                                                                                                                                                                                                                                                  +
                                                                                                                                                                                                                                                                                                                                                  $ kubectl create -f https://github.com/zilliztech/milvus-operator/blob/main/config/samples/beta/milvusupgrade.yaml
                                                                                                                                                                                                                                                                                                                                                   

                                                                                                                                                                                                                                                                                                                                                  3.3. 检查元数据迁移状态

                                                                                                                                                                                                                                                                                                                                                  运行以下命令检查元数据迁移的状态。

                                                                                                                                                                                                                                                                                                                                                  kubectl describe milvus release-name
                                                                                                                                                                                                                                                                                                                                                  diff --git a/localization/v2.4.x/site/zh/adminGuide/upgrade_milvus_standalone-docker.json b/localization/v2.4.x/site/zh/adminGuide/upgrade_milvus_standalone-docker.json
                                                                                                                                                                                                                                                                                                                                                  index 9c0ed1cf5..d58f9cb51 100644
                                                                                                                                                                                                                                                                                                                                                  --- a/localization/v2.4.x/site/zh/adminGuide/upgrade_milvus_standalone-docker.json
                                                                                                                                                                                                                                                                                                                                                  +++ b/localization/v2.4.x/site/zh/adminGuide/upgrade_milvus_standalone-docker.json
                                                                                                                                                                                                                                                                                                                                                  @@ -1 +1 @@
                                                                                                                                                                                                                                                                                                                                                  -{"codeList":["...\nstandalone:\n  container_name: milvus-standalone\n  image: milvusdb/milvus:v2.4.15\n","docker compose down\ndocker compose up -d\n","docker stop \n","# migration.yaml\ncmd:\n  # Option: run/backup/rollback\n  type: run\n  runWithBackup: true\nconfig:\n  sourceVersion: 2.1.4   # Specify your milvus version\n  targetVersion: 2.4.15\n  backupFilePath: /tmp/migration.bak\nmetastore:\n  type: etcd\netcd:\n  endpoints:\n    - milvus-etcd:2379  # Use the etcd container name\n  rootPath: by-dev # The root path where data is stored in etcd\n  metaSubPath: meta\n  kvSubPath: kv\n","# Suppose your docker-compose run with the default milvus network,\n# and you put migration.yaml in the same directory with docker-compose.yaml.\ndocker run --rm -it --network milvus -v $(pwd)/migration.yaml:/milvus/configs/migration.yaml milvusdb/meta-migration:v2.2.0 /milvus/bin/meta-migration -config=/milvus/configs/migration.yaml\n","// Run the following only after update the milvus image tag in the docker-compose.yaml\ndocker compose down\ndocker compose up -d\n"],"headingContent":"Upgrade Milvus Standalone with Docker Compose","anchorList":[{"label":"使用 Docker Compose 升级 Milvus 单机版","href":"Upgrade-Milvus-Standalone-with-Docker-Compose","type":1,"isActive":false},{"label":"通过更改映像升级 Milvus","href":"Upgrade-Milvus-by-changing-its-image","type":2,"isActive":false},{"label":"迁移元数据","href":"Migrate-the-metadata","type":2,"isActive":false},{"label":"下一步","href":"Whats-next","type":2,"isActive":false}]}
                                                                                                                                                                                                                                                                                                                                                  \ No newline at end of file
                                                                                                                                                                                                                                                                                                                                                  +{"codeList":["...\nstandalone:\n  container_name: milvus-standalone\n  image: milvusdb/milvus:v2.4.17\n","docker compose down\ndocker compose up -d\n","docker stop \n","# migration.yaml\ncmd:\n  # Option: run/backup/rollback\n  type: run\n  runWithBackup: true\nconfig:\n  sourceVersion: 2.1.4   # Specify your milvus version\n  targetVersion: 2.4.17\n  backupFilePath: /tmp/migration.bak\nmetastore:\n  type: etcd\netcd:\n  endpoints:\n    - milvus-etcd:2379  # Use the etcd container name\n  rootPath: by-dev # The root path where data is stored in etcd\n  metaSubPath: meta\n  kvSubPath: kv\n","# Suppose your docker-compose run with the default milvus network,\n# and you put migration.yaml in the same directory with docker-compose.yaml.\ndocker run --rm -it --network milvus -v $(pwd)/migration.yaml:/milvus/configs/migration.yaml milvusdb/meta-migration:v2.2.0 /milvus/bin/meta-migration -config=/milvus/configs/migration.yaml\n","// Run the following only after update the milvus image tag in the docker-compose.yaml\ndocker compose down\ndocker compose up -d\n"],"headingContent":"Upgrade Milvus Standalone with Docker Compose","anchorList":[{"label":"使用 Docker Compose 升级 Milvus 单机版","href":"Upgrade-Milvus-Standalone-with-Docker-Compose","type":1,"isActive":false},{"label":"通过更改映像升级 Milvus","href":"Upgrade-Milvus-by-changing-its-image","type":2,"isActive":false},{"label":"迁移元数据","href":"Migrate-the-metadata","type":2,"isActive":false},{"label":"下一步","href":"Whats-next","type":2,"isActive":false}]}
                                                                                                                                                                                                                                                                                                                                                  \ No newline at end of file
                                                                                                                                                                                                                                                                                                                                                  diff --git a/localization/v2.4.x/site/zh/adminGuide/upgrade_milvus_standalone-docker.md b/localization/v2.4.x/site/zh/adminGuide/upgrade_milvus_standalone-docker.md
                                                                                                                                                                                                                                                                                                                                                  index f1c71d694..b900202c5 100644
                                                                                                                                                                                                                                                                                                                                                  --- a/localization/v2.4.x/site/zh/adminGuide/upgrade_milvus_standalone-docker.md
                                                                                                                                                                                                                                                                                                                                                  +++ b/localization/v2.4.x/site/zh/adminGuide/upgrade_milvus_standalone-docker.md
                                                                                                                                                                                                                                                                                                                                                  @@ -24,7 +24,7 @@ title: 使用 Docker Compose 升级 Milvus 单机版
                                                                                                                                                                                                                                                                                                                                                           >
                                                                                                                                                                                                                                                                                                                                                         
                                                                                                                                                                                                                                                                                                                                                       

                                                                                                                                                                                                                                                                                                                                                  本主题介绍如何使用 Docker Compose 升级 Milvus。

                                                                                                                                                                                                                                                                                                                                                  -

                                                                                                                                                                                                                                                                                                                                                  在正常情况下,你可以通过更改映像来升级 Milvus。不过,在从 v2.1.x 升级到 v2.4.15 之前,你需要迁移元数据

                                                                                                                                                                                                                                                                                                                                                  +

                                                                                                                                                                                                                                                                                                                                                  在正常情况下,你可以通过更改映像来升级 Milvus。不过,在从 v2.1.x 升级到 v2.4.17 之前,你需要迁移元数据

                                                                                                                                                                                                                                                                                                                                                  出于安全考虑,Milvus 在发布 v2.2.5 时将其 MinIO 升级为 RELEASE.2023-03-20T20-16-18Z。在使用 Docker Compose 从以前安装的 Milvus Standalone 版本升级之前,应创建一个 Single-Node Single-Drive MinIO 部署,并将现有 MinIO 设置和内容迁移到新部署。有关详细信息,请参阅本指南

                                                                                                                                                                                                                                                                                                                                                  @@ -49,7 +49,7 @@ title: 使用 Docker Compose 升级 Milvus 单机版
                                                                                                                                                                                                                                                                                                                                                  ...
                                                                                                                                                                                                                                                                                                                                                   standalone:
                                                                                                                                                                                                                                                                                                                                                     container_name: milvus-standalone
                                                                                                                                                                                                                                                                                                                                                  -  image: milvusdb/milvus:v2.4.15
                                                                                                                                                                                                                                                                                                                                                  +  image: milvusdb/milvus:v2.4.17
                                                                                                                                                                                                                                                                                                                                                   
                                                                                                                                                                                                                                                                                                                                                • 运行以下命令执行升级。

                                                                                                                                                                                                                                                                                                                                                  docker compose down
                                                                                                                                                                                                                                                                                                                                                  @@ -83,7 +83,7 @@ cmd:
                                                                                                                                                                                                                                                                                                                                                     runWithBackup: true
                                                                                                                                                                                                                                                                                                                                                   config:
                                                                                                                                                                                                                                                                                                                                                     sourceVersion: 2.1.4   # Specify your milvus version
                                                                                                                                                                                                                                                                                                                                                  -  targetVersion: 2.4.15
                                                                                                                                                                                                                                                                                                                                                  +  targetVersion: 2.4.17
                                                                                                                                                                                                                                                                                                                                                     backupFilePath: /tmp/migration.bak
                                                                                                                                                                                                                                                                                                                                                   metastore:
                                                                                                                                                                                                                                                                                                                                                     type: etcd
                                                                                                                                                                                                                                                                                                                                                  diff --git a/localization/v2.4.x/site/zh/adminGuide/upgrade_milvus_standalone-helm.json b/localization/v2.4.x/site/zh/adminGuide/upgrade_milvus_standalone-helm.json
                                                                                                                                                                                                                                                                                                                                                  index 9fd3b4818..ef7dee566 100644
                                                                                                                                                                                                                                                                                                                                                  --- a/localization/v2.4.x/site/zh/adminGuide/upgrade_milvus_standalone-helm.json
                                                                                                                                                                                                                                                                                                                                                  +++ b/localization/v2.4.x/site/zh/adminGuide/upgrade_milvus_standalone-helm.json
                                                                                                                                                                                                                                                                                                                                                  @@ -1 +1 @@
                                                                                                                                                                                                                                                                                                                                                  -{"codeList":["$ helm repo update\n$ helm search repo zilliztech/milvus --versions\n","helm repo add zilliztech https://zilliztech.github.io/milvus-helm\nhelm repo update\n# upgrade existing helm release\nhelm upgrade my-release zilliztech/milvus\n","NAME                    CHART VERSION   APP VERSION             DESCRIPTION                                       \nzilliztech/milvus       4.1.34          2.4.5                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.33          2.4.4                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.32          2.4.3                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.31          2.4.1                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.30          2.4.1                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.29          2.4.0                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.24          2.3.11                  Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.23          2.3.10                  Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.22          2.3.10                  Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.21          2.3.10                  Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.20          2.3.10                  Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.18          2.3.10                  Milvus is an open-source vector database built ... \nzilliztech/milvus       4.1.18          2.3.9                   Milvus is an open-source vector database built ...                                       \nzilliztech/milvus       4.1.17          2.3.8                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.16          2.3.7                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.15          2.3.5                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.14          2.3.6                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.13          2.3.5                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.12          2.3.5                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.11          2.3.4                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.10          2.3.3                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.9           2.3.3                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.8           2.3.2                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.7           2.3.2                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.6           2.3.1                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.5           2.3.1                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.4           2.3.1                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.3           2.3.1                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.2           2.3.1                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.1           2.3.0                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.0           2.3.0                   Milvus is an open-source vector database built ...\n","sh rollingUpdate.sh -n default -i my-release -o update -t 2.4.15 -w 'milvusdb/milvus:v2.4.15'\n","helm repo update\nhelm upgrade my-release milvus/milvus --reuse-values --version=4.1.24 # use the helm chart version here\n","NAME                NAMESPACE   REVISION    UPDATED                                 STATUS      CHART           APP VERSION     \nmy-release          default     1           2022-11-21 15:41:25.51539 +0800 CST     deployed    milvus-3.2.18   2.1.4\n","NAME                                            READY   STATUS    RESTARTS   AGE\nmy-release-etcd-0                               1/1     Running   0          84s\nmy-release-milvus-standalone-75c599fffc-6rwlj   1/1     Running   0          84s\nmy-release-minio-744dd9586f-qngzv               1/1     Running   0          84s\n","$ kubectl get pods my-release-milvus-proxy-6c548f787f-scspp -o=jsonpath='{$.spec.containers[0].image}'\n# milvusdb/milvus:v2.1.4\n","./migrate.sh -i my-release -s 2.1.4 -t 2.4.15\n","./migrate.sh -i my-release -n milvus -s 2.1.4 -t 2.4.15\n","./migrate.sh -i my-release -n milvus -s 2.1.4 -t 2.4.15 -r by-dev\n","./migrate.sh -i my-release -n milvus -s 2.1.4 -t 2.4.15 -r by-dev -w milvusdb/milvus:v2.4.15\n","./migrate.sh -i my-release -n milvus -s 2.1.4 -t 2.4.15 -w milvusdb/milvus:v2.4.15 -d true\n","./migrate.sh -i my-release -n milvus -s 2.1.4 -t 2.4.15 -r by-dev -o rollback -w milvusdb/milvus:v2.1.1\n./migrate.sh -i my-release -n milvus -s 2.1.4 -t 2.4.15 -r by-dev -o migrate -w milvusdb/milvus:v2.4.15\n"],"headingContent":"Upgrade Milvus Standalone with Helm Chart","anchorList":[{"label":"使用 Helm 图表升级 Milvus 单机版","href":"Upgrade-Milvus-Standalone-with-Helm-Chart","type":1,"isActive":false},{"label":"检查 Milvus 版本","href":"Check-the-Milvus-version","type":2,"isActive":false},{"label":"进行滚动升级","href":"Conduct-a-rolling-upgrade","type":2,"isActive":false},{"label":"使用 Helm 升级 Milvus","href":"Upgrade-Milvus-using-Helm","type":2,"isActive":false},{"label":"迁移元数据","href":"Migrate-the-metadata","type":2,"isActive":false}]}
                                                                                                                                                                                                                                                                                                                                                  \ No newline at end of file
                                                                                                                                                                                                                                                                                                                                                  +{"codeList":["$ helm repo update\n$ helm search repo zilliztech/milvus --versions\n","helm repo add zilliztech https://zilliztech.github.io/milvus-helm\nhelm repo update zilliztech\n# upgrade existing helm release\nhelm upgrade my-release zilliztech/milvus --reset-then-reuse-values\n","NAME                    CHART VERSION   APP VERSION             DESCRIPTION                                       \nzilliztech/milvus       4.1.34          2.4.5                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.33          2.4.4                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.32          2.4.3                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.31          2.4.1                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.30          2.4.1                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.29          2.4.0                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.24          2.3.11                  Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.23          2.3.10                  Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.22          2.3.10                  Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.21          2.3.10                  Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.20          2.3.10                  Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.18          2.3.10                  Milvus is an open-source vector database built ... \nzilliztech/milvus       4.1.18          2.3.9                   Milvus is an open-source vector database built ...                                       \nzilliztech/milvus       4.1.17          2.3.8                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.16          2.3.7                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.15          2.3.5                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.14          2.3.6                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.13          2.3.5                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.12          2.3.5                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.11          2.3.4                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.10          2.3.3                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.9           2.3.3                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.8           2.3.2                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.7           2.3.2                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.6           2.3.1                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.5           2.3.1                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.4           2.3.1                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.3           2.3.1                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.2           2.3.1                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.1           2.3.0                   Milvus is an open-source vector database built ...\nzilliztech/milvus       4.1.0           2.3.0                   Milvus is an open-source vector database built ...\n","sh rollingUpdate.sh -n default -i my-release -o update -t 2.4.17 -w 'milvusdb/milvus:v2.4.17'\n","helm repo update\nhelm upgrade my-release milvus/milvus --reset-then-reuse-values --version=4.1.24 # use the helm chart version here\n","NAME                NAMESPACE   REVISION    UPDATED                                 STATUS      CHART           APP VERSION     \nmy-release          default     1           2022-11-21 15:41:25.51539 +0800 CST     deployed    milvus-3.2.18   2.1.4\n","NAME                                            READY   STATUS    RESTARTS   AGE\nmy-release-etcd-0                               1/1     Running   0          84s\nmy-release-milvus-standalone-75c599fffc-6rwlj   1/1     Running   0          84s\nmy-release-minio-744dd9586f-qngzv               1/1     Running   0          84s\n","$ kubectl get pods my-release-milvus-proxy-6c548f787f-scspp -o=jsonpath='{$.spec.containers[0].image}'\n# milvusdb/milvus:v2.1.4\n","./migrate.sh -i my-release -s 2.1.4 -t 2.4.17\n","./migrate.sh -i my-release -n milvus -s 2.1.4 -t 2.4.17\n","./migrate.sh -i my-release -n milvus -s 2.1.4 -t 2.4.17 -r by-dev\n","./migrate.sh -i my-release -n milvus -s 2.1.4 -t 2.4.17 -r by-dev -w milvusdb/milvus:v2.4.17\n","./migrate.sh -i my-release -n milvus -s 2.1.4 -t 2.4.17 -w milvusdb/milvus:v2.4.17 -d true\n","./migrate.sh -i my-release -n milvus -s 2.1.4 -t 2.4.17 -r by-dev -o rollback -w milvusdb/milvus:v2.1.1\n./migrate.sh -i my-release -n milvus -s 2.1.4 -t 2.4.17 -r by-dev -o migrate -w milvusdb/milvus:v2.4.17\n"],"headingContent":"Upgrade Milvus Standalone with Helm Chart","anchorList":[{"label":"使用 Helm 图表升级 Milvus 单机版","href":"Upgrade-Milvus-Standalone-with-Helm-Chart","type":1,"isActive":false},{"label":"前提条件","href":"Prerequisites","type":2,"isActive":false},{"label":"检查 Milvus 版本","href":"Check-the-Milvus-version","type":2,"isActive":false},{"label":"进行滚动升级","href":"Conduct-a-rolling-upgrade","type":2,"isActive":false},{"label":"使用 Helm 升级 Milvus","href":"Upgrade-Milvus-using-Helm","type":2,"isActive":false},{"label":"迁移元数据","href":"Migrate-the-metadata","type":2,"isActive":false}]}
                                                                                                                                                                                                                                                                                                                                                  \ No newline at end of file
                                                                                                                                                                                                                                                                                                                                                  diff --git a/localization/v2.4.x/site/zh/adminGuide/upgrade_milvus_standalone-helm.md b/localization/v2.4.x/site/zh/adminGuide/upgrade_milvus_standalone-helm.md
                                                                                                                                                                                                                                                                                                                                                  index 3a7047eb8..2bd0a108d 100644
                                                                                                                                                                                                                                                                                                                                                  --- a/localization/v2.4.x/site/zh/adminGuide/upgrade_milvus_standalone-helm.md
                                                                                                                                                                                                                                                                                                                                                  +++ b/localization/v2.4.x/site/zh/adminGuide/upgrade_milvus_standalone-helm.md
                                                                                                                                                                                                                                                                                                                                                  @@ -24,6 +24,28 @@ title: 使用 Helm 图表升级 Milvus 单机版
                                                                                                                                                                                                                                                                                                                                                           >
                                                                                                                                                                                                                                                                                                                                                         
                                                                                                                                                                                                                                                                                                                                                       

                                                                                                                                                                                                                                                                                                                                                  本指南介绍如何使用 Milvus Helm 图表升级 Milvus 单机版。

                                                                                                                                                                                                                                                                                                                                                  +

                                                                                                                                                                                                                                                                                                                                                  前提条件

                                                                                                                                                                                                                                                                                                                                                    +
                                                                                                                                                                                                                                                                                                                                                  • Helm 版本 >= 3.14.0
                                                                                                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                                                                                                  • Kubernetes 版本 >= 1.20.0
                                                                                                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                                                                                                  +
                                                                                                                                                                                                                                                                                                                                                  +

                                                                                                                                                                                                                                                                                                                                                  自 Milvus Helm 图表 4.2.21 版起,我们引入了 pulsar-v3.x 图表作为依赖。为了向后兼容,请将 Helm 升级到 v3.14 或更高版本,并确保在使用helm upgrade 时添加--reset-then-reuse-values 选项。

                                                                                                                                                                                                                                                                                                                                                  +

                                                                                                                                                                                                                                                                                                                                                  检查 Milvus 版本

                                                                                                                                                                                                                                                                                                                                                  -

                                                                                                                                                                                                                                                                                                                                                  位于https://milvus-io.github.io/milvus-helm/ 的 Milvus Helm 图表 repo 已归档,你可以从https://zilliztech.github.io/milvus-helm/ 获取进一步更新,具体如下:

                                                                                                                                                                                                                                                                                                                                                  +

                                                                                                                                                                                                                                                                                                                                                  https://milvus-io.github.io/milvus-helm/ 上的 Milvus Helm Charts repo 已归档,你可以从https://zilliztech.github.io/milvus-helm/ 获取进一步更新,具体如下:

                                                                                                                                                                                                                                                                                                                                                  helm repo add zilliztech https://zilliztech.github.io/milvus-helm
                                                                                                                                                                                                                                                                                                                                                  -helm repo update
                                                                                                                                                                                                                                                                                                                                                  +helm repo update zilliztech
                                                                                                                                                                                                                                                                                                                                                   # upgrade existing helm release
                                                                                                                                                                                                                                                                                                                                                  -helm upgrade my-release zilliztech/milvus
                                                                                                                                                                                                                                                                                                                                                  +helm upgrade my-release zilliztech/milvus --reset-then-reuse-values
                                                                                                                                                                                                                                                                                                                                                   

                                                                                                                                                                                                                                                                                                                                                  归档软件源仍可用于 4.0.31 之前的图表。对于后续版本,请使用新版本库。

                                                                                                                                                                                                                                                                                                                                                  @@ -86,10 +108,10 @@ zilliztech/milvus 4.1.1 2.3.0 Milvus is an ope zilliztech/milvus 4.1.0 2.3.0 Milvus is an open-source vector database built ...
                                                                                                                                                                                                                                                                                                                                                • 您可以按以下方式选择 Milvus 的升级路径:

                                                                                                                                                                                                                                                                                                                                                  -
                                                                                                                                                                                                                                                                                                                                                  - 进行滚动升级](#conduct-a-rolling-upgrade) 从 Milvus v2.2.3 及以后的版本升级到 v2.4.15。
                                                                                                                                                                                                                                                                                                                                                  +
                                                                                                                                                                                                                                                                                                                                                  - 进行滚动升级](#conduct-a-rolling-upgrade) 从 Milvus v2.2.3 及以后的版本升级到 v2.4.17。

                                                                                                                                                                                                                                                                                                                                                  进行滚动升级

                                                                                                                                                                                                                                                                                                                                                    @@ -152,7 +174,7 @@ zilliztech/milvus 4.1.0 2.3.0 Milvus is an ope

                                                                                                                                                                                                                                                                                                                                                    要将 Milvus 从 v2.2.3 之前的次版本升级到最新版本,请运行以下命令:

                                                                                                                                                                                                                                                                                                                                                    helm repo update
                                                                                                                                                                                                                                                                                                                                                    -helm upgrade my-release milvus/milvus --reuse-values --version=4.1.24 # use the helm chart version here
                                                                                                                                                                                                                                                                                                                                                    +helm upgrade my-release milvus/milvus --reset-then-reuse-values --version=4.1.24 # use the helm chart version here
                                                                                                                                                                                                                                                                                                                                                     

                                                                                                                                                                                                                                                                                                                                                    在前面的命令中使用 Helm 图表版本。有关如何获取 Helm 图表版本的详细信息,请参阅检查 Milvus 版本

                                                                                                                                                                                                                                                                                                                                                    迁移元数据

                                                                                                                                                                                                                                                                                                                                                  -

                                                                                                                                                                                                                                                                                                                                                  2.将 Milvus 从 2.1.x 版升级到 2.4.15 版

                                                                                                                                                                                                                                                                                                                                                  以下命令假定你将 Milvus 从 v2.1.4 升级到 2.4.15。请将它们更改为适合你需要的版本。

                                                                                                                                                                                                                                                                                                                                                  +

                                                                                                                                                                                                                                                                                                                                                  2.将 Milvus 从 2.1.x 版升级到 2.4.17 版

                                                                                                                                                                                                                                                                                                                                                  以下命令假定你将 Milvus 从 v2.1.4 升级到 2.4.17。请将它们更改为适合你需要的版本。

                                                                                                                                                                                                                                                                                                                                                  1. 指定 Milvus 实例名称、源 Milvus 版本和目标 Milvus 版本。

                                                                                                                                                                                                                                                                                                                                                    -
                                                                                                                                                                                                                                                                                                                                                    ./migrate.sh -i my-release -s 2.1.4 -t 2.4.15
                                                                                                                                                                                                                                                                                                                                                    +
                                                                                                                                                                                                                                                                                                                                                    ./migrate.sh -i my-release -s 2.1.4 -t 2.4.17
                                                                                                                                                                                                                                                                                                                                                     
                                                                                                                                                                                                                                                                                                                                                  2. -
                                                                                                                                                                                                                                                                                                                                                  3. 如果你的 Milvus 没有安装在默认的 K8s 命名空间,请用-n 指定命名空间。

                                                                                                                                                                                                                                                                                                                                                    -
                                                                                                                                                                                                                                                                                                                                                    ./migrate.sh -i my-release -n milvus -s 2.1.4 -t 2.4.15
                                                                                                                                                                                                                                                                                                                                                    +
                                                                                                                                                                                                                                                                                                                                                  4. 如果 Milvus 没有安装在默认的 K8s 命名空间,请用-n 指定命名空间。

                                                                                                                                                                                                                                                                                                                                                    +
                                                                                                                                                                                                                                                                                                                                                    ./migrate.sh -i my-release -n milvus -s 2.1.4 -t 2.4.17
                                                                                                                                                                                                                                                                                                                                                     
                                                                                                                                                                                                                                                                                                                                                  5. 如果 Milvus 安装的是自定义rootpath ,请用-r 指定根路径。

                                                                                                                                                                                                                                                                                                                                                    -
                                                                                                                                                                                                                                                                                                                                                    ./migrate.sh -i my-release -n milvus -s 2.1.4 -t 2.4.15 -r by-dev
                                                                                                                                                                                                                                                                                                                                                    +
                                                                                                                                                                                                                                                                                                                                                    ./migrate.sh -i my-release -n milvus -s 2.1.4 -t 2.4.17 -r by-dev
                                                                                                                                                                                                                                                                                                                                                     
                                                                                                                                                                                                                                                                                                                                                  6. 如果你的 Milvus 安装的是自定义image ,请用-w 指定图片标签。

                                                                                                                                                                                                                                                                                                                                                    -
                                                                                                                                                                                                                                                                                                                                                    ./migrate.sh -i my-release -n milvus -s 2.1.4 -t 2.4.15 -r by-dev -w milvusdb/milvus:v2.4.15
                                                                                                                                                                                                                                                                                                                                                    +
                                                                                                                                                                                                                                                                                                                                                    ./migrate.sh -i my-release -n milvus -s 2.1.4 -t 2.4.17 -r by-dev -w milvusdb/milvus:v2.4.17
                                                                                                                                                                                                                                                                                                                                                     
                                                                                                                                                                                                                                                                                                                                                  7. 如果想在迁移完成后自动移除迁移 pod,请设置-d true

                                                                                                                                                                                                                                                                                                                                                    -
                                                                                                                                                                                                                                                                                                                                                    ./migrate.sh -i my-release -n milvus -s 2.1.4 -t 2.4.15 -w milvusdb/milvus:v2.4.15 -d true
                                                                                                                                                                                                                                                                                                                                                    +
                                                                                                                                                                                                                                                                                                                                                    ./migrate.sh -i my-release -n milvus -s 2.1.4 -t 2.4.17 -w milvusdb/milvus:v2.4.17 -d true
                                                                                                                                                                                                                                                                                                                                                     
                                                                                                                                                                                                                                                                                                                                                  8. 如果迁移失败,请回滚并重新迁移。

                                                                                                                                                                                                                                                                                                                                                    -
                                                                                                                                                                                                                                                                                                                                                    ./migrate.sh -i my-release -n milvus -s 2.1.4 -t 2.4.15 -r by-dev -o rollback -w milvusdb/milvus:v2.1.1
                                                                                                                                                                                                                                                                                                                                                    -./migrate.sh -i my-release -n milvus -s 2.1.4 -t 2.4.15 -r by-dev -o migrate -w milvusdb/milvus:v2.4.15
                                                                                                                                                                                                                                                                                                                                                    +
                                                                                                                                                                                                                                                                                                                                                    ./migrate.sh -i my-release -n milvus -s 2.1.4 -t 2.4.17 -r by-dev -o rollback -w milvusdb/milvus:v2.1.1
                                                                                                                                                                                                                                                                                                                                                    +./migrate.sh -i my-release -n milvus -s 2.1.4 -t 2.4.17 -r by-dev -o migrate -w milvusdb/milvus:v2.4.17
                                                                                                                                                                                                                                                                                                                                                     
                                                                                                                                                                                                                                                                                                                                                  diff --git a/localization/v2.4.x/site/zh/adminGuide/upgrade_milvus_standalone-operator.json b/localization/v2.4.x/site/zh/adminGuide/upgrade_milvus_standalone-operator.json index 35a8535d8..2f0d5756b 100644 --- a/localization/v2.4.x/site/zh/adminGuide/upgrade_milvus_standalone-operator.json +++ b/localization/v2.4.x/site/zh/adminGuide/upgrade_milvus_standalone-operator.json @@ -1 +1 @@ -{"codeList":["helm repo add zilliztech-milvus-operator https://zilliztech.github.io/milvus-operator/\nhelm repo update zilliztech-milvus-operator\nhelm -n milvus-operator upgrade milvus-operator zilliztech-milvus-operator/milvus-operator\n","apiVersion: milvus.io/v1beta1\nkind: Milvus\nmetadata:\n name: my-release\nspec:\n components:\n enableRollingUpdate: true\n imageUpdateMode: rollingUpgrade # Default value, can be omitted\n image: milvusdb/milvus:v2.4.15\n","apiVersion: milvus.io/v1beta1\nkind: Milvus\nmetadata:\n name: my-release\nspec:\n components:\n enableRollingUpdate: true\n imageUpdateMode: all\n image: milvusdb/milvus:v2.4.15\n","apiVersion: milvus.io/v1beta1\nkind: Milvus\nmetadata:\n name: my-release\nspec:\n components:\n enableRollingUpdate: true\n imageUpdateMode: rollingDowngrade\n image: milvusdb/milvus:\n","kubectl apply -f milvusupgrade.yml\n","apiVersion: milvus.io/v1beta1\nkind: Milvus\nmetadata:\n name: my-release\nlabels:\n app: milvus\nspec:\n # Omit other fields ...\n components:\n image: milvusdb/milvus:v2.4.15\n","kubectl apply -f milvusupgrade.yaml\n","apiVersion: milvus.io/v1beta1\nkind: MilvusUpgrade\nmetadata:\n name: my-release-upgrade\nspec:\n milvus:\n namespace: default\n name: my-release\n sourceVersion: \"v2.1.4\"\n targetVersion: \"v2.4.15\"\n # below are some omit default values:\n # targetImage: \"milvusdb/milvus:v2.4.15\"\n # toolImage: \"milvusdb/meta-migration:v2.2.0\"\n # operation: upgrade\n # rollbackIfFailed: true\n # backupPVC: \"\"\n # maxRetry: 3\n","$ kubectl apply -f https://raw.githubusercontent.com/zilliztech/milvus-operator/main/config/samples/milvusupgrade.yaml\n","kubectl describe milvus release-name\n"],"headingContent":"Upgrade Milvus Standalone with Milvus Operator","anchorList":[{"label":"使用 Milvus Operator 升级 Milvus Standalone","href":"Upgrade-Milvus-Standalone-with-Milvus-Operator","type":1,"isActive":false},{"label":"升级 Milvus 操作符","href":"Upgrade-your-Milvus-operator","type":2,"isActive":false},{"label":"进行滚动升级","href":"Conduct-a-rolling-upgrade","type":2,"isActive":false},{"label":"通过更改映像升级 Milvus","href":"Upgrade-Milvus-by-changing-its-image","type":2,"isActive":false},{"label":"迁移元数据","href":"Migrate-the-metadata","type":2,"isActive":false}]} \ No newline at end of file +{"codeList":["helm repo add zilliztech-milvus-operator https://zilliztech.github.io/milvus-operator/\nhelm repo update zilliztech-milvus-operator\nhelm -n milvus-operator upgrade milvus-operator zilliztech-milvus-operator/milvus-operator\n","apiVersion: milvus.io/v1beta1\nkind: Milvus\nmetadata:\n name: my-release\nspec:\n components:\n enableRollingUpdate: true\n imageUpdateMode: rollingUpgrade # Default value, can be omitted\n image: milvusdb/milvus:v2.4.17\n","apiVersion: milvus.io/v1beta1\nkind: Milvus\nmetadata:\n name: my-release\nspec:\n components:\n enableRollingUpdate: true\n imageUpdateMode: all\n image: milvusdb/milvus:v2.4.17\n","apiVersion: milvus.io/v1beta1\nkind: Milvus\nmetadata:\n name: my-release\nspec:\n components:\n enableRollingUpdate: true\n imageUpdateMode: rollingDowngrade\n image: milvusdb/milvus:\n","kubectl patch -f milvusupgrade.yml\n","apiVersion: milvus.io/v1beta1\nkind: Milvus\nmetadata:\n name: my-release\nlabels:\n app: milvus\nspec:\n # Omit other fields ...\n components:\n image: milvusdb/milvus:v2.4.17\n","kubectl patch -f milvusupgrade.yaml\n","apiVersion: milvus.io/v1beta1\nkind: MilvusUpgrade\nmetadata:\n name: my-release-upgrade\nspec:\n milvus:\n namespace: default\n name: my-release\n sourceVersion: \"v2.1.4\"\n targetVersion: \"v2.4.17\"\n # below are some omit default values:\n # targetImage: \"milvusdb/milvus:v2.4.17\"\n # toolImage: \"milvusdb/meta-migration:v2.2.0\"\n # operation: upgrade\n # rollbackIfFailed: true\n # backupPVC: \"\"\n # maxRetry: 3\n","$ kubectl create -f https://raw.githubusercontent.com/zilliztech/milvus-operator/main/config/samples/milvusupgrade.yaml\n","kubectl describe milvus release-name\n"],"headingContent":"Upgrade Milvus Standalone with Milvus Operator","anchorList":[{"label":"使用 Milvus Operator 升级 Milvus Standalone","href":"Upgrade-Milvus-Standalone-with-Milvus-Operator","type":1,"isActive":false},{"label":"升级 Milvus 操作符","href":"Upgrade-your-Milvus-operator","type":2,"isActive":false},{"label":"进行滚动升级","href":"Conduct-a-rolling-upgrade","type":2,"isActive":false},{"label":"通过更改映像升级 Milvus","href":"Upgrade-Milvus-by-changing-its-image","type":2,"isActive":false},{"label":"迁移元数据","href":"Migrate-the-metadata","type":2,"isActive":false}]} \ No newline at end of file diff --git a/localization/v2.4.x/site/zh/adminGuide/upgrade_milvus_standalone-operator.md b/localization/v2.4.x/site/zh/adminGuide/upgrade_milvus_standalone-operator.md index 89be344da..92445b90f 100644 --- a/localization/v2.4.x/site/zh/adminGuide/upgrade_milvus_standalone-operator.md +++ b/localization/v2.4.x/site/zh/adminGuide/upgrade_milvus_standalone-operator.md @@ -46,9 +46,9 @@ helm -n milvus-operator upgrade milvus-

                                                                                                                                                                                                                                                                                                                                                  将 Milvus 操作符升级到最新版本后,您有以下选择:

                                                                                                                                                                                                                                                                                                                                                  进行滚动升级

                                                                                                                                                                                                                                                                                                                                                  自 Milvus 2.2.3 版起,你可以将 Milvus 协调器配置为主动待机模式工作,并为它们启用滚动升级功能,这样 Milvus 就能在协调器升级期间响应传入的请求。在以前的版本中,升级时需要移除协调器,然后再创建协调器,这可能会导致服务出现一定的停机时间。

                                                                                                                                                                                                                                                                                                                                                  +

                                                                                                                                                                                                                                                                                                                                                  自 Milvus 2.2.3 版起,你可以将 Milvus 协调器配置为主动待机模式,并为它们启用滚动升级功能,这样 Milvus 就能在协调器升级期间响应传入的请求。在以前的版本中,升级时需要移除协调器,然后再创建协调器,这可能会导致服务出现一定的停机时间。

                                                                                                                                                                                                                                                                                                                                                  基于 Kubernetes 提供的滚动更新功能,Milvus 操作符会根据部署的依赖关系强制执行有序更新。此外,Milvus 还实施了一种机制,确保其组件在升级期间与依赖于它们的组件保持兼容,从而大大减少了潜在的服务停机时间。

                                                                                                                                                                                                                                                                                                                                                  滚动升级功能默认为禁用。你需要通过配置文件明确启用它。

                                                                                                                                                                                                                                                                                                                                                  apiVersion: milvus.io/v1beta1
                                                                                                                                                                                                                                                                                                                                                  @@ -76,7 +76,7 @@ spec:
                                                                                                                                                                                                                                                                                                                                                     components:
                                                                                                                                                                                                                                                                                                                                                       enableRollingUpdate: true
                                                                                                                                                                                                                                                                                                                                                       imageUpdateMode: rollingUpgrade # Default value, can be omitted
                                                                                                                                                                                                                                                                                                                                                  -    image: milvusdb/milvus:v2.4.15
                                                                                                                                                                                                                                                                                                                                                  +    image: milvusdb/milvus:v2.4.17
                                                                                                                                                                                                                                                                                                                                                   

                                                                                                                                                                                                                                                                                                                                                  在上述配置文件中,将spec.components.enableRollingUpdate 设置为true ,将spec.components.image 设置为所需的 Milvus 版本。

                                                                                                                                                                                                                                                                                                                                                  默认情况下,Milvus 会以有序的方式对协调器进行滚动升级,即逐个替换协调器 pod 映像。要缩短升级时间,可以考虑将spec.components.imageUpdateMode 设置为all ,这样 Milvus 就会同时替换所有 pod 映像。

                                                                                                                                                                                                                                                                                                                                                  @@ -88,7 +88,7 @@ spec: components: enableRollingUpdate: true imageUpdateMode: all - image: milvusdb/milvus:v2.4.15 + image: milvusdb/milvus:v2.4.17

                                                                                                                                                                                                                                                                                                                                                  可以将spec.components.imageUpdateMode 设置为rollingDowngrade ,让 Milvus 用较低的版本替换协调器 pod 映像。

                                                                                                                                                                                                                                                                                                                                                  apiVersion: milvus.io/v1beta1
                                                                                                                                                                                                                                                                                                                                                  @@ -101,8 +101,8 @@ spec:
                                                                                                                                                                                                                                                                                                                                                       imageUpdateMode: rollingDowngrade
                                                                                                                                                                                                                                                                                                                                                       image: milvusdb/milvus:<some-older-version>
                                                                                                                                                                                                                                                                                                                                                   
                                                                                                                                                                                                                                                                                                                                                  -

                                                                                                                                                                                                                                                                                                                                                  然后将配置保存为 YAML 文件(例如milvusupgrade.yml ),并按如下步骤将此配置文件应用到 Milvus 实例:

                                                                                                                                                                                                                                                                                                                                                  -
                                                                                                                                                                                                                                                                                                                                                  kubectl apply -f milvusupgrade.yml
                                                                                                                                                                                                                                                                                                                                                  +

                                                                                                                                                                                                                                                                                                                                                  然后将配置保存为 YAML 文件(例如milvusupgrade.yml ),并将此配置文件修补到 Milvus 实例中,如下所示:

                                                                                                                                                                                                                                                                                                                                                  +
                                                                                                                                                                                                                                                                                                                                                  kubectl patch -f milvusupgrade.yml
                                                                                                                                                                                                                                                                                                                                                   

                                                                                                                                                                                                                                                                                                                                                  通过更改映像升级 Milvus

                                                                                                                                                                                                                                                                                                                                                  然后运行以下命令执行升级:

                                                                                                                                                                                                                                                                                                                                                  -
                                                                                                                                                                                                                                                                                                                                                  kubectl apply -f milvusupgrade.yaml
                                                                                                                                                                                                                                                                                                                                                  +
                                                                                                                                                                                                                                                                                                                                                  kubectl patch -f milvusupgrade.yaml
                                                                                                                                                                                                                                                                                                                                                   

                                                                                                                                                                                                                                                                                                                                                  迁移元数据

                                                                                                                                                                                                                                                                                                                                                  自 Milvus 2.2.0 起,元数据与以前版本的元数据不兼容。以下示例片段假定从 Milvus 2.1.4 升级到 Milvus v2.4.15。

                                                                                                                                                                                                                                                                                                                                                  -

                                                                                                                                                                                                                                                                                                                                                  1.创建用于元数据迁移的.yaml 文件

                                                                                                                                                                                                                                                                                                                                                  创建元数据迁移文件。下面是一个示例。需要在配置文件中指定namesourceVersiontargetVersion 。下面的示例将name 设置为my-release-upgrade ,将sourceVersion 设置为v2.1.4 ,将targetVersion 设置为v2.4.15 。这意味着你的 Milvus 实例将从 v2.1.4 升级到 v2.4.15。

                                                                                                                                                                                                                                                                                                                                                  +

                                                                                                                                                                                                                                                                                                                                                  自 Milvus 2.2.0 起,元数据与以前版本的元数据不兼容。以下示例片段假定从 Milvus 2.1.4 升级到 Milvus v2.4.17。

                                                                                                                                                                                                                                                                                                                                                  +

                                                                                                                                                                                                                                                                                                                                                  1.创建用于元数据迁移的.yaml 文件

                                                                                                                                                                                                                                                                                                                                                  创建元数据迁移文件。下面是一个示例。需要在配置文件中指定namesourceVersiontargetVersion 。下面的示例将name 设置为my-release-upgrade ,将sourceVersion 设置为v2.1.4 ,将targetVersion 设置为v2.4.17 。这意味着你的 Milvus 实例将从 v2.1.4 升级到 v2.4.17。

                                                                                                                                                                                                                                                                                                                                                  apiVersion: milvus.io/v1beta1
                                                                                                                                                                                                                                                                                                                                                   kind: MilvusUpgrade
                                                                                                                                                                                                                                                                                                                                                   metadata:
                                                                                                                                                                                                                                                                                                                                                  @@ -161,9 +161,9 @@ spec:
                                                                                                                                                                                                                                                                                                                                                       namespace: default
                                                                                                                                                                                                                                                                                                                                                       name: my-release
                                                                                                                                                                                                                                                                                                                                                     sourceVersion: "v2.1.4"
                                                                                                                                                                                                                                                                                                                                                  -  targetVersion: "v2.4.15"
                                                                                                                                                                                                                                                                                                                                                  +  targetVersion: "v2.4.17"
                                                                                                                                                                                                                                                                                                                                                     # below are some omit default values:
                                                                                                                                                                                                                                                                                                                                                  -  # targetImage: "milvusdb/milvus:v2.4.15"
                                                                                                                                                                                                                                                                                                                                                  +  # targetImage: "milvusdb/milvus:v2.4.17"
                                                                                                                                                                                                                                                                                                                                                     # toolImage: "milvusdb/meta-migration:v2.2.0"
                                                                                                                                                                                                                                                                                                                                                     # operation: upgrade
                                                                                                                                                                                                                                                                                                                                                     # rollbackIfFailed: true
                                                                                                                                                                                                                                                                                                                                                  @@ -171,7 +171,7 @@ spec:
                                                                                                                                                                                                                                                                                                                                                     # maxRetry: 3
                                                                                                                                                                                                                                                                                                                                                   

                                                                                                                                                                                                                                                                                                                                                  2.应用新配置

                                                                                                                                                                                                                                                                                                                                                  运行以下命令应用新配置。

                                                                                                                                                                                                                                                                                                                                                  -
                                                                                                                                                                                                                                                                                                                                                  $ kubectl apply -f https://raw.githubusercontent.com/zilliztech/milvus-operator/main/config/samples/milvusupgrade.yaml
                                                                                                                                                                                                                                                                                                                                                  +
                                                                                                                                                                                                                                                                                                                                                  $ kubectl create -f https://raw.githubusercontent.com/zilliztech/milvus-operator/main/config/samples/milvusupgrade.yaml
                                                                                                                                                                                                                                                                                                                                                   

                                                                                                                                                                                                                                                                                                                                                  3.3. 检查元数据迁移状态

                                                                                                                                                                                                                                                                                                                                                  运行以下命令检查元数据迁移的状态。

                                                                                                                                                                                                                                                                                                                                                  kubectl describe milvus release-name
                                                                                                                                                                                                                                                                                                                                                  diff --git a/localization/v2.4.x/site/zh/getstarted/run-milvus-docker/install_standalone-docker-compose.json b/localization/v2.4.x/site/zh/getstarted/run-milvus-docker/install_standalone-docker-compose.json
                                                                                                                                                                                                                                                                                                                                                  index 3b30f28e6..beb19288a 100644
                                                                                                                                                                                                                                                                                                                                                  --- a/localization/v2.4.x/site/zh/getstarted/run-milvus-docker/install_standalone-docker-compose.json
                                                                                                                                                                                                                                                                                                                                                  +++ b/localization/v2.4.x/site/zh/getstarted/run-milvus-docker/install_standalone-docker-compose.json
                                                                                                                                                                                                                                                                                                                                                  @@ -1 +1 @@
                                                                                                                                                                                                                                                                                                                                                  -{"codeList":["# Download the configuration file\n$ wget https://github.com/milvus-io/milvus/releases/download/v2.4.15/milvus-standalone-docker-compose.yml -O docker-compose.yml\n\n# Start Milvus\n$ sudo docker-compose up -d\n\nCreating milvus-etcd  ... done\nCreating milvus-minio ... done\nCreating milvus-standalone ... done\n","$ sudo docker-compose ps\n\n      Name                     Command                  State                            Ports\n--------------------------------------------------------------------------------------------------------------------\nmilvus-etcd         etcd -advertise-client-url ...   Up             2379/tcp, 2380/tcp\nmilvus-minio        /usr/bin/docker-entrypoint ...   Up (healthy)   9000/tcp\nmilvus-standalone   /tini -- milvus run standalone   Up             0.0.0.0:19530->19530/tcp, 0.0.0.0:9091->9091/tcp\n","# Stop Milvus\n$ sudo docker-compose down\n\n# Delete service data\n$ sudo rm -rf volumes\n"],"headingContent":"Run Milvus with Docker Compose","anchorList":[{"label":"使用 Docker Compose 运行 Milvus","href":"Run-Milvus-with-Docker-Compose","type":1,"isActive":false},{"label":"前提条件","href":"Prerequisites","type":2,"isActive":false},{"label":"安装 Milvus","href":"Install-Milvus","type":2,"isActive":false},{"label":"下一步","href":"Whats-next","type":2,"isActive":false}]}
                                                                                                                                                                                                                                                                                                                                                  \ No newline at end of file
                                                                                                                                                                                                                                                                                                                                                  +{"codeList":["# Download the configuration file\n$ wget https://github.com/milvus-io/milvus/releases/download/v2.4.17/milvus-standalone-docker-compose.yml -O docker-compose.yml\n\n# Start Milvus\n$ sudo docker-compose up -d\n\nCreating milvus-etcd  ... done\nCreating milvus-minio ... done\nCreating milvus-standalone ... done\n","$ sudo docker-compose ps\n\n      Name                     Command                  State                            Ports\n--------------------------------------------------------------------------------------------------------------------\nmilvus-etcd         etcd -advertise-client-url ...   Up             2379/tcp, 2380/tcp\nmilvus-minio        /usr/bin/docker-entrypoint ...   Up (healthy)   9000/tcp\nmilvus-standalone   /tini -- milvus run standalone   Up             0.0.0.0:19530->19530/tcp, 0.0.0.0:9091->9091/tcp\n","# Stop Milvus\n$ sudo docker-compose down\n\n# Delete service data\n$ sudo rm -rf volumes\n"],"headingContent":"Run Milvus with Docker Compose","anchorList":[{"label":"使用 Docker Compose 运行 Milvus","href":"Run-Milvus-with-Docker-Compose","type":1,"isActive":false},{"label":"前提条件","href":"Prerequisites","type":2,"isActive":false},{"label":"安装 Milvus","href":"Install-Milvus","type":2,"isActive":false},{"label":"下一步","href":"Whats-next","type":2,"isActive":false}]}
                                                                                                                                                                                                                                                                                                                                                  \ No newline at end of file
                                                                                                                                                                                                                                                                                                                                                  diff --git a/localization/v2.4.x/site/zh/getstarted/run-milvus-docker/install_standalone-docker-compose.md b/localization/v2.4.x/site/zh/getstarted/run-milvus-docker/install_standalone-docker-compose.md
                                                                                                                                                                                                                                                                                                                                                  index 289a22843..061b93d66 100644
                                                                                                                                                                                                                                                                                                                                                  --- a/localization/v2.4.x/site/zh/getstarted/run-milvus-docker/install_standalone-docker-compose.md
                                                                                                                                                                                                                                                                                                                                                  +++ b/localization/v2.4.x/site/zh/getstarted/run-milvus-docker/install_standalone-docker-compose.md
                                                                                                                                                                                                                                                                                                                                                  @@ -57,7 +57,7 @@ title: 使用 Docker Compose 运行 Milvus
                                                                                                                                                                                                                                                                                                                                                         
                                                                                                                                                                                                                                                                                                                                                       

                                                                                                                                                                                                                                                                                                                                                  Milvus 在 Milvus 资源库中提供了 Docker Compose 配置文件。要使用 Docker Compose 安装 Milvus,只需运行

                                                                                                                                                                                                                                                                                                                                                  # Download the configuration file
                                                                                                                                                                                                                                                                                                                                                  -$ wget https://github.com/milvus-io/milvus/releases/download/v2.4.15/milvus-standalone-docker-compose.yml -O docker-compose.yml
                                                                                                                                                                                                                                                                                                                                                  +$ wget https://github.com/milvus-io/milvus/releases/download/v2.4.17/milvus-standalone-docker-compose.yml -O docker-compose.yml
                                                                                                                                                                                                                                                                                                                                                   
                                                                                                                                                                                                                                                                                                                                                   # Start Milvus
                                                                                                                                                                                                                                                                                                                                                   $ sudo docker-compose up -d
                                                                                                                                                                                                                                                                                                                                                  diff --git a/localization/v2.4.x/site/zh/getstarted/run-milvus-gpu/install_standalone-docker-compose-gpu.json b/localization/v2.4.x/site/zh/getstarted/run-milvus-gpu/install_standalone-docker-compose-gpu.json
                                                                                                                                                                                                                                                                                                                                                  index b9f64e5b1..2f9ae7822 100644
                                                                                                                                                                                                                                                                                                                                                  --- a/localization/v2.4.x/site/zh/getstarted/run-milvus-gpu/install_standalone-docker-compose-gpu.json
                                                                                                                                                                                                                                                                                                                                                  +++ b/localization/v2.4.x/site/zh/getstarted/run-milvus-gpu/install_standalone-docker-compose-gpu.json
                                                                                                                                                                                                                                                                                                                                                  @@ -1 +1 @@
                                                                                                                                                                                                                                                                                                                                                  -{"codeList":["$ wget https://github.com/milvus-io/milvus/releases/download/v2.4.15/milvus-standalone-docker-compose-gpu.yml -O docker-compose.yml\n","...\nstandalone:\n  ...\n  deploy:\n    resources:\n      reservations:\n        devices:\n          - driver: nvidia\n            capabilities: [\"gpu\"]\n            device_ids: [\"0\"]\n...\n","...\nstandalone:\n  ...\n  deploy:\n    resources:\n      reservations:\n        devices:\n          - driver: nvidia\n            capabilities: [\"gpu\"]\n            device_ids: ['0', '1']\n...\n","$ sudo docker compose up -d\n\nCreating milvus-etcd  ... done\nCreating milvus-minio ... done\nCreating milvus-standalone ... done\n","$ sudo docker compose ps\n\n      Name                     Command                  State                            Ports\n--------------------------------------------------------------------------------------------------------------------\nmilvus-etcd         etcd -advertise-client-url ...   Up             2379/tcp, 2380/tcp\nmilvus-minio        /usr/bin/docker-entrypoint ...   Up (healthy)   9000/tcp\nmilvus-standalone   /tini -- milvus run standalone   Up             0.0.0.0:19530->19530/tcp, 0.0.0.0:9091->9091/tcp\n","$ CUDA_VISIBLE_DEVICES=0 ./milvus run standalone\n","$ CUDA_VISIBLE_DEVICES=0,1 ./milvus run standalone\n","# Stop Milvus\n$ sudo docker compose down\n\n# Delete service data\n$ sudo rm -rf volumes\n","docker cp :/milvus/configs/milvus.yaml milvus.yaml\n","vim milvus.yaml\n","...\ngpu:\n  initMemSize: 0\n  maxMemSize: 0\n...\n","docker cp milvus.yaml :/milvus/configs/milvus.yaml\n","docker stop \ndocker start \n"],"headingContent":"Run Milvus with GPU Support Using Docker Compose","anchorList":[{"label":"使用 Docker Compose 运行支持 GPU 的 Milvus","href":"Run-Milvus-with-GPU-Support-Using-Docker-Compose","type":1,"isActive":false},{"label":"前提条件","href":"Prerequisites","type":2,"isActive":false},{"label":"安装 Milvus","href":"Install-Milvus","type":2,"isActive":false},{"label":"配置内存池","href":"Configure-memory-pool","type":2,"isActive":false},{"label":"下一步","href":"Whats-next","type":2,"isActive":false}]}
                                                                                                                                                                                                                                                                                                                                                  \ No newline at end of file
                                                                                                                                                                                                                                                                                                                                                  +{"codeList":["$ wget https://github.com/milvus-io/milvus/releases/download/v2.4.17/milvus-standalone-docker-compose-gpu.yml -O docker-compose.yml\n","...\nstandalone:\n  ...\n  deploy:\n    resources:\n      reservations:\n        devices:\n          - driver: nvidia\n            capabilities: [\"gpu\"]\n            device_ids: [\"0\"]\n...\n","...\nstandalone:\n  ...\n  deploy:\n    resources:\n      reservations:\n        devices:\n          - driver: nvidia\n            capabilities: [\"gpu\"]\n            device_ids: ['0', '1']\n...\n","$ sudo docker compose up -d\n\nCreating milvus-etcd  ... done\nCreating milvus-minio ... done\nCreating milvus-standalone ... done\n","$ sudo docker compose ps\n\n      Name                     Command                  State                            Ports\n--------------------------------------------------------------------------------------------------------------------\nmilvus-etcd         etcd -advertise-client-url ...   Up             2379/tcp, 2380/tcp\nmilvus-minio        /usr/bin/docker-entrypoint ...   Up (healthy)   9000/tcp\nmilvus-standalone   /tini -- milvus run standalone   Up             0.0.0.0:19530->19530/tcp, 0.0.0.0:9091->9091/tcp\n","$ CUDA_VISIBLE_DEVICES=0 ./milvus run standalone\n","$ CUDA_VISIBLE_DEVICES=0,1 ./milvus run standalone\n","# Stop Milvus\n$ sudo docker compose down\n\n# Delete service data\n$ sudo rm -rf volumes\n","docker cp :/milvus/configs/milvus.yaml milvus.yaml\n","vim milvus.yaml\n","...\ngpu:\n  initMemSize: 0\n  maxMemSize: 0\n...\n","docker cp milvus.yaml :/milvus/configs/milvus.yaml\n","docker stop \ndocker start \n"],"headingContent":"Run Milvus with GPU Support Using Docker Compose","anchorList":[{"label":"使用 Docker Compose 运行支持 GPU 的 Milvus","href":"Run-Milvus-with-GPU-Support-Using-Docker-Compose","type":1,"isActive":false},{"label":"前提条件","href":"Prerequisites","type":2,"isActive":false},{"label":"安装 Milvus","href":"Install-Milvus","type":2,"isActive":false},{"label":"配置内存池","href":"Configure-memory-pool","type":2,"isActive":false},{"label":"下一步","href":"Whats-next","type":2,"isActive":false}]}
                                                                                                                                                                                                                                                                                                                                                  \ No newline at end of file
                                                                                                                                                                                                                                                                                                                                                  diff --git a/localization/v2.4.x/site/zh/getstarted/run-milvus-gpu/install_standalone-docker-compose-gpu.md b/localization/v2.4.x/site/zh/getstarted/run-milvus-gpu/install_standalone-docker-compose-gpu.md
                                                                                                                                                                                                                                                                                                                                                  index 96274442e..5233e8fd4 100644
                                                                                                                                                                                                                                                                                                                                                  --- a/localization/v2.4.x/site/zh/getstarted/run-milvus-gpu/install_standalone-docker-compose-gpu.md
                                                                                                                                                                                                                                                                                                                                                  +++ b/localization/v2.4.x/site/zh/getstarted/run-milvus-gpu/install_standalone-docker-compose-gpu.md
                                                                                                                                                                                                                                                                                                                                                  @@ -59,8 +59,8 @@ title: 使用 Docker Compose 运行支持 GPU 的 Milvus
                                                                                                                                                                                                                                                                                                                                                           >
                                                                                                                                                                                                                                                                                                                                                         
                                                                                                                                                                                                                                                                                                                                                       

                                                                                                                                                                                                                                                                                                                                                  要使用 Docker Compose 安装支持 GPU 的 Milvus,请按照以下步骤操作。

                                                                                                                                                                                                                                                                                                                                                  -

                                                                                                                                                                                                                                                                                                                                                  1.下载并配置 YAML 文件

                                                                                                                                                                                                                                                                                                                                                  下载 milvus-standalone-docker-compose-gpu.yml并手动将其保存为 docker-compose.yml,或使用以下命令。

                                                                                                                                                                                                                                                                                                                                                  -
                                                                                                                                                                                                                                                                                                                                                  $ wget https://github.com/milvus-io/milvus/releases/download/v2.4.15/milvus-standalone-docker-compose-gpu.yml -O docker-compose.yml
                                                                                                                                                                                                                                                                                                                                                  +

                                                                                                                                                                                                                                                                                                                                                  1.下载并配置 YAML 文件

                                                                                                                                                                                                                                                                                                                                                  下载 milvus-standalone-docker-compose-gpu.yml并手动保存为 docker-compose.yml,或使用以下命令。

                                                                                                                                                                                                                                                                                                                                                  +
                                                                                                                                                                                                                                                                                                                                                  $ wget https://github.com/milvus-io/milvus/releases/download/v2.4.17/milvus-standalone-docker-compose-gpu.yml -O docker-compose.yml
                                                                                                                                                                                                                                                                                                                                                   

                                                                                                                                                                                                                                                                                                                                                  您需要对 YAML 文件中单机服务的环境变量做如下修改:

                                                                                                                                                                                                                                                                                                                                                    diff --git a/localization/v2.4.x/site/zh/menuStructure/zh.json b/localization/v2.4.x/site/zh/menuStructure/zh.json index 655c38696..aebbb7c1e 100644 --- a/localization/v2.4.x/site/zh/menuStructure/zh.json +++ b/localization/v2.4.x/site/zh/menuStructure/zh.json @@ -671,7 +671,7 @@ "children": [] }, { - "label": "From Milvus 2.3.x", + "label": "来自 Milvus 2.3.x", "id": "from-m2x.md", "order": 5, "children": [] diff --git a/localization/v2.4.x/site/zh/reference/index.md b/localization/v2.4.x/site/zh/reference/index.md index ba4418922..f1e46b761 100644 --- a/localization/v2.4.x/site/zh/reference/index.md +++ b/localization/v2.4.x/site/zh/reference/index.md @@ -56,11 +56,11 @@ title: 内存索引 d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z" > -

                                                                                                                                                                                                                                                                                                                                                    Milvus 支持多种索引类型,按其处理的嵌入类型分为:浮点嵌入、二进制嵌入和稀疏嵌入。

                                                                                                                                                                                                                                                                                                                                                    +

                                                                                                                                                                                                                                                                                                                                                    Milvus 支持多种索引类型,这些类型按其处理的向量嵌入类型分为:浮点嵌入(也称浮点向量或密集向量)、二进制嵌入(也称二进制向量)和稀疏嵌入(也称稀疏向量)。

                                                                                                                                                                                                                                                                                                                                                    + 浮点嵌入 二进制嵌入 稀疏嵌入
                                                                                                                                                                                                                                                                                                                                                  -

                                                                                                                                                                                                                                                                                                                                                  浮点嵌入索引

                                                                                                                                                                                                                                                                                                                                                  对于 128 维浮点嵌入,其占用的存储空间为 128 * float 的大小 = 512 字节。而浮点内嵌使用的距离度量是欧氏距离(L2 )和内积(IP )。

                                                                                                                                                                                                                                                                                                                                                  +

                                                                                                                                                                                                                                                                                                                                                  浮点嵌入的索引

                                                                                                                                                                                                                                                                                                                                                  对于 128 维浮点嵌入(向量),其占用的存储空间为 128 * float 的大小 = 512 字节。而用于浮点嵌入的距离度量是欧氏距离(L2 )和内积(IP )。

                                                                                                                                                                                                                                                                                                                                                  这些类型的索引包括FLAT,IVF_FLAT,IVF_PQ,IVF_SQ8,HNSWSCANN ,用于基于 CPU 的 ANN 搜索。

                                                                                                                                                                                                                                                                                                                                                  @@ -128,7 +128,7 @@ title: 内存索引 基于图形的索引
                                                                                                                                                                                                                                                                                                                                                    -
                                                                                                                                                                                                                                                                                                                                                  • 非常高速的查询
                                                                                                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                                                                                                  • 极高速查询
                                                                                                                                                                                                                                                                                                                                                  • 要求尽可能高的召回率
                                                                                                                                                                                                                                                                                                                                                  • 内存资源大
                                                                                                                                                                                                                                                                                                                                                  @@ -210,7 +210,7 @@ title: 内存索引

                                                                                                                                                                                                                                                                                                                                                  平面

                                                                                                                                                                                                                                                                                                                                                  对于要求完美准确性并依赖相对较小(百万量级)数据集的向量相似性搜索应用,FLAT 索引是一个不错的选择。FLAT 不压缩向量,是唯一能保证精确搜索结果的索引。FLAT 的结果还可以作为其他召回率低于 100% 的索引所产生结果的比较点。

                                                                                                                                                                                                                                                                                                                                                  -

                                                                                                                                                                                                                                                                                                                                                  FLAT 的精确度很高,因为它采用的是穷举法搜索,这意味着每次查询都要将目标输入与数据集中的每一组向量进行比较。这使得 FLAT 成为我们列表中速度最慢的索引,而且不适合查询海量向量数据。在 Milvus 中,FLAT 索引不需要任何参数,使用它也不需要数据训练。

                                                                                                                                                                                                                                                                                                                                                  +

                                                                                                                                                                                                                                                                                                                                                  FLAT 的精确度很高,因为它采用的是穷举搜索方法,这意味着每次查询都要将目标输入与数据集中的每一组向量进行比较。这使得 FLAT 成为我们列表中速度最慢的索引,而且不适合查询海量向量数据。在 Milvus 中,FLAT 索引不需要任何参数,使用它也不需要数据训练。

                                                                                                                                                                                                                                                                                                                                                  • 搜索参数

                                                                                                                                                                                                                                                                                                                                                    @@ -223,8 +223,8 @@ title: 内存索引
                                                                                                                                                                                                                                                                                                                                                  -

                                                                                                                                                                                                                                                                                                                                                  IVF_FLAT

                                                                                                                                                                                                                                                                                                                                                  IVF_FLAT 将向量数据划分为nlist 个聚类单元,然后比较目标输入向量与每个聚类中心之间的距离。根据系统设置查询的簇数 (nprobe),相似性搜索结果将仅根据目标输入与最相似簇中向量的比较结果返回--大大缩短了查询时间。

                                                                                                                                                                                                                                                                                                                                                  -

                                                                                                                                                                                                                                                                                                                                                  通过调整nprobe ,可以在特定情况下找到准确性和速度之间的理想平衡。IVF_FLAT 性能测试结果表明,随着目标输入向量数 (nq) 和要搜索的簇数 (nprobe) 的增加,查询时间也会急剧增加。

                                                                                                                                                                                                                                                                                                                                                  +

                                                                                                                                                                                                                                                                                                                                                  IVF_FLAT

                                                                                                                                                                                                                                                                                                                                                  IVF_FLAT 将向量数据划分为nlist 个聚类单元,然后比较目标输入向量与每个聚类中心之间的距离。根据系统设置查询的簇数 (nprobe),相似性搜索结果仅根据目标输入与最相似簇中向量的比较结果返回--大大缩短了查询时间。

                                                                                                                                                                                                                                                                                                                                                  +

                                                                                                                                                                                                                                                                                                                                                  通过调整nprobe ,可以在特定情况下找到准确性和速度之间的理想平衡。IVF_FLAT 性能测试的结果表明,随着目标输入向量数 (nq) 和搜索簇数 (nprobe) 的增加,查询时间也会急剧增加。

                                                                                                                                                                                                                                                                                                                                                  IVF_FLAT 是最基本的 IVF 索引,每个单元中存储的编码数据与原始数据一致。

                                                                                                                                                                                                                                                                                                                                                  • 索引构建参数

                                                                                                                                                                                                                                                                                                                                                    @@ -255,7 +255,7 @@ title: 内存索引 参数说明范围默认值 -max_empty_result_buckets未返回任何搜索结果的桶的最大数量。
                                                                                                                                                                                                                                                                                                                                                    这是一个范围搜索参数,当连续空桶的数量达到指定值时,搜索过程将终止。
                                                                                                                                                                                                                                                                                                                                                    增加该值可以提高召回率,但代价是增加搜索时间。[1, 65535]2 +max_empty_result_buckets未返回任何搜索结果的桶的最大数量。
                                                                                                                                                                                                                                                                                                                                                    这是一个范围搜索参数,当连续空桶的数量达到指定值时,将终止搜索过程。
                                                                                                                                                                                                                                                                                                                                                    增加该值可以提高召回率,但代价是增加搜索时间。[1, 65535]2
                                                                                                                                                                                                                                                                                                                                                  • @@ -310,7 +310,7 @@ title: 内存索引 参数说明范围 -nlist集群单位数[1, 65536] +nlist群组单位数[1, 65536] m乘积量化因子数dim mod m == 0 nbits[可选项] 每个低维向量的存储位数。[1,64] (默认为 8) @@ -381,7 +381,7 @@ title: 内存索引
                                                                                                                                                                                                                                                                                                                                                -

                                                                                                                                                                                                                                                                                                                                                HNSW

                                                                                                                                                                                                                                                                                                                                                HNSW(分层导航小世界图)是一种基于图的索引算法。它根据一定的规则为图像建立多层导航结构。在该结构中,上层较为稀疏,节点之间的距离较远;下层较为密集,节点之间的距离较近。搜索从最上层开始,在这一层找到离目标最近的节点,然后进入下一层开始新的搜索。经过多次迭代后,就能快速接近目标位置。

                                                                                                                                                                                                                                                                                                                                                +

                                                                                                                                                                                                                                                                                                                                                HNSW

                                                                                                                                                                                                                                                                                                                                                HNSW(分层导航小世界图)是一种基于图的索引算法。它根据一定的规则为图像建立多层导航结构。在这种结构中,上层较为稀疏,节点之间的距离较远;下层较为密集,节点之间的距离较近。搜索从最上层开始,在这一层找到离目标最近的节点,然后进入下一层开始新的搜索。经过多次迭代后,就能快速接近目标位置。

                                                                                                                                                                                                                                                                                                                                                为了提高性能,HNSW 将图的每一层上节点的最大度数限制为M 。此外,您还可以使用efConstruction (建立索引时)或ef (搜索目标时)来指定搜索范围。

                                                                                                                                                                                                                                                                                                                                                • 索引建立参数

                                                                                                                                                                                                                                                                                                                                                  @@ -401,7 +401,7 @@ title: 内存索引 参数说明范围 -ef控制查询时间/精确度权衡的参数。ef 越高,搜索越准确,但速度越慢。[top_k, int_max] +ef控制查询时间/准确度权衡的参数。ef 越高,搜索越准确,但速度越慢。[top_k, int_max]
                                                                                                                                                                                                                                                                                                                                                • @@ -425,7 +425,7 @@ title: 内存索引

                                                                                                                                                                                                                                                                                                                                                BIN_IVF_FLAT

                                                                                                                                                                                                                                                                                                                                                该指标与 IVF_FLAT 完全相同,只是只能用于二进制嵌入。

                                                                                                                                                                                                                                                                                                                                                BIN_IVF_FLAT 将向量数据划分为nlist 个聚类单元,然后比较目标输入向量与每个聚类中心之间的距离。根据系统设置查询的簇数(nprobe ),相似性搜索结果仅根据目标输入与最相似簇中向量的比较结果返回--大大缩短了查询时间。

                                                                                                                                                                                                                                                                                                                                                -

                                                                                                                                                                                                                                                                                                                                                通过调整nprobe ,可以在特定情况下找到准确性和速度之间的理想平衡点。随着目标输入向量数 (nq) 和要搜索的聚类数 (nprobe) 的增加,查询时间也会急剧增加。

                                                                                                                                                                                                                                                                                                                                                +

                                                                                                                                                                                                                                                                                                                                                通过调整nprobe ,可以在特定情况下找到准确性和速度之间的理想平衡。随着目标输入向量数 (nq) 和要搜索的聚类数 (nprobe) 的增加,查询时间也会急剧增加。

                                                                                                                                                                                                                                                                                                                                                BIN_IVF_FLAT 是最基本的 BIN_IVF 索引,每个单元存储的编码数据与原始数据一致。

                                                                                                                                                                                                                                                                                                                                                • 索引建立参数

                                                                                                                                                                                                                                                                                                                                                  diff --git a/localization/v2.4.x/site/zh/reference/metric.json b/localization/v2.4.x/site/zh/reference/metric.json index 7d0497e8c..464d3fe05 100644 --- a/localization/v2.4.x/site/zh/reference/metric.json +++ b/localization/v2.4.x/site/zh/reference/metric.json @@ -1 +1 @@ -{"codeList":[],"headingContent":"","anchorList":[{"label":"相似度量","href":"Similarity-Metrics","type":1,"isActive":false},{"label":"常见问题","href":"FAQ","type":2,"isActive":false},{"label":"下一步","href":"Whats-next","type":2,"isActive":false}]} \ No newline at end of file +{"codeList":[],"headingContent":"Similarity Metrics","anchorList":[{"label":"相似度量","href":"Similarity-Metrics","type":1,"isActive":false},{"label":"常见问题","href":"FAQ","type":2,"isActive":false},{"label":"下一步","href":"Whats-next","type":2,"isActive":false}]} \ No newline at end of file diff --git a/localization/v2.4.x/site/zh/reference/metric.md b/localization/v2.4.x/site/zh/reference/metric.md index c0e8f8cf8..fd54459d4 100644 --- a/localization/v2.4.x/site/zh/reference/metric.md +++ b/localization/v2.4.x/site/zh/reference/metric.md @@ -1,7 +1,7 @@ --- id: metric.md -summary: Milvus 支持多种相似度量,包括欧氏距离、内积、Jaccard 等。 -title: 相似度指标 +summary: Milvus 支持多种相似性度量,包括欧氏距离、内积、Jaccard 等。 +title: 相似度量 ---

                                                                                                                                                                                                                                                                                                                                                  相似度量

                                                                                                                                                                                                                                                                                                                                                  在 Milvus 中,相似度量用于衡量向量之间的相似性。选择一个好的距离度量有助于显著提高分类和聚类性能。

                                                                                                                                                                                                                                                                                                                                                  -

                                                                                                                                                                                                                                                                                                                                                  下表显示了这些广泛使用的相似度量如何与各种输入数据形式和 Milvus 指数相匹配。

                                                                                                                                                                                                                                                                                                                                                  +

                                                                                                                                                                                                                                                                                                                                                  下表显示了这些广泛使用的相似度量如何与各种输入数据形式和 Milvus 索引相匹配。目前,Milvus 支持各种类型的数据,包括浮点嵌入(通常称为浮点向量或密集向量)、二进制嵌入(也称为二进制向量)和稀疏嵌入(也称为稀疏向量)。

                                                                                                                                                                                                                                                                                                                                                  + 浮点 嵌入 二进制嵌入 稀疏嵌入
                                                                                                                                                                                                                                                                                                                                                  @@ -76,18 +76,18 @@ title: 相似度指标 euclidean 欧几里得

                                                                                                                                                                                                                                                                                                                                                  -

                                                                                                                                                                                                                                                                                                                                                  其中a= (a0,a1,...,an-1) 和b= (b0,b0,...,bn-1) 是 n 维欧几里得空间中的两点。

                                                                                                                                                                                                                                                                                                                                                  +

                                                                                                                                                                                                                                                                                                                                                  其中a= (a0,a1,...,an-1) 和b= (b0,b0,...,bn-1) 是 n 维欧几里得空间中的两点。

                                                                                                                                                                                                                                                                                                                                                  这是最常用的距离度量,在数据连续时非常有用。

                                                                                                                                                                                                                                                                                                                                                  当选择欧氏距离作为距离度量时,Milvus 只在应用平方根之前计算数值。
                                                                                                                                                                                                                                                                                                                                                  -

                                                                                                                                                                                                                                                                                                                                                  内积(IP)

                                                                                                                                                                                                                                                                                                                                                  两个嵌入式之间的 IP 距离定义如下:

                                                                                                                                                                                                                                                                                                                                                  +

                                                                                                                                                                                                                                                                                                                                                  内积(IP)

                                                                                                                                                                                                                                                                                                                                                  两个向量 Embeddings 之间的 IP 距离定义如下:

                                                                                                                                                                                                                                                                                                                                                  ip IP

                                                                                                                                                                                                                                                                                                                                                  如果需要比较非标准化数据,或者需要考虑幅度和角度,IP 会更有用。

                                                                                                                                                                                                                                                                                                                                                  -

                                                                                                                                                                                                                                                                                                                                                  如果对归一化的嵌入式应用 IP 距离度量,其结果相当于计算嵌入式之间的余弦相似度。

                                                                                                                                                                                                                                                                                                                                                  +

                                                                                                                                                                                                                                                                                                                                                  如果将 IP 距离度量应用于归一化嵌入,结果将等同于计算嵌入之间的余弦相似度。

                                                                                                                                                                                                                                                                                                                                                  假设 X' 是由嵌入 X 归一化而来:

                                                                                                                                                                                                                                                                                                                                                  @@ -99,20 +99,20 @@ title: 相似度指标 normalization 归一化

                                                                                                                                                                                                                                                                                                                                                  -

                                                                                                                                                                                                                                                                                                                                                  余弦相似度

                                                                                                                                                                                                                                                                                                                                                  余弦相似度使用两组向量之间角度的余弦来衡量它们的相似程度。你可以把两组向量看成是从同一个原点([0,0,...])出发但指向不同方向的两条线段。

                                                                                                                                                                                                                                                                                                                                                  -

                                                                                                                                                                                                                                                                                                                                                  要计算两组向量A = (a0,a1,. .. ,an-1)B = (b0,b1,...,bn-1) 之间的余弦相似度,请使用下面的公式:

                                                                                                                                                                                                                                                                                                                                                  +

                                                                                                                                                                                                                                                                                                                                                  余弦相似性

                                                                                                                                                                                                                                                                                                                                                  余弦相似度使用两组向量之间角度的余弦来衡量它们的相似程度。你可以把两组向量看成是从同一个原点([0,0,...])出发但指向不同方向的两条线段。

                                                                                                                                                                                                                                                                                                                                                  +

                                                                                                                                                                                                                                                                                                                                                  要计算两组向量A = (a0,a1,...,an-1)B = (b0,b1,...,bn-1) 之间的余弦相似度,请使用下面的公式:

                                                                                                                                                                                                                                                                                                                                                  cosine_similarity 余弦相似度

                                                                                                                                                                                                                                                                                                                                                  余弦相似度始终位于区间[-1, 1]。例如,两个正比向量的余弦相似度为1,两个正交向量的余弦相似度为0,两个相反向量的余弦相似度为-1。余弦越大,两个向量之间的夹角越小,说明这两个向量之间的相似度越高。

                                                                                                                                                                                                                                                                                                                                                  用 1 减去它们的余弦相似度,就可以得到两个向量之间的余弦距离。

                                                                                                                                                                                                                                                                                                                                                  -

                                                                                                                                                                                                                                                                                                                                                  雅卡德距离

                                                                                                                                                                                                                                                                                                                                                  杰卡德相似系数用于测量两个样本集之间的相似性,其定义是:定义集的交集的卡入度除以它们的结合的卡入度。它只能应用于有限样本集。

                                                                                                                                                                                                                                                                                                                                                  +

                                                                                                                                                                                                                                                                                                                                                  雅卡德距离

                                                                                                                                                                                                                                                                                                                                                  Jaccard 相似性系数衡量两个样本集之间的相似性,其定义为定义集的交集的卡方除以它们的联合的卡方。它只能应用于有限样本集。

                                                                                                                                                                                                                                                                                                                                                  Jaccard similarity coefficient 杰卡德相似系数

                                                                                                                                                                                                                                                                                                                                                  -

                                                                                                                                                                                                                                                                                                                                                  雅卡距离测量数据集之间的不相似性,通过从 1 减去雅卡相似系数得到。对于二进制变量,雅卡距离等同于谷本系数。

                                                                                                                                                                                                                                                                                                                                                  +

                                                                                                                                                                                                                                                                                                                                                  雅卡距离测量数据集之间的不相似性,通过从 1 减去雅卡相似系数得出。对于二元变量,雅卡距离等同于塔尼莫托系数。

                                                                                                                                                                                                                                                                                                                                                  Jaccard distance @@ -121,7 +121,7 @@ title: 相似度指标

                                                                                                                                                                                                                                                                                                                                                  例如,假设有两个字符串:1101 1001 和 1001 1101。

                                                                                                                                                                                                                                                                                                                                                  11011001 ⊕ 10011101 = 01000100.由于其中包含两个 1,所以汉明距离 d (11011001, 10011101) = 2。

                                                                                                                                                                                                                                                                                                                                                  结构相似性

                                                                                                                                                                                                                                                                                                                                                  当一种化学结构作为更大化学结构的一部分出现时,前者称为子结构,后者称为上结构。例如,乙醇是乙酸的子结构,乙酸是乙醇的上结构。

                                                                                                                                                                                                                                                                                                                                                  -

                                                                                                                                                                                                                                                                                                                                                  结构相似性用于确定两个化学式是否相似,即其中一个化学式是另一个化学式的上层 结构或下层结构。

                                                                                                                                                                                                                                                                                                                                                  +

                                                                                                                                                                                                                                                                                                                                                  结构相似性是用来判断两个化学式是否相似,即一个化学式是另一个化学式的上结构或下结构。

                                                                                                                                                                                                                                                                                                                                                  要确定 A 是否是 B 的上结构,请使用下式:

                                                                                                                                                                                                                                                                                                                                                  @@ -163,7 +163,7 @@ title: 相似度指标 如果

                                                                                                                                                                                                                                                                                                                                                  度量类型是内积,为什么向量搜索的 top1 结果不是搜索向量本身?如果使用内积作为距离度量时没有对向量进行归一化处理,就会出现这种情况。
                                                                                                                                                                                                                                                                                                                                                  什么是归一化?为什么需要归一化?

                                                                                                                                                                                                                                                                                                                                                  -

                                                                                                                                                                                                                                                                                                                                                  归一化指的是转换嵌入(向量)使其法向量等于 1 的过程。如果使用内积计算嵌入相似度,就必须对嵌入进行归一化处理。归一化后,内积等于余弦相似度。

                                                                                                                                                                                                                                                                                                                                                  +

                                                                                                                                                                                                                                                                                                                                                  归一化指的是转换嵌入(向量)使其法向量等于 1 的过程。如果使用内积计算嵌入式相似度,就必须对嵌入式进行归一化处理。归一化后,内积等于余弦相似度。

                                                                                                                                                                                                                                                                                                                                                  更多信息,请参阅维基百科

                                                                                                                                                                                                                                                                                                                                                  diff --git a/localization/v2.4.x/site/zh/release_notes.json b/localization/v2.4.x/site/zh/release_notes.json index b8843c9d0..e63f897bc 100644 --- a/localization/v2.4.x/site/zh/release_notes.json +++ b/localization/v2.4.x/site/zh/release_notes.json @@ -1 +1 @@ -{"codeList":[],"headingContent":"Release Notes","anchorList":[{"label":"版本说明","href":"Release-Notes","type":1,"isActive":false},{"label":"v2.4.15","href":"v2415","type":2,"isActive":false},{"label":"v2.4.14","href":"v2414","type":2,"isActive":false},{"label":"版本 2.4.13-热修复","href":"v2413-hotfix","type":2,"isActive":false},{"label":"[已废弃] v2.4.13","href":"Deprecated-v2413","type":2,"isActive":false},{"label":"v2.4.12","href":"v2412","type":2,"isActive":false},{"label":"v2.4.11","href":"v2411","type":2,"isActive":false},{"label":"v2.4.10","href":"v2410","type":2,"isActive":false},{"label":"v2.4.9","href":"v249","type":2,"isActive":false},{"label":"v2.4.8","href":"v248","type":2,"isActive":false},{"label":"v2.4.6","href":"v246","type":2,"isActive":false},{"label":"v2.4.5","href":"v245","type":2,"isActive":false},{"label":"v2.4.4","href":"v244","type":2,"isActive":false},{"label":"v2.4.3","href":"v243","type":2,"isActive":false},{"label":"v2.4.1","href":"v241","type":2,"isActive":false},{"label":"v2.4.0","href":"v240","type":2,"isActive":false},{"label":"版本 2.4.0-rc.1","href":"v240-rc1","type":2,"isActive":false}]} \ No newline at end of file +{"codeList":[],"headingContent":"Release Notes","anchorList":[{"label":"Release Notes","href":"Release-Notes","type":1,"isActive":false},{"label":"v2.4.17","href":"v2417","type":2,"isActive":false},{"label":"v2.4.15","href":"v2415","type":2,"isActive":false},{"label":"v2.4.14","href":"v2414","type":2,"isActive":false},{"label":"v2.4.13-hotfix","href":"v2413-hotfix","type":2,"isActive":false},{"label":"[Deprecated] v2.4.13","href":"Deprecated-v2413","type":2,"isActive":false},{"label":"v2.4.12","href":"v2412","type":2,"isActive":false},{"label":"v2.4.11","href":"v2411","type":2,"isActive":false},{"label":"v2.4.10","href":"v2410","type":2,"isActive":false},{"label":"v2.4.9","href":"v249","type":2,"isActive":false},{"label":"v2.4.8","href":"v248","type":2,"isActive":false},{"label":"v2.4.6","href":"v246","type":2,"isActive":false},{"label":"v2.4.5","href":"v245","type":2,"isActive":false},{"label":"v2.4.4","href":"v244","type":2,"isActive":false},{"label":"v2.4.3","href":"v243","type":2,"isActive":false},{"label":"v2.4.1","href":"v241","type":2,"isActive":false},{"label":"v2.4.0","href":"v240","type":2,"isActive":false},{"label":"v2.4.0-rc.1","href":"v240-rc1","type":2,"isActive":false}]} \ No newline at end of file diff --git a/localization/v2.4.x/site/zh/release_notes.md b/localization/v2.4.x/site/zh/release_notes.md index 317cd4cb3..cbed09250 100644 --- a/localization/v2.4.x/site/zh/release_notes.md +++ b/localization/v2.4.x/site/zh/release_notes.md @@ -1,9 +1,9 @@ --- id: release_notes.md summary: Milvus 发行说明 -title: 版本说明 +title: Release Notes --- -

                                                                                                                                                                                                                                                                                                                                                  版本说明

                                                                                                                                                                                                                                                                                                                                                  了解 Milvus 的新功能!本页总结了每个版本的新功能、改进、已知问题和错误修复。您可以在本部分找到 v2.4.0 之后每个版本的发布说明。我们建议您定期访问此页面以了解更新信息。

                                                                                                                                                                                                                                                                                                                                                  +

                                                                                                                                                                                                                                                                                                                                                  Find out what’s new in Milvus! This page summarizes new features, improvements, known issues, and bug fixes in each release. You can find the release notes for each released version after v2.4.0 in this section. We suggest that you regularly visit this page to learn about updates.

                                                                                                                                                                                                                                                                                                                                                  +

                                                                                                                                                                                                                                                                                                                                                  v2.4.17

                                                                                                                                                                                                                                                                                                                                                  Release Date: November 22, 2024

                                                                                                                                                                                                                                                                                                                                                  +
                                                                                                                                                                                                                                                                                                                                                  + + + + + + +
                                                                                                                                                                                                                                                                                                                                                  Milvus versionPython SDK versionJava SDK versionNode.js SDK version
                                                                                                                                                                                                                                                                                                                                                  2.4.172.4.92.4.82.4.9
                                                                                                                                                                                                                                                                                                                                                  +

                                                                                                                                                                                                                                                                                                                                                  Milvus 2.4.17 was a minor release aimed at critical stability enhancements. This version addressed various bugs and implemented performance optimizations to bolster system reliability.

                                                                                                                                                                                                                                                                                                                                                  +

                                                                                                                                                                                                                                                                                                                                                  Improvements

                                                                                                                                                                                                                                                                                                                                                    +
                                                                                                                                                                                                                                                                                                                                                  • Enhanced: [2.4] Prevented the generation of “null” search parameters (#37811).
                                                                                                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                                                                                                  • Enhanced: [2.4] Removed unnecessary segment clone updates in distribution (#37797) (#37833).
                                                                                                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                                                                                                  • Enhanced: [2.4] Provided secondary index criteria for filtering leaderview (#37777) (#37802).
                                                                                                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                                                                                                  • Used batch processing to speed up listing collections from meta kv (#37752).
                                                                                                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                                                                                                  • Removed collection queryable checks from health checks (#37731).
                                                                                                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                                                                                                  • [2.4] Removed segment-level tags from monitoring metrics (#37737).
                                                                                                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                                                                                                  • [2.4] Removed unnecessary cloning in setstate (#37736).
                                                                                                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                                                                                                  • Added search parameters to search requests in RESTful API (#37673).
                                                                                                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                                                                                                  • Made Milvus images with AddressSanitizer (ASAN) available (#37682).
                                                                                                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                                                                                                  • [cp24] Tidied compaction logs (#37647).
                                                                                                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                                                                                                  • [2.4] Invalidated the collection cache when releasing collections (#37628).
                                                                                                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                                                                                                  • [2.4] Added CGO call metrics for load/write APIs (#37627).
                                                                                                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                                                                                                  • Enabled node assignment policies in resource groups (#37588).
                                                                                                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                                                                                                  • Optimized describe collection and index operations (#37605).
                                                                                                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                                                                                                  • [2.4] Handled legacy proxy load fields requests (#37569).
                                                                                                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                                                                                                  • [2.4] Added context tracing for query coordination queryable checks (#37534).
                                                                                                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                                                                                                  • [2.4] Improved root coordination task scheduling policies (#37523).
                                                                                                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                                                                                                  • Refactored createindex in the RESTful API (#37237).
                                                                                                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                                                                                                  • [2.4] Used cancel labels for context-canceled storage operations (#37491).
                                                                                                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                                                                                                  • [2.4] Updated the template expression proto to improve transmission efficiency (#37485).
                                                                                                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                                                                                                  +

                                                                                                                                                                                                                                                                                                                                                  Bug fixes

                                                                                                                                                                                                                                                                                                                                                    +
                                                                                                                                                                                                                                                                                                                                                  • Supported upsert with autoid=true in the RESTful API and fixed associated bugs (#37766).
                                                                                                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                                                                                                  • Ensured L0 segments were loaded to workers during channel balancing (#37758).
                                                                                                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                                                                                                  • Fixed delegator stuck in unserviceable status (#37702).
                                                                                                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                                                                                                  • [2.4] Stored default values when errkeynotfound was returned (#37705).
                                                                                                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                                                                                                  • [cp24] Changed memory check from write lock to read lock (#37526).
                                                                                                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                                                                                                  • Ensured getshardleaders retried only on retriable errors (#37687).
                                                                                                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                                                                                                  • [cp24] Corrected varchar primary key size calculations (#37619).
                                                                                                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                                                                                                  • Fixed channel balancing that could get stuck when increasing replica numbers (#37642).
                                                                                                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                                                                                                  • Addressed issues where searches returned fewer results after query node recovery (#37610).
                                                                                                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                                                                                                  • [2.4] Fixed bugs retrieving data from the wrong field for L0 segments (#37599).
                                                                                                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                                                                                                  • Recovered loading collection’s updateTS after query coordination restarts (#37580).
                                                                                                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                                                                                                  • [2.4] Added IP address validation to paramtable (#37500).
                                                                                                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                                                                                                  • Fixed search/query failures caused by segments not being loaded (#37544).
                                                                                                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                                                                                                  • Resolved watch channel issues due to timer reset misuse (#37542).
                                                                                                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                                                                                                  • Fixed subscription leaks (#37541).
                                                                                                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                                                                                                  • Resolved issues with excessively growing segments (#37540).
                                                                                                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                                                                                                  • [cp24] Corrected dropped segment metrics (#37471).
                                                                                                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                                                                                                  • Fixed repeated error codes in Milvus and Segcore (#37449).
                                                                                                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                                                                                                  • [cp24] Separated L0 and mixed trigger intervals (#37319).
                                                                                                                                                                                                                                                                                                                                                  • +

                                                                                                                                                                                                                                                                                                                                                  v2.4.15

                                                                                                                                                                                                                                                                                                                                                  发布日期2024 年 11 月 5 日

                                                                                                                                                                                                                                                                                                                                                  +

                                                                                                                                                                                                                                                                                                                                                  Release Date: November 5, 2024

                                                                                                                                                                                                                                                                                                                                                  - +
                                                                                                                                                                                                                                                                                                                                                  Milvus 版本Python SDK 版本Java SDK 版本Node.js SDK 版本
                                                                                                                                                                                                                                                                                                                                                  Milvus versionPython SDK versionJava SDK versionNode.js SDK version
                                                                                                                                                                                                                                                                                                                                                  2.4.152.4.92.4.82.4.9
                                                                                                                                                                                                                                                                                                                                                  -

                                                                                                                                                                                                                                                                                                                                                  Milvus 2.4.15 是一个重要的错误修复版本,侧重于增强系统稳定性、性能和兼容性。该版本解决了 QueryNode 崩溃时可能出现的重大死锁问题,并引入了备份工具与数据库功能的兼容性更新。此外,Milvus 2.4.15 还通过对 L0 处理的重大优化,提高了删除性能和稳定性。强烈建议升级到 2.4.15 版,以受益于这些重要的增强功能。

                                                                                                                                                                                                                                                                                                                                                  -

                                                                                                                                                                                                                                                                                                                                                  重要错误修复

                                                                                                                                                                                                                                                                                                                                                    -
                                                                                                                                                                                                                                                                                                                                                  • 解决了在碎片客户端初始化过程中 QueryNode 崩溃时的死锁问题(#37354)。
                                                                                                                                                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                                                                                                                                                  • 恢复了支持数据库批量插入的增强功能(#37421)。
                                                                                                                                                                                                                                                                                                                                                  • +

                                                                                                                                                                                                                                                                                                                                                    Milvus 2.4.15 was a critical bug-fix release focused on enhancing system stability, performance, and compatibility. This version addressed a major deadlock issue that could occur during QueryNode crashes and introduced compatibility updates for the backup tool with the database feature. Additionally, Milvus 2.4.15 improved delete performance and stability through significant optimizations in L0 handling. Upgrading to v2.4.15 was strongly recommended to benefit from these critical enhancements.

                                                                                                                                                                                                                                                                                                                                                    +

                                                                                                                                                                                                                                                                                                                                                    Critical bug fixes

                                                                                                                                                                                                                                                                                                                                                      +
                                                                                                                                                                                                                                                                                                                                                    • Resolved a deadlock issue if the QueryNode crashed during shard client initialization (#37354).
                                                                                                                                                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                                                                                                                                                    • Reverted the enhancement to support databases for bulk insert (#37421).
                                                                                                                                                                                                                                                                                                                                                    -

                                                                                                                                                                                                                                                                                                                                                    错误修复

                                                                                                                                                                                                                                                                                                                                                      -
                                                                                                                                                                                                                                                                                                                                                    • 修正了一个 Bug,在该 Bug 中,某些表达式无法正确解析值(#37342)。
                                                                                                                                                                                                                                                                                                                                                    • -
                                                                                                                                                                                                                                                                                                                                                    • 增强了代理功能,以便在卸载 Collections 时重试获取分区领导者(#37326)。
                                                                                                                                                                                                                                                                                                                                                    • -
                                                                                                                                                                                                                                                                                                                                                    • 纠正了 L0 行数指标值总是为空的问题(#37307)。
                                                                                                                                                                                                                                                                                                                                                    • -
                                                                                                                                                                                                                                                                                                                                                    • 跳过了混合和 L0 压缩场景中的压缩超时标记(#37194)。
                                                                                                                                                                                                                                                                                                                                                    • -
                                                                                                                                                                                                                                                                                                                                                    • 修正了 OffsetOrderedArray 的包含逻辑(#37309)。
                                                                                                                                                                                                                                                                                                                                                    • -
                                                                                                                                                                                                                                                                                                                                                    • 在加载 delta 日志时添加了资源检查(#37263)。
                                                                                                                                                                                                                                                                                                                                                    • +

                                                                                                                                                                                                                                                                                                                                                      Bug fixes

                                                                                                                                                                                                                                                                                                                                                        +
                                                                                                                                                                                                                                                                                                                                                      • Fixed a bug where certain expressions did not correctly parse values (#37342).
                                                                                                                                                                                                                                                                                                                                                      • +
                                                                                                                                                                                                                                                                                                                                                      • Enhanced the Proxy to retry getting the shard leader on unloaded collections (#37326).
                                                                                                                                                                                                                                                                                                                                                      • +
                                                                                                                                                                                                                                                                                                                                                      • Corrected an issue where the L0 row count metrics value was always empty (#37307).
                                                                                                                                                                                                                                                                                                                                                      • +
                                                                                                                                                                                                                                                                                                                                                      • Skipped marking compaction timeout for mixed and L0 compaction scenarios (#37194).
                                                                                                                                                                                                                                                                                                                                                      • +
                                                                                                                                                                                                                                                                                                                                                      • Rectified the containment logic of OffsetOrderedArray (#37309).
                                                                                                                                                                                                                                                                                                                                                      • +
                                                                                                                                                                                                                                                                                                                                                      • Added a check for resources when loading delta logs (#37263).
                                                                                                                                                                                                                                                                                                                                                      -

                                                                                                                                                                                                                                                                                                                                                      改进

                                                                                                                                                                                                                                                                                                                                                        -
                                                                                                                                                                                                                                                                                                                                                      • 将 L0 逻辑移至三角锁定之外,以提高性能(#37340)。
                                                                                                                                                                                                                                                                                                                                                      • -
                                                                                                                                                                                                                                                                                                                                                      • 如果丢弃列表中存在压缩的增长区段,则释放这些区段(#37266)。
                                                                                                                                                                                                                                                                                                                                                      • -
                                                                                                                                                                                                                                                                                                                                                      • 引入中间件监控 RESTful V2 输入/输出 RPC 统计(#37224#37440)。
                                                                                                                                                                                                                                                                                                                                                      • +

                                                                                                                                                                                                                                                                                                                                                        Improvements

                                                                                                                                                                                                                                                                                                                                                          +
                                                                                                                                                                                                                                                                                                                                                        • Moved L0 logic outside of the delta lock for better performance (#37340).
                                                                                                                                                                                                                                                                                                                                                        • +
                                                                                                                                                                                                                                                                                                                                                        • Released compacted growing segments if present in the dropped list (#37266).
                                                                                                                                                                                                                                                                                                                                                        • +
                                                                                                                                                                                                                                                                                                                                                        • Introduced middleware to monitor RESTful V2 input/output RPC stats (#37224, #37440).

                                                                                                                                                                                                                                                                                                                                                        v2.4.14

                                                                                                                                                                                                                                                                                                                                                        发布日期2024 年 10 月 31 日

                                                                                                                                                                                                                                                                                                                                                        +

                                                                                                                                                                                                                                                                                                                                                        Release Date: October 31, 2024

                                                                                                                                                                                                                                                                                                                                                        - +
                                                                                                                                                                                                                                                                                                                                                        Milvus 版本Python SDK 版本Java SDK 版本Node.js SDK 版本
                                                                                                                                                                                                                                                                                                                                                        Milvus versionPython SDK versionJava SDK versionNode.js SDK version
                                                                                                                                                                                                                                                                                                                                                        2.4.142.4.92.4.72.4.9
                                                                                                                                                                                                                                                                                                                                                        -

                                                                                                                                                                                                                                                                                                                                                        Milvus 2.4.14 解决了 2.4.13 版中的一个关键问题,该问题可能导致snapshotKV 垃圾收集后丢失 Collection 信息。它还修复了几个资源泄漏问题。此外,该版本还包含大量增强功能,主要用于提高大规模删除操作的稳定性和压缩性能。

                                                                                                                                                                                                                                                                                                                                                        -

                                                                                                                                                                                                                                                                                                                                                        功能特性

                                                                                                                                                                                                                                                                                                                                                          -
                                                                                                                                                                                                                                                                                                                                                        • 支持内存模式块缓存(#35836)
                                                                                                                                                                                                                                                                                                                                                        • -
                                                                                                                                                                                                                                                                                                                                                        • 支持用于 bulkinsert 的 db(#37017)
                                                                                                                                                                                                                                                                                                                                                        • +

                                                                                                                                                                                                                                                                                                                                                          Milvus 2.4.14 addresses a critical issue from version 2.4.13 that could cause collection information to be lost after snapshotKV garbage collection. It also fixed a couple of resource leaks. Additionally, this release includes numerous enhancements focused on improving stability in large-scale delete operations and compaction performance.

                                                                                                                                                                                                                                                                                                                                                          +

                                                                                                                                                                                                                                                                                                                                                          Features

                                                                                                                                                                                                                                                                                                                                                            +
                                                                                                                                                                                                                                                                                                                                                          • Supported memory mode chunk cache (#35836)
                                                                                                                                                                                                                                                                                                                                                          • +
                                                                                                                                                                                                                                                                                                                                                          • Supported db for bulkinsert (#37017)
                                                                                                                                                                                                                                                                                                                                                          -

                                                                                                                                                                                                                                                                                                                                                          改进

                                                                                                                                                                                                                                                                                                                                                            -
                                                                                                                                                                                                                                                                                                                                                          • 删除/压缩优化
                                                                                                                                                                                                                                                                                                                                                              -
                                                                                                                                                                                                                                                                                                                                                            • 启用 l0 压缩的并行执行(#36985)
                                                                                                                                                                                                                                                                                                                                                            • -
                                                                                                                                                                                                                                                                                                                                                            • 使用直接转发时,对转发删除进行批量处理(#37107)
                                                                                                                                                                                                                                                                                                                                                            • -
                                                                                                                                                                                                                                                                                                                                                            • 使用 remoteload 时,跳过在委托器中加载 delta 数据(#37112)
                                                                                                                                                                                                                                                                                                                                                            • -
                                                                                                                                                                                                                                                                                                                                                            • 直接转发不包括 l0 段的 delta(#36914)
                                                                                                                                                                                                                                                                                                                                                            • -
                                                                                                                                                                                                                                                                                                                                                            • 在 DataCoord 中添加了压缩任务的优先级(#36979)
                                                                                                                                                                                                                                                                                                                                                            • -
                                                                                                                                                                                                                                                                                                                                                            • 跟踪复杂删除率(#36958)
                                                                                                                                                                                                                                                                                                                                                            • +

                                                                                                                                                                                                                                                                                                                                                              Improvements

                                                                                                                                                                                                                                                                                                                                                                +
                                                                                                                                                                                                                                                                                                                                                              • Delete/Compaction Optimization +
                                                                                                                                                                                                                                                                                                                                                                  +
                                                                                                                                                                                                                                                                                                                                                                • Enabled parallel execution of l0 compactions (#36985)
                                                                                                                                                                                                                                                                                                                                                                • +
                                                                                                                                                                                                                                                                                                                                                                • Batched forward delete when using direct forward (#37107)
                                                                                                                                                                                                                                                                                                                                                                • +
                                                                                                                                                                                                                                                                                                                                                                • Skipped loading delta data in delegater when using remoteload (#37112)
                                                                                                                                                                                                                                                                                                                                                                • +
                                                                                                                                                                                                                                                                                                                                                                • Directly forwarded delta excluding l0 segments (#36914)
                                                                                                                                                                                                                                                                                                                                                                • +
                                                                                                                                                                                                                                                                                                                                                                • Added prioritization of compaction tasks in DataCoord (#36979)
                                                                                                                                                                                                                                                                                                                                                                • +
                                                                                                                                                                                                                                                                                                                                                                • Tracked complex delete rates (#36958)
                                                                                                                                                                                                                                                                                                                                                              • -
                                                                                                                                                                                                                                                                                                                                                              • 重构了 RESTFul API 中的 CreateCollection(#36885)
                                                                                                                                                                                                                                                                                                                                                              • -
                                                                                                                                                                                                                                                                                                                                                              • 将多个 "和 "与 "或 "操作合并为一个操作符(#36973)
                                                                                                                                                                                                                                                                                                                                                              • -
                                                                                                                                                                                                                                                                                                                                                              • 使跳过加载适用于所有分支(#37161)
                                                                                                                                                                                                                                                                                                                                                              • -
                                                                                                                                                                                                                                                                                                                                                              • 升级 Minio 依赖关系以支持 EKS Pod Identities(#37089)
                                                                                                                                                                                                                                                                                                                                                              • -
                                                                                                                                                                                                                                                                                                                                                              • 精简导入选项(#37078)
                                                                                                                                                                                                                                                                                                                                                              • -
                                                                                                                                                                                                                                                                                                                                                              • 限制导入工作的最大数量(#36892)
                                                                                                                                                                                                                                                                                                                                                              • -
                                                                                                                                                                                                                                                                                                                                                              • 预分配数据片段以避免重新分配内存(#37044)
                                                                                                                                                                                                                                                                                                                                                              • -
                                                                                                                                                                                                                                                                                                                                                              • 防止数据节点加载 bf(#37027)
                                                                                                                                                                                                                                                                                                                                                              • -
                                                                                                                                                                                                                                                                                                                                                              • 避免重复限制 ddl 操作符(#37011)
                                                                                                                                                                                                                                                                                                                                                              • -
                                                                                                                                                                                                                                                                                                                                                              • 使配置项datanode.import.maxconcurrenttasknum 可动态调整(#37103)
                                                                                                                                                                                                                                                                                                                                                              • -
                                                                                                                                                                                                                                                                                                                                                              • 使用queryNode.mmap.growingMmapEnabled 控制临时索引的行为(#36391)
                                                                                                                                                                                                                                                                                                                                                              • -
                                                                                                                                                                                                                                                                                                                                                              • 在成长段的 segmentLoadInfo 中填充LevelStartPosition 字段(#36911)
                                                                                                                                                                                                                                                                                                                                                              • -
                                                                                                                                                                                                                                                                                                                                                              • 在收到 drop Collections 消息时强制停止缓冲消息(#36917)
                                                                                                                                                                                                                                                                                                                                                              • -
                                                                                                                                                                                                                                                                                                                                                              • 为查询节点删除缓冲区信息添加了指标(#37097)
                                                                                                                                                                                                                                                                                                                                                              • -
                                                                                                                                                                                                                                                                                                                                                              • 为某些指标添加了 Collections 名称标签(#37159)
                                                                                                                                                                                                                                                                                                                                                              • -
                                                                                                                                                                                                                                                                                                                                                              • 使用中间件观察 RESTful v2 输入/输出 rpc 统计信息(#37224)
                                                                                                                                                                                                                                                                                                                                                              • -
                                                                                                                                                                                                                                                                                                                                                              • 更改了 GPU 默认内存池大小(#36969)
                                                                                                                                                                                                                                                                                                                                                              • -
                                                                                                                                                                                                                                                                                                                                                              • 将Knowhere版本更新至2.3.12(#37132)
                                                                                                                                                                                                                                                                                                                                                              • -
                                                                                                                                                                                                                                                                                                                                                              • 允许在磁盘配额用完时删除数据(#37139)
                                                                                                                                                                                                                                                                                                                                                              • +
                                                                                                                                                                                                                                                                                                                                                              • Refactored CreateCollection in RESTFul API (#36885)
                                                                                                                                                                                                                                                                                                                                                              • +
                                                                                                                                                                                                                                                                                                                                                              • Fused multiple ‘and’ and ‘or’ operations into a single op (#36973)
                                                                                                                                                                                                                                                                                                                                                              • +
                                                                                                                                                                                                                                                                                                                                                              • Made skip load work for all branches (#37161)
                                                                                                                                                                                                                                                                                                                                                              • +
                                                                                                                                                                                                                                                                                                                                                              • Upgraded Minio dependency to support EKS Pod Identities (#37089)
                                                                                                                                                                                                                                                                                                                                                              • +
                                                                                                                                                                                                                                                                                                                                                              • Tidied import options (#37078)
                                                                                                                                                                                                                                                                                                                                                              • +
                                                                                                                                                                                                                                                                                                                                                              • Limited maximum number of import jobs (#36892)
                                                                                                                                                                                                                                                                                                                                                              • +
                                                                                                                                                                                                                                                                                                                                                              • Preallocated data slice to avoid re-allocating memory (#37044)
                                                                                                                                                                                                                                                                                                                                                              • +
                                                                                                                                                                                                                                                                                                                                                              • Prevented DataNode from loading the bf (#37027)
                                                                                                                                                                                                                                                                                                                                                              • +
                                                                                                                                                                                                                                                                                                                                                              • Avoided limiting ddl operations repeatedly (#37011)
                                                                                                                                                                                                                                                                                                                                                              • +
                                                                                                                                                                                                                                                                                                                                                              • Made the configuration item datanode.import.maxconcurrenttasknum dynamically adjustable (#37103)
                                                                                                                                                                                                                                                                                                                                                              • +
                                                                                                                                                                                                                                                                                                                                                              • Used queryNode.mmap.growingMmapEnabled to control the behavior of interim index (#36391)
                                                                                                                                                                                                                                                                                                                                                              • +
                                                                                                                                                                                                                                                                                                                                                              • Populated the Level and StartPosition fields in segmentLoadInfo of growing segment (#36911)
                                                                                                                                                                                                                                                                                                                                                              • +
                                                                                                                                                                                                                                                                                                                                                              • Forced to stop buffer messages when receiving the drop collection message (#36917)
                                                                                                                                                                                                                                                                                                                                                              • +
                                                                                                                                                                                                                                                                                                                                                              • Added metrics for querynode delete buffer info (#37097)
                                                                                                                                                                                                                                                                                                                                                              • +
                                                                                                                                                                                                                                                                                                                                                              • Added collection name label for some metric (#37159)
                                                                                                                                                                                                                                                                                                                                                              • +
                                                                                                                                                                                                                                                                                                                                                              • Used middleware to observe RESTful v2 in/out rpc stats (#37224)
                                                                                                                                                                                                                                                                                                                                                              • +
                                                                                                                                                                                                                                                                                                                                                              • Changed GPU default memory pool size (#36969)
                                                                                                                                                                                                                                                                                                                                                              • +
                                                                                                                                                                                                                                                                                                                                                              • Updated Knowhere version to 2.3.12 (#37132)
                                                                                                                                                                                                                                                                                                                                                              • +
                                                                                                                                                                                                                                                                                                                                                              • Allowed deleting data when disk quota exhausted (#37139)
                                                                                                                                                                                                                                                                                                                                                              -

                                                                                                                                                                                                                                                                                                                                                              错误修正

                                                                                                                                                                                                                                                                                                                                                                -
                                                                                                                                                                                                                                                                                                                                                              • 修正了在所有快照都被垃圾回收的情况下,重启后无法从 metakv 恢复 Collections 信息的问题(#36950)
                                                                                                                                                                                                                                                                                                                                                              • -
                                                                                                                                                                                                                                                                                                                                                              • 修正了 rpc 错误代码,以避免客户端无效重试(#37025)
                                                                                                                                                                                                                                                                                                                                                              • -
                                                                                                                                                                                                                                                                                                                                                              • 忽略配额中心未找到数据库的错误(#36850)
                                                                                                                                                                                                                                                                                                                                                              • -
                                                                                                                                                                                                                                                                                                                                                              • 通过使用单例删除池,修正了查询节点中的程序泄漏(#37225)
                                                                                                                                                                                                                                                                                                                                                              • -
                                                                                                                                                                                                                                                                                                                                                              • 修复了查询节点中的 Collections 泄漏问题(#37079)
                                                                                                                                                                                                                                                                                                                                                              • -
                                                                                                                                                                                                                                                                                                                                                              • 修正了聚类压缩任务的泄漏(#36803)
                                                                                                                                                                                                                                                                                                                                                              • -
                                                                                                                                                                                                                                                                                                                                                              • 禁止重命名有别名的 Collections(#37208)
                                                                                                                                                                                                                                                                                                                                                              • -
                                                                                                                                                                                                                                                                                                                                                              • 确保缓存别名(#36808)
                                                                                                                                                                                                                                                                                                                                                              • -
                                                                                                                                                                                                                                                                                                                                                              • 更新委托人缓存时搜索/查询可能失败(#37174)
                                                                                                                                                                                                                                                                                                                                                              • -
                                                                                                                                                                                                                                                                                                                                                              • 执行集群时排除 l0 压缩(#37142)
                                                                                                                                                                                                                                                                                                                                                              • -
                                                                                                                                                                                                                                                                                                                                                              • 仅加载 l0 段元时引用 Collections 元(#37179)
                                                                                                                                                                                                                                                                                                                                                              • -
                                                                                                                                                                                                                                                                                                                                                              • 重启 querycoord 后,委托者可能无法使用(#37100)
                                                                                                                                                                                                                                                                                                                                                              • -
                                                                                                                                                                                                                                                                                                                                                              • 动态释放分区可能导致搜索/查询失败(#37099)
                                                                                                                                                                                                                                                                                                                                                              • -
                                                                                                                                                                                                                                                                                                                                                              • 修正了删除缓冲区行数配额值(#37068)
                                                                                                                                                                                                                                                                                                                                                              • -
                                                                                                                                                                                                                                                                                                                                                              • 启用部分加载时传递完整字段列表(#37063)
                                                                                                                                                                                                                                                                                                                                                              • -
                                                                                                                                                                                                                                                                                                                                                              • 向 Worker 发送 rpc 时发生查询节点恐慌(#36988)
                                                                                                                                                                                                                                                                                                                                                              • -
                                                                                                                                                                                                                                                                                                                                                              • Datacoord 在停止进程时卡住(#36961)
                                                                                                                                                                                                                                                                                                                                                              • -
                                                                                                                                                                                                                                                                                                                                                              • 当原始数据被临时索引替换时,修正了增长段中的越界访问(#36938)
                                                                                                                                                                                                                                                                                                                                                              • -
                                                                                                                                                                                                                                                                                                                                                              • Rootcoord 在优雅停止时卡住的问题(#36881)
                                                                                                                                                                                                                                                                                                                                                              • +

                                                                                                                                                                                                                                                                                                                                                                Bug fixes

                                                                                                                                                                                                                                                                                                                                                                  +
                                                                                                                                                                                                                                                                                                                                                                • Fixed collection info that could not be recovered from metakv after restart if all snapshots were garbage collected (#36950)
                                                                                                                                                                                                                                                                                                                                                                • +
                                                                                                                                                                                                                                                                                                                                                                • Corrected the rpc error code to avoid invalid retry in client (#37025)
                                                                                                                                                                                                                                                                                                                                                                • +
                                                                                                                                                                                                                                                                                                                                                                • Ignored db not found error in quota center (#36850)
                                                                                                                                                                                                                                                                                                                                                                • +
                                                                                                                                                                                                                                                                                                                                                                • Fixed goroutine leakage in QueryNode by using singleton delete pool (#37225)
                                                                                                                                                                                                                                                                                                                                                                • +
                                                                                                                                                                                                                                                                                                                                                                • Fixed collection leak in querynode (#37079)
                                                                                                                                                                                                                                                                                                                                                                • +
                                                                                                                                                                                                                                                                                                                                                                • Fixed leakage of clustering compaction task (#36803)
                                                                                                                                                                                                                                                                                                                                                                • +
                                                                                                                                                                                                                                                                                                                                                                • Prohibited renaming a collection that had an alias (#37208)
                                                                                                                                                                                                                                                                                                                                                                • +
                                                                                                                                                                                                                                                                                                                                                                • Made sure alias was cached (#36808)
                                                                                                                                                                                                                                                                                                                                                                • +
                                                                                                                                                                                                                                                                                                                                                                • Search/query could have failed during updating delegator cache (#37174)
                                                                                                                                                                                                                                                                                                                                                                • +
                                                                                                                                                                                                                                                                                                                                                                • Excluded l0 compaction when clustering was executing (#37142)
                                                                                                                                                                                                                                                                                                                                                                • +
                                                                                                                                                                                                                                                                                                                                                                • Referenced collection meta when loading l0 segment meta only (#37179)
                                                                                                                                                                                                                                                                                                                                                                • +
                                                                                                                                                                                                                                                                                                                                                                • Delegator might have become unserviceable after querycoord restart (#37100)
                                                                                                                                                                                                                                                                                                                                                                • +
                                                                                                                                                                                                                                                                                                                                                                • Dynamic release partition might have failed search/query (#37099)
                                                                                                                                                                                                                                                                                                                                                                • +
                                                                                                                                                                                                                                                                                                                                                                • Rectified delete buffer row count quota value (#37068)
                                                                                                                                                                                                                                                                                                                                                                • +
                                                                                                                                                                                                                                                                                                                                                                • Passed full field list when partial load enabled (#37063)
                                                                                                                                                                                                                                                                                                                                                                • +
                                                                                                                                                                                                                                                                                                                                                                • Query node panic occurred during sending rpc to worker (#36988)
                                                                                                                                                                                                                                                                                                                                                                • +
                                                                                                                                                                                                                                                                                                                                                                • Datacoord got stuck at stopping progress (#36961)
                                                                                                                                                                                                                                                                                                                                                                • +
                                                                                                                                                                                                                                                                                                                                                                • Fixed the out-of-bounds access in the growing segment when raw data was replaced by interim index (#36938)
                                                                                                                                                                                                                                                                                                                                                                • +
                                                                                                                                                                                                                                                                                                                                                                • Rootcoord got stuck at graceful stop progress (#36881)
                                                                                                                                                                                                                                                                                                                                                                -

                                                                                                                                                                                                                                                                                                                                                                版本 2.4.13-热修复

                                                                                                                                                                                                                                                                                                                                                                发布日期2024 年 10 月 17 日

                                                                                                                                                                                                                                                                                                                                                                +

                                                                                                                                                                                                                                                                                                                                                                Release Date: October 17, 2024

                                                                                                                                                                                                                                                                                                                                                                - +
                                                                                                                                                                                                                                                                                                                                                                Milvus 版本Python SDK 版本Java SDK 版本Node.js SDK 版本
                                                                                                                                                                                                                                                                                                                                                                Milvus versionPython SDK versionJava SDK versionNode.js SDK version
                                                                                                                                                                                                                                                                                                                                                                2.4.13-hotfix2.4.82.4.52.4.9
                                                                                                                                                                                                                                                                                                                                                                -

                                                                                                                                                                                                                                                                                                                                                                Milvus v2.4.13-hotfix 解决了 v2.4.13 特有的一个关键问题,即如果所有 MetaKV 快照都被垃圾 Collections(#36933),则重启后 Milvus 可能无法检索 Collections 信息。建议当前运行 v2.4.13 的用户尽早升级到 v2.4.13-hotfix,以避免潜在的中断

                                                                                                                                                                                                                                                                                                                                                                -

                                                                                                                                                                                                                                                                                                                                                                关键修复

                                                                                                                                                                                                                                                                                                                                                                  -
                                                                                                                                                                                                                                                                                                                                                                • 如果时间戳为 MaxTimestamp,则加载原始密钥(#36935)
                                                                                                                                                                                                                                                                                                                                                                • +

                                                                                                                                                                                                                                                                                                                                                                  Milvus v2.4.13-hotfix addresses a critical issue specific to v2.4.13, where Milvus may fail to retrieve collection information after a restart if all MetaKV snapshots were garbage-collected (#36933). Users currently running v2.4.13 are advised to upgrade to v2.4.13-hotfix at the earliest opportunity to avoid potential disruptions.

                                                                                                                                                                                                                                                                                                                                                                  +

                                                                                                                                                                                                                                                                                                                                                                  Critical fixes

                                                                                                                                                                                                                                                                                                                                                                    +
                                                                                                                                                                                                                                                                                                                                                                  • Load original key if timestamp is MaxTimestamp (#36935)
                                                                                                                                                                                                                                                                                                                                                                  -

                                                                                                                                                                                                                                                                                                                                                                  [已废弃] v2.4.13

                                                                                                                                                                                                                                                                                                                                                                  发布日期2024 年 10 月 12 日

                                                                                                                                                                                                                                                                                                                                                                  +

                                                                                                                                                                                                                                                                                                                                                                  Release Date: October 12, 2024

                                                                                                                                                                                                                                                                                                                                                                  - +
                                                                                                                                                                                                                                                                                                                                                                  Milvus 版本Python SDK 版本Java SDK 版本Node.js SDK 版本
                                                                                                                                                                                                                                                                                                                                                                  Milvus versionPython SDK versionJava SDK versionNode.js SDK version
                                                                                                                                                                                                                                                                                                                                                                  2.4.132.4.82.4.52.4.9
                                                                                                                                                                                                                                                                                                                                                                  -

                                                                                                                                                                                                                                                                                                                                                                  Milvus 2.4.13 引入了动态副本加载,允许用户调整 Collections 的副本数量,而无需释放和重新加载 Collections。该版本还解决了与批量导入、表达式解析、负载平衡和故障恢复有关的几个关键错误。此外,还对 MMAP 资源使用和导入性能进行了重大改进,提高了系统的整体效率。我们强烈建议升级到该版本,以获得更好的性能和稳定性。

                                                                                                                                                                                                                                                                                                                                                                  -

                                                                                                                                                                                                                                                                                                                                                                  功能特点

                                                                                                                                                                                                                                                                                                                                                                    -
                                                                                                                                                                                                                                                                                                                                                                  • 对已加载的 Collections 进行动态复制调整(#36417)
                                                                                                                                                                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                                                                                                                                                                  • 不断增长的段类型中的稀疏向量 MMAP(#36565)
                                                                                                                                                                                                                                                                                                                                                                  • +

                                                                                                                                                                                                                                                                                                                                                                    Milvus 2.4.13 introduces dynamic replica load, allowing users to adjust the number of collection replicas without needing to release and reload the collection. This version also addresses several critical bugs related to bulk importing, expression parsing, load balancing, and failure recovery. Additionally, significant improvements have been made to MMAP resource usage and import performance, enhancing overall system efficiency. We highly recommend upgrading to this release for better performance and stability.

                                                                                                                                                                                                                                                                                                                                                                    +

                                                                                                                                                                                                                                                                                                                                                                    Features

                                                                                                                                                                                                                                                                                                                                                                      +
                                                                                                                                                                                                                                                                                                                                                                    • Dynamic replica adjustment for loaded collections (#36417)
                                                                                                                                                                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                                                                                                                                                                    • Sparse vector MMAP in growing segment types (#36565)
                                                                                                                                                                                                                                                                                                                                                                    -

                                                                                                                                                                                                                                                                                                                                                                    错误修复

                                                                                                                                                                                                                                                                                                                                                                      -
                                                                                                                                                                                                                                                                                                                                                                    • 修复了一个刷新性能问题(#36741)
                                                                                                                                                                                                                                                                                                                                                                    • -
                                                                                                                                                                                                                                                                                                                                                                    • 修复了"[]"中 JSON 表达式的一个错误(#36722)
                                                                                                                                                                                                                                                                                                                                                                    • -
                                                                                                                                                                                                                                                                                                                                                                    • 如果紧凑目标未编入索引,则移除邻居(#36694)
                                                                                                                                                                                                                                                                                                                                                                    • -
                                                                                                                                                                                                                                                                                                                                                                    • 提高了通道已满时 Rocksmq 的性能(#36618)
                                                                                                                                                                                                                                                                                                                                                                    • -
                                                                                                                                                                                                                                                                                                                                                                    • 修正了一个问题,即在解钉入过程中错误不会延迟(#36665)
                                                                                                                                                                                                                                                                                                                                                                    • -
                                                                                                                                                                                                                                                                                                                                                                    • 解决了段管理器中导入段的内存泄漏问题(#36631)
                                                                                                                                                                                                                                                                                                                                                                    • -
                                                                                                                                                                                                                                                                                                                                                                    • 跳过了代理中查询节点不必要的健康检查(#36553)
                                                                                                                                                                                                                                                                                                                                                                    • -
                                                                                                                                                                                                                                                                                                                                                                    • 修复了术语表达式的溢出问题(#36534)
                                                                                                                                                                                                                                                                                                                                                                    • -
                                                                                                                                                                                                                                                                                                                                                                    • 在分配任务前记录节点 ID,以防止任务分配错误(#36493)
                                                                                                                                                                                                                                                                                                                                                                    • -
                                                                                                                                                                                                                                                                                                                                                                    • 解决了聚类压缩中的数据竞赛问题(#36499)
                                                                                                                                                                                                                                                                                                                                                                    • -
                                                                                                                                                                                                                                                                                                                                                                    • 在类型匹配后添加了对字符串数组最大长度的检查(#36497)
                                                                                                                                                                                                                                                                                                                                                                    • -
                                                                                                                                                                                                                                                                                                                                                                    • 解决了混合或独立模式下的竞赛问题(#36459)
                                                                                                                                                                                                                                                                                                                                                                    • -
                                                                                                                                                                                                                                                                                                                                                                    • 修正了重复加载和释放操作后的段不平衡问题(#36543)
                                                                                                                                                                                                                                                                                                                                                                    • -
                                                                                                                                                                                                                                                                                                                                                                    • 修正了一个无法从停止节点移动数据段的角落情况(#36475)
                                                                                                                                                                                                                                                                                                                                                                    • -
                                                                                                                                                                                                                                                                                                                                                                    • 即使某些程序段丢失,也能正确更新程序段信息(#36729)
                                                                                                                                                                                                                                                                                                                                                                    • -
                                                                                                                                                                                                                                                                                                                                                                    • 防止快照 KV 中的 etcd 事务超过最大限制(#36773)
                                                                                                                                                                                                                                                                                                                                                                    • +

                                                                                                                                                                                                                                                                                                                                                                      Bug fixes

                                                                                                                                                                                                                                                                                                                                                                        +
                                                                                                                                                                                                                                                                                                                                                                      • Fixed a flush performance issue (#36741)
                                                                                                                                                                                                                                                                                                                                                                      • +
                                                                                                                                                                                                                                                                                                                                                                      • Fixed a bug with JSON expressions in "[]" (#36722)
                                                                                                                                                                                                                                                                                                                                                                      • +
                                                                                                                                                                                                                                                                                                                                                                      • Removed neighbors if compact target is unindexed (#36694)
                                                                                                                                                                                                                                                                                                                                                                      • +
                                                                                                                                                                                                                                                                                                                                                                      • Improved performance for Rocksmq when channel is full (#36618)
                                                                                                                                                                                                                                                                                                                                                                      • +
                                                                                                                                                                                                                                                                                                                                                                      • Fixed an issue where errors during unpinning were not deferred (#36665)
                                                                                                                                                                                                                                                                                                                                                                      • +
                                                                                                                                                                                                                                                                                                                                                                      • Resolved a memory leak for imported segments in the segment manager (#36631)
                                                                                                                                                                                                                                                                                                                                                                      • +
                                                                                                                                                                                                                                                                                                                                                                      • Skipped unnecessary health checks for query nodes in the proxy (#36553)
                                                                                                                                                                                                                                                                                                                                                                      • +
                                                                                                                                                                                                                                                                                                                                                                      • Fixed an overflow issue with term expressions (#36534)
                                                                                                                                                                                                                                                                                                                                                                      • +
                                                                                                                                                                                                                                                                                                                                                                      • Recorded node ID before assigning tasks to prevent task misallocation (#36493)
                                                                                                                                                                                                                                                                                                                                                                      • +
                                                                                                                                                                                                                                                                                                                                                                      • Resolved data race issues in clustering compaction (#36499)
                                                                                                                                                                                                                                                                                                                                                                      • +
                                                                                                                                                                                                                                                                                                                                                                      • Added a check for string array max length after type matching (#36497)
                                                                                                                                                                                                                                                                                                                                                                      • +
                                                                                                                                                                                                                                                                                                                                                                      • Addressed race conditions in mix or standalone mode (#36459)
                                                                                                                                                                                                                                                                                                                                                                      • +
                                                                                                                                                                                                                                                                                                                                                                      • Fixed segment imbalance after repeated load and release operations (#36543)
                                                                                                                                                                                                                                                                                                                                                                      • +
                                                                                                                                                                                                                                                                                                                                                                      • Corrected a corner case where segments couldn’t be moved from a stopping node (#36475)
                                                                                                                                                                                                                                                                                                                                                                      • +
                                                                                                                                                                                                                                                                                                                                                                      • Updated segment info properly even if some segments were missing (#36729)
                                                                                                                                                                                                                                                                                                                                                                      • +
                                                                                                                                                                                                                                                                                                                                                                      • Prevented etcd transactions from exceeding the max limit in snapshot KV (#36773)
                                                                                                                                                                                                                                                                                                                                                                      -

                                                                                                                                                                                                                                                                                                                                                                      改进

                                                                                                                                                                                                                                                                                                                                                                        -
                                                                                                                                                                                                                                                                                                                                                                      • 增强了 MMAP 资源估算:
                                                                                                                                                                                                                                                                                                                                                                          -
                                                                                                                                                                                                                                                                                                                                                                        • 改进了 column.h 中与 MMAP 相关的代码(#36521)
                                                                                                                                                                                                                                                                                                                                                                        • -
                                                                                                                                                                                                                                                                                                                                                                        • 改进了加载 Collections 时的资源估算(#36728)
                                                                                                                                                                                                                                                                                                                                                                        • +

                                                                                                                                                                                                                                                                                                                                                                          Improvements

                                                                                                                                                                                                                                                                                                                                                                            +
                                                                                                                                                                                                                                                                                                                                                                          • Enhanced MMAP resource estimation: +
                                                                                                                                                                                                                                                                                                                                                                              +
                                                                                                                                                                                                                                                                                                                                                                            • Improved MMAP-related code in column.h (#36521)
                                                                                                                                                                                                                                                                                                                                                                            • +
                                                                                                                                                                                                                                                                                                                                                                            • Refined resource estimation when loading collections (#36728)
                                                                                                                                                                                                                                                                                                                                                                          • -
                                                                                                                                                                                                                                                                                                                                                                          • 性能增强:
                                                                                                                                                                                                                                                                                                                                                                              -
                                                                                                                                                                                                                                                                                                                                                                            • 通过将 Unicode 转换为 ASCII 提高了表达式解析效率(#36676)
                                                                                                                                                                                                                                                                                                                                                                            • -
                                                                                                                                                                                                                                                                                                                                                                            • 支持并行生成多个主题的信息(#36462)
                                                                                                                                                                                                                                                                                                                                                                            • -
                                                                                                                                                                                                                                                                                                                                                                            • 计算索引文件大小时减少了 CPU 开销(#36580)
                                                                                                                                                                                                                                                                                                                                                                            • -
                                                                                                                                                                                                                                                                                                                                                                            • 从报文头读取报文类型,以尽量减少解码(#36454)
                                                                                                                                                                                                                                                                                                                                                                            • -
                                                                                                                                                                                                                                                                                                                                                                            • 优化了基于工作负载的副本选择策略(#36384)
                                                                                                                                                                                                                                                                                                                                                                            • +
                                                                                                                                                                                                                                                                                                                                                                            • Performance Enhancements: +
                                                                                                                                                                                                                                                                                                                                                                                +
                                                                                                                                                                                                                                                                                                                                                                              • Improved expression parsing efficiency by converting Unicode to ASCII (#36676)
                                                                                                                                                                                                                                                                                                                                                                              • +
                                                                                                                                                                                                                                                                                                                                                                              • Enabled parallel production of messages for multiple topics (#36462)
                                                                                                                                                                                                                                                                                                                                                                              • +
                                                                                                                                                                                                                                                                                                                                                                              • Reduced CPU overhead when calculating index file size (#36580)
                                                                                                                                                                                                                                                                                                                                                                              • +
                                                                                                                                                                                                                                                                                                                                                                              • Retrieved message type from header to minimize unmarshalling (#36454)
                                                                                                                                                                                                                                                                                                                                                                              • +
                                                                                                                                                                                                                                                                                                                                                                              • Optimized workload-based replica selection policy (#36384)
                                                                                                                                                                                                                                                                                                                                                                            • -
                                                                                                                                                                                                                                                                                                                                                                            • 拆分删除任务消息以适应最大消息大小限制(#36574)
                                                                                                                                                                                                                                                                                                                                                                            • -
                                                                                                                                                                                                                                                                                                                                                                            • 添加了新的 RESTful URL 以描述导入任务(#36754)
                                                                                                                                                                                                                                                                                                                                                                            • -
                                                                                                                                                                                                                                                                                                                                                                            • 优化了导入调度并添加了时间成本指标(#36684)
                                                                                                                                                                                                                                                                                                                                                                            • -
                                                                                                                                                                                                                                                                                                                                                                            • 为查询协调平衡器添加了平衡报告日志(#36749)
                                                                                                                                                                                                                                                                                                                                                                            • -
                                                                                                                                                                                                                                                                                                                                                                            • 改用通用 GC 配置(#36670)
                                                                                                                                                                                                                                                                                                                                                                            • -
                                                                                                                                                                                                                                                                                                                                                                            • 为委托者添加了流式转发策略开关(#36712)
                                                                                                                                                                                                                                                                                                                                                                            • -
                                                                                                                                                                                                                                                                                                                                                                            • 为无索引的 Collections 启用手动压缩(#36581)
                                                                                                                                                                                                                                                                                                                                                                            • -
                                                                                                                                                                                                                                                                                                                                                                            • 在具有不同内存容量的查询节点上启用负载平衡(#36625)
                                                                                                                                                                                                                                                                                                                                                                            • -
                                                                                                                                                                                                                                                                                                                                                                            • 使用 metrics.label 统一入站标签案例(#36616)
                                                                                                                                                                                                                                                                                                                                                                            • -
                                                                                                                                                                                                                                                                                                                                                                            • 使传输通道/分段操作具有幂等性(#36552)
                                                                                                                                                                                                                                                                                                                                                                            • -
                                                                                                                                                                                                                                                                                                                                                                            • 添加了监控导入吞吐量和导入行数的指标(#36588)
                                                                                                                                                                                                                                                                                                                                                                            • -
                                                                                                                                                                                                                                                                                                                                                                            • 防止在目标中创建多个计时器对象(#36573)
                                                                                                                                                                                                                                                                                                                                                                            • -
                                                                                                                                                                                                                                                                                                                                                                            • 更新了表达式版本和表达式的 HTTP 响应格式(#36467)
                                                                                                                                                                                                                                                                                                                                                                            • -
                                                                                                                                                                                                                                                                                                                                                                            • 增强了快照 KV 中的垃圾收集(#36793)
                                                                                                                                                                                                                                                                                                                                                                            • -
                                                                                                                                                                                                                                                                                                                                                                            • 添加了对使用上下文参数执行方法的支持(#36798)
                                                                                                                                                                                                                                                                                                                                                                            • +
                                                                                                                                                                                                                                                                                                                                                                            • Split delete task messages to fit within max message size limits (#36574)
                                                                                                                                                                                                                                                                                                                                                                            • +
                                                                                                                                                                                                                                                                                                                                                                            • Added new RESTful URL to describe import jobs (#36754)
                                                                                                                                                                                                                                                                                                                                                                            • +
                                                                                                                                                                                                                                                                                                                                                                            • Optimized import scheduling and added a time cost metric (#36684)
                                                                                                                                                                                                                                                                                                                                                                            • +
                                                                                                                                                                                                                                                                                                                                                                            • Added balance report log for query coordinator balancer (#36749)
                                                                                                                                                                                                                                                                                                                                                                            • +
                                                                                                                                                                                                                                                                                                                                                                            • Switched to using common GC configuration (#36670)
                                                                                                                                                                                                                                                                                                                                                                            • +
                                                                                                                                                                                                                                                                                                                                                                            • Added streaming forward policy switch for delegator (#36712)
                                                                                                                                                                                                                                                                                                                                                                            • +
                                                                                                                                                                                                                                                                                                                                                                            • Enabled manual compaction for collections without indexes (#36581)
                                                                                                                                                                                                                                                                                                                                                                            • +
                                                                                                                                                                                                                                                                                                                                                                            • Enabled load balancing on query nodes with varying memory capacities (#36625)
                                                                                                                                                                                                                                                                                                                                                                            • +
                                                                                                                                                                                                                                                                                                                                                                            • Unified case for inbound labels using metrics.label (#36616)
                                                                                                                                                                                                                                                                                                                                                                            • +
                                                                                                                                                                                                                                                                                                                                                                            • Made transfer channel/segment operations idempotent (#36552)
                                                                                                                                                                                                                                                                                                                                                                            • +
                                                                                                                                                                                                                                                                                                                                                                            • Added metrics to monitor import throughput and imported row count (#36588)
                                                                                                                                                                                                                                                                                                                                                                            • +
                                                                                                                                                                                                                                                                                                                                                                            • Prevented creation of multiple timer objects in targets (#36573)
                                                                                                                                                                                                                                                                                                                                                                            • +
                                                                                                                                                                                                                                                                                                                                                                            • Updated expression version and formatted HTTP response for expressions (#36467)
                                                                                                                                                                                                                                                                                                                                                                            • +
                                                                                                                                                                                                                                                                                                                                                                            • Enhanced garbage collection in snapshot KV (#36793)
                                                                                                                                                                                                                                                                                                                                                                            • +
                                                                                                                                                                                                                                                                                                                                                                            • Added support to execute methods with context parameters (#36798)

                                                                                                                                                                                                                                                                                                                                                                            v2.4.12

                                                                                                                                                                                                                                                                                                                                                                            发布日期2024 年 9 月 26 日

                                                                                                                                                                                                                                                                                                                                                                            +

                                                                                                                                                                                                                                                                                                                                                                            Release Date: September 26, 2024

                                                                                                                                                                                                                                                                                                                                                                            - +
                                                                                                                                                                                                                                                                                                                                                                            Milvus 版本Python SDK 版本Java SDK 版本Node.js SDK 版本
                                                                                                                                                                                                                                                                                                                                                                            Milvus versionPython SDK versionJava SDK versionNode.js SDK version
                                                                                                                                                                                                                                                                                                                                                                            2.4.122.4.72.4.42.4.9
                                                                                                                                                                                                                                                                                                                                                                            -

                                                                                                                                                                                                                                                                                                                                                                            Milvus 2.4.12 引入了重大增强功能和关键错误修复。该版本解决了数据重复问题,提高了故障恢复速度,尤其是在处理大量删除时。不过,仍存在一个已知问题,即在删除大量数据时,故障恢复速度可能会很慢。我们正在积极解决这个问题。

                                                                                                                                                                                                                                                                                                                                                                            -

                                                                                                                                                                                                                                                                                                                                                                            改进

                                                                                                                                                                                                                                                                                                                                                                              -
                                                                                                                                                                                                                                                                                                                                                                            • 为 flowgraph 管理器实现了优雅停止(#36358)
                                                                                                                                                                                                                                                                                                                                                                            • -
                                                                                                                                                                                                                                                                                                                                                                            • 禁用了对未加载向量字段的索引检查(#36280)
                                                                                                                                                                                                                                                                                                                                                                            • -
                                                                                                                                                                                                                                                                                                                                                                            • 在 delta 加载过程中过滤掉了未命中的删除记录(#36272)
                                                                                                                                                                                                                                                                                                                                                                            • -
                                                                                                                                                                                                                                                                                                                                                                            • 改进了对 std::stoi 异常的错误处理(#36296)
                                                                                                                                                                                                                                                                                                                                                                            • -
                                                                                                                                                                                                                                                                                                                                                                            • 禁止使用关键字作为字段名或动态字段名(#36108)
                                                                                                                                                                                                                                                                                                                                                                            • -
                                                                                                                                                                                                                                                                                                                                                                            • 为 L0 段中的删除条目添加了度量指标(#36227)
                                                                                                                                                                                                                                                                                                                                                                            • -
                                                                                                                                                                                                                                                                                                                                                                            • 实施了 L0 转发策略以支持远程加载(#36208)
                                                                                                                                                                                                                                                                                                                                                                            • -
                                                                                                                                                                                                                                                                                                                                                                            • 在代理中添加了 ANN 字段加载检查(#36194)
                                                                                                                                                                                                                                                                                                                                                                            • -
                                                                                                                                                                                                                                                                                                                                                                            • 启用空稀疏行支持(#36061)
                                                                                                                                                                                                                                                                                                                                                                            • -
                                                                                                                                                                                                                                                                                                                                                                            • 修复了一个安全漏洞(#36156)
                                                                                                                                                                                                                                                                                                                                                                            • -
                                                                                                                                                                                                                                                                                                                                                                            • 实施了请求/响应大小度量的统计处理程序(#36118)
                                                                                                                                                                                                                                                                                                                                                                            • -
                                                                                                                                                                                                                                                                                                                                                                            • 修正了编码数组数据的大小估算(#36379)
                                                                                                                                                                                                                                                                                                                                                                            • +

                                                                                                                                                                                                                                                                                                                                                                              Milvus 2.4.12 introduces significant enhancements and critical bug fixes. This release addresses data duplication issues and improves failure recovery speed, particularly when handling large numbers of deletions. However, a known issue persists where failure recovery can be slow when deleting massive amounts of data. We are actively working on resolving this issue.

                                                                                                                                                                                                                                                                                                                                                                              +

                                                                                                                                                                                                                                                                                                                                                                              Improvements

                                                                                                                                                                                                                                                                                                                                                                                +
                                                                                                                                                                                                                                                                                                                                                                              • Implemented graceful stop for flowgraph manager (#36358)
                                                                                                                                                                                                                                                                                                                                                                              • +
                                                                                                                                                                                                                                                                                                                                                                              • Disabled index checks for non-loaded vector fields (#36280)
                                                                                                                                                                                                                                                                                                                                                                              • +
                                                                                                                                                                                                                                                                                                                                                                              • Filtered out non-hit delete records during delta loading (#36272)
                                                                                                                                                                                                                                                                                                                                                                              • +
                                                                                                                                                                                                                                                                                                                                                                              • Improved error handling for std::stoi exceptions (#36296)
                                                                                                                                                                                                                                                                                                                                                                              • +
                                                                                                                                                                                                                                                                                                                                                                              • Disallowed keywords as field names or dynamic field names (#36108)
                                                                                                                                                                                                                                                                                                                                                                              • +
                                                                                                                                                                                                                                                                                                                                                                              • Added metrics for delete entries in L0 segments (#36227)
                                                                                                                                                                                                                                                                                                                                                                              • +
                                                                                                                                                                                                                                                                                                                                                                              • Implemented L0 forward policy to support remote loading (#36208)
                                                                                                                                                                                                                                                                                                                                                                              • +
                                                                                                                                                                                                                                                                                                                                                                              • Added ANN field loading check in proxy (#36194)
                                                                                                                                                                                                                                                                                                                                                                              • +
                                                                                                                                                                                                                                                                                                                                                                              • Enabled empty sparse row support (#36061)
                                                                                                                                                                                                                                                                                                                                                                              • +
                                                                                                                                                                                                                                                                                                                                                                              • Fixed a security vulnerability (#36156)
                                                                                                                                                                                                                                                                                                                                                                              • +
                                                                                                                                                                                                                                                                                                                                                                              • Implemented stats handler for request/response size metrics (#36118)
                                                                                                                                                                                                                                                                                                                                                                              • +
                                                                                                                                                                                                                                                                                                                                                                              • Corrected size estimation for encoded array data (#36379)
                                                                                                                                                                                                                                                                                                                                                                              -

                                                                                                                                                                                                                                                                                                                                                                              错误修复

                                                                                                                                                                                                                                                                                                                                                                                -
                                                                                                                                                                                                                                                                                                                                                                              • 解决了有两个向量字段的 Collections 的度量类型错误(#36473)
                                                                                                                                                                                                                                                                                                                                                                              • -
                                                                                                                                                                                                                                                                                                                                                                              • 修正了导致消息队列接收失败的长缓冲问题(#36425)
                                                                                                                                                                                                                                                                                                                                                                              • -
                                                                                                                                                                                                                                                                                                                                                                              • 在支持拆分后实现了适当的压缩到分段返回(#36429)
                                                                                                                                                                                                                                                                                                                                                                              • -
                                                                                                                                                                                                                                                                                                                                                                              • 解决了节点 ID 检查程序的数据竞赛问题(#36377)
                                                                                                                                                                                                                                                                                                                                                                              • -
                                                                                                                                                                                                                                                                                                                                                                              • 删除了元素类型检查(#36324)
                                                                                                                                                                                                                                                                                                                                                                              • -
                                                                                                                                                                                                                                                                                                                                                                              • 修复了增长和密封分段的并发访问问题(#36288)
                                                                                                                                                                                                                                                                                                                                                                              • -
                                                                                                                                                                                                                                                                                                                                                                              • 实现了未来有状态锁(#36333)
                                                                                                                                                                                                                                                                                                                                                                              • -
                                                                                                                                                                                                                                                                                                                                                                              • 纠正了 HybridSearch 中偏移量的使用(#36287#36253)
                                                                                                                                                                                                                                                                                                                                                                              • -
                                                                                                                                                                                                                                                                                                                                                                              • 解决了查询节点上的脏段/通道泄漏问题(#36259)
                                                                                                                                                                                                                                                                                                                                                                              • -
                                                                                                                                                                                                                                                                                                                                                                              • 修正了主键重复处理(#36274)
                                                                                                                                                                                                                                                                                                                                                                              • -
                                                                                                                                                                                                                                                                                                                                                                              • 在搜索请求中强制执行度量类型设置(#36279)
                                                                                                                                                                                                                                                                                                                                                                              • -
                                                                                                                                                                                                                                                                                                                                                                              • 修正了存储索引文件大小的度量清除问题(#36161)
                                                                                                                                                                                                                                                                                                                                                                              • -
                                                                                                                                                                                                                                                                                                                                                                              • 修正了全局 API 访问的读写权限组行为(#36145)
                                                                                                                                                                                                                                                                                                                                                                              • +

                                                                                                                                                                                                                                                                                                                                                                                Bug fixes

                                                                                                                                                                                                                                                                                                                                                                                  +
                                                                                                                                                                                                                                                                                                                                                                                • Resolved metric type errors for collections with two vector fields (#36473)
                                                                                                                                                                                                                                                                                                                                                                                • +
                                                                                                                                                                                                                                                                                                                                                                                • Fixed long buffering issues causing message queue reception failures (#36425)
                                                                                                                                                                                                                                                                                                                                                                                • +
                                                                                                                                                                                                                                                                                                                                                                                • Implemented proper compact-to-segments return after split support (#36429)
                                                                                                                                                                                                                                                                                                                                                                                • +
                                                                                                                                                                                                                                                                                                                                                                                • Resolved data race issues with node ID check goroutine (#36377)
                                                                                                                                                                                                                                                                                                                                                                                • +
                                                                                                                                                                                                                                                                                                                                                                                • Removed element type check (#36324)
                                                                                                                                                                                                                                                                                                                                                                                • +
                                                                                                                                                                                                                                                                                                                                                                                • Fixed concurrent access issues for growing and sealed segments (#36288)
                                                                                                                                                                                                                                                                                                                                                                                • +
                                                                                                                                                                                                                                                                                                                                                                                • Implemented future stateful lock (#36333)
                                                                                                                                                                                                                                                                                                                                                                                • +
                                                                                                                                                                                                                                                                                                                                                                                • Corrected offset usage in HybridSearch (#36287, #36253)
                                                                                                                                                                                                                                                                                                                                                                                • +
                                                                                                                                                                                                                                                                                                                                                                                • Resolved dirty segment/channel leaks on QueryNode (#36259)
                                                                                                                                                                                                                                                                                                                                                                                • +
                                                                                                                                                                                                                                                                                                                                                                                • Fixed primary key duplication handling (#36274)
                                                                                                                                                                                                                                                                                                                                                                                • +
                                                                                                                                                                                                                                                                                                                                                                                • Enforced metric type setting in search requests (#36279)
                                                                                                                                                                                                                                                                                                                                                                                • +
                                                                                                                                                                                                                                                                                                                                                                                • Fixed stored_index_files_size metric clearing issue (#36161)
                                                                                                                                                                                                                                                                                                                                                                                • +
                                                                                                                                                                                                                                                                                                                                                                                • Corrected readwrite privilege group behavior for global API access (#36145)

                                                                                                                                                                                                                                                                                                                                                                                v2.4.11

                                                                                                                                                                                                                                                                                                                                                                                发布日期2024 年 9 月 11 日

                                                                                                                                                                                                                                                                                                                                                                                +

                                                                                                                                                                                                                                                                                                                                                                                Release Date: September 11, 2024

                                                                                                                                                                                                                                                                                                                                                                                - +
                                                                                                                                                                                                                                                                                                                                                                                Milvus 版本Python SDK 版本Java SDK 版本Node.js SDK 版本
                                                                                                                                                                                                                                                                                                                                                                                Milvus versionPython SDK versionJava SDK versionNode.js SDK version
                                                                                                                                                                                                                                                                                                                                                                                2.4.112.4.62.4.32.4.8
                                                                                                                                                                                                                                                                                                                                                                                -

                                                                                                                                                                                                                                                                                                                                                                                Milvus 2.4.11 是一个错误修复版本,解决了与 MARISA 三角索引、压缩和加载操作有关的多个关键问题。该版本引入了查看表达式和提高删除稳定性的新功能。我们建议所有 2.4.x 系列的用户升级到此版本,以受益于这些改进和修复。

                                                                                                                                                                                                                                                                                                                                                                                -

                                                                                                                                                                                                                                                                                                                                                                                新功能

                                                                                                                                                                                                                                                                                                                                                                                  -
                                                                                                                                                                                                                                                                                                                                                                                • 为 2.4 版中的表达式添加了静态视图(#35954)
                                                                                                                                                                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                                                                                                                                                                • 实现了与删除缓冲区相关的配额逻辑(#35997)
                                                                                                                                                                                                                                                                                                                                                                                • +

                                                                                                                                                                                                                                                                                                                                                                                  Milvus 2.4.11 is a bug-fix release that addresses multiple critical issues related to the MARISA trie index, compaction, and loading operations. This release introduces new features to view expressions and improve delete stability. We recommend all users of the 2.4.x series to upgrade to this version to benefit from these improvements and fixes.

                                                                                                                                                                                                                                                                                                                                                                                  +

                                                                                                                                                                                                                                                                                                                                                                                  Features

                                                                                                                                                                                                                                                                                                                                                                                    +
                                                                                                                                                                                                                                                                                                                                                                                  • Added static view for expressions in 2.4 (#35954)
                                                                                                                                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                                                                                                                                  • Implemented delete buffer related quota logic (#35997)
                                                                                                                                                                                                                                                                                                                                                                                  -

                                                                                                                                                                                                                                                                                                                                                                                  错误修复

                                                                                                                                                                                                                                                                                                                                                                                    -
                                                                                                                                                                                                                                                                                                                                                                                  • 解决了针对 GreaterThan 和 GreaterThanEqual 比较的 Trie 索引范围操作符问题(#36126)
                                                                                                                                                                                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                                                                                                                                                                                  • 更正了marisa_label_order 在 Trie 索引构建中的用法(#36060)
                                                                                                                                                                                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                                                                                                                                                                                  • 增强了trie.predictive_search 的值检查(#35999)
                                                                                                                                                                                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                                                                                                                                                                                  • 在反转索引中启用二进制算术表达式支持(#36097)
                                                                                                                                                                                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                                                                                                                                                                                  • 修复了由 Skipindex 引起的段故障(#35908)
                                                                                                                                                                                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                                                                                                                                                                                  • 解决了代理元缓存中的内存泄漏问题(#36076)
                                                                                                                                                                                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                                                                                                                                                                                  • 重命名了 mmap 文件路径以防止目录冲突(#35975)
                                                                                                                                                                                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                                                                                                                                                                                  • 改进了混合压缩中失败/超时任务的日志记录和清理(#35967)
                                                                                                                                                                                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                                                                                                                                                                                  • 解决了委托人高内存使用时的逻辑死锁问题(#36066)
                                                                                                                                                                                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                                                                                                                                                                                  • 当压实删除所有插入时,实现了空段创建(#36045)
                                                                                                                                                                                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                                                                                                                                                                                  • 更正了 2.4 中旧版本加载信息中的加载字段列表(#36018)
                                                                                                                                                                                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                                                                                                                                                                                  • 修正了 2.4 中的跟踪配置更新逻辑(#35998)
                                                                                                                                                                                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                                                                                                                                                                                  • 解决了动态分区发布期间搜索/查询请求失败的问题(#36019)
                                                                                                                                                                                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                                                                                                                                                                                  • 防止覆盖回退参数(#36006)
                                                                                                                                                                                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                                                                                                                                                                                  • 确保正确注册特权组以进行验证(#35938)
                                                                                                                                                                                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                                                                                                                                                                                  • 防止错误清理数据库限制器节点(#35992)
                                                                                                                                                                                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                                                                                                                                                                                  • 解决了故障恢复后副本不参与查询的问题(#35925)
                                                                                                                                                                                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                                                                                                                                                                                  • 解决了聚类压缩写入器中的数据竞赛问题(#35958)
                                                                                                                                                                                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                                                                                                                                                                                  • 修复了移动操作后的变量引用问题(#35904)
                                                                                                                                                                                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                                                                                                                                                                                  • 实施了集群键跳过加载行为检查(#35899)
                                                                                                                                                                                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                                                                                                                                                                                  • 确保在 2.4 中单次启动 querycoord 观察器(#35817)
                                                                                                                                                                                                                                                                                                                                                                                  • +

                                                                                                                                                                                                                                                                                                                                                                                    Bug fixes

                                                                                                                                                                                                                                                                                                                                                                                      +
                                                                                                                                                                                                                                                                                                                                                                                    • Resolved Trie index range operation issue for GreaterThan and GreaterThanEqual comparisons (#36126)
                                                                                                                                                                                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                                                                                                                                                                                    • Corrected marisa_label_order usage in Trie index construction (#36060)
                                                                                                                                                                                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                                                                                                                                                                                    • Enhanced value checking for trie.predictive_search (#35999)
                                                                                                                                                                                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                                                                                                                                                                                    • Enabled Binary arithmetic expression support on inverted index (#36097)
                                                                                                                                                                                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                                                                                                                                                                                    • Fixed segment fault caused by Skipindex (#35908)
                                                                                                                                                                                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                                                                                                                                                                                    • Resolved memory leak in proxy meta cache (#36076)
                                                                                                                                                                                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                                                                                                                                                                                    • Renamed mmap file path to prevent directory conflicts (#35975)
                                                                                                                                                                                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                                                                                                                                                                                    • Improved logging and cleanup for failed/timeout tasks in mix compaction (#35967)
                                                                                                                                                                                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                                                                                                                                                                                    • Addressed logic deadlock during high memory usage by delegator (#36066)
                                                                                                                                                                                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                                                                                                                                                                                    • Implemented empty segment creation when compaction deletes all inserts (#36045)
                                                                                                                                                                                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                                                                                                                                                                                    • Corrected load field list population from old version load info in 2.4 (#36018)
                                                                                                                                                                                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                                                                                                                                                                                    • Fixed tracing config update logic in 2.4 (#35998)
                                                                                                                                                                                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                                                                                                                                                                                    • Resolved search/query request failures during dynamic partition release (#36019)
                                                                                                                                                                                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                                                                                                                                                                                    • Prevented override of fallback parameters (#36006)
                                                                                                                                                                                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                                                                                                                                                                                    • Ensured proper registration of privilege groups for validation (#35938)
                                                                                                                                                                                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                                                                                                                                                                                    • Prevented mistaken cleanup of db limiter nodes (#35992)
                                                                                                                                                                                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                                                                                                                                                                                    • Addressed issue with replicas not participating in queries after failure recovery (#35925)
                                                                                                                                                                                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                                                                                                                                                                                    • Resolved data race in clustering compaction writer (#35958)
                                                                                                                                                                                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                                                                                                                                                                                    • Fixed variable reference after move operation (#35904)
                                                                                                                                                                                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                                                                                                                                                                                    • Implemented clustering key skip load behavior check (#35899)
                                                                                                                                                                                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                                                                                                                                                                                    • Ensured single startup of querycoord observers in 2.4 (#35817)
                                                                                                                                                                                                                                                                                                                                                                                    -

                                                                                                                                                                                                                                                                                                                                                                                    改进

                                                                                                                                                                                                                                                                                                                                                                                      -
                                                                                                                                                                                                                                                                                                                                                                                    • 将 Milvus 和 proto 版本升级到 2.4.11(#36069)
                                                                                                                                                                                                                                                                                                                                                                                    • -
                                                                                                                                                                                                                                                                                                                                                                                    • 解决了单元测试中的内存泄漏问题,并启用了单元测试构建中的 use_asan 选项(#35857)
                                                                                                                                                                                                                                                                                                                                                                                    • -
                                                                                                                                                                                                                                                                                                                                                                                    • 将 l0segmentsrowcount 限制调整为更合适的值(#36015)
                                                                                                                                                                                                                                                                                                                                                                                    • -
                                                                                                                                                                                                                                                                                                                                                                                    • 将 deltalog 内存估算系数修改为 1(#36035)
                                                                                                                                                                                                                                                                                                                                                                                    • -
                                                                                                                                                                                                                                                                                                                                                                                    • 为加载字段列表比较实施了片段验证(#36062)
                                                                                                                                                                                                                                                                                                                                                                                    • -
                                                                                                                                                                                                                                                                                                                                                                                    • 降低了删除操作的日志频率(#35981)
                                                                                                                                                                                                                                                                                                                                                                                    • -
                                                                                                                                                                                                                                                                                                                                                                                    • 将 etcd 版本升级至 3.5.14(#35977)
                                                                                                                                                                                                                                                                                                                                                                                    • -
                                                                                                                                                                                                                                                                                                                                                                                    • 优化了预热后的 mmap-rss 缩减(#35965)
                                                                                                                                                                                                                                                                                                                                                                                    • -
                                                                                                                                                                                                                                                                                                                                                                                    • 删除了读取请求速率限制器中的冷却期(#35936)
                                                                                                                                                                                                                                                                                                                                                                                    • -
                                                                                                                                                                                                                                                                                                                                                                                    • 增强了对先前加载过的 Collections 的加载字段检查(#35910)
                                                                                                                                                                                                                                                                                                                                                                                    • -
                                                                                                                                                                                                                                                                                                                                                                                    • 在 2.4 中添加了对放弃与特权列表相关的角色的支持(#35863)
                                                                                                                                                                                                                                                                                                                                                                                    • -
                                                                                                                                                                                                                                                                                                                                                                                    • 实施了 depguard 规则,禁止使用已废弃的 proto 库(#35818)
                                                                                                                                                                                                                                                                                                                                                                                    • +

                                                                                                                                                                                                                                                                                                                                                                                      Improvements

                                                                                                                                                                                                                                                                                                                                                                                        +
                                                                                                                                                                                                                                                                                                                                                                                      • Upgraded Milvus & proto version to 2.4.11 (#36069)
                                                                                                                                                                                                                                                                                                                                                                                      • +
                                                                                                                                                                                                                                                                                                                                                                                      • Addressed memory leak in unit tests and enable use_asan option for unittest builds (#35857)
                                                                                                                                                                                                                                                                                                                                                                                      • +
                                                                                                                                                                                                                                                                                                                                                                                      • Adjusted l0segmentsrowcount limits to more appropriate values (#36015)
                                                                                                                                                                                                                                                                                                                                                                                      • +
                                                                                                                                                                                                                                                                                                                                                                                      • Modified deltalog memory estimation factor to one (#36035)
                                                                                                                                                                                                                                                                                                                                                                                      • +
                                                                                                                                                                                                                                                                                                                                                                                      • Implemented slicesetequal for load field list comparisons (#36062)
                                                                                                                                                                                                                                                                                                                                                                                      • +
                                                                                                                                                                                                                                                                                                                                                                                      • Reduced log frequency for delete operations (#35981)
                                                                                                                                                                                                                                                                                                                                                                                      • +
                                                                                                                                                                                                                                                                                                                                                                                      • Upgraded etcd version to 3.5.14 (#35977)
                                                                                                                                                                                                                                                                                                                                                                                      • +
                                                                                                                                                                                                                                                                                                                                                                                      • Optimized mmap-rss reduction after warmup (#35965)
                                                                                                                                                                                                                                                                                                                                                                                      • +
                                                                                                                                                                                                                                                                                                                                                                                      • Removed cooling off period in rate limiter for read requests (#35936)
                                                                                                                                                                                                                                                                                                                                                                                      • +
                                                                                                                                                                                                                                                                                                                                                                                      • Enhanced load field checking for previously loaded collections (#35910)
                                                                                                                                                                                                                                                                                                                                                                                      • +
                                                                                                                                                                                                                                                                                                                                                                                      • Added support for dropping roles related to privilege lists in 2.4 (#35863)
                                                                                                                                                                                                                                                                                                                                                                                      • +
                                                                                                                                                                                                                                                                                                                                                                                      • Implemented depguard rules to prohibit deprecated proto library usage (#35818)
                                                                                                                                                                                                                                                                                                                                                                                      -

                                                                                                                                                                                                                                                                                                                                                                                      其他

                                                                                                                                                                                                                                                                                                                                                                                        -
                                                                                                                                                                                                                                                                                                                                                                                      • 更新了 Knowhere 版本(#36067)
                                                                                                                                                                                                                                                                                                                                                                                      • +

                                                                                                                                                                                                                                                                                                                                                                                        Others

                                                                                                                                                                                                                                                                                                                                                                                          +
                                                                                                                                                                                                                                                                                                                                                                                        • Updated Knowhere version (#36067)

                                                                                                                                                                                                                                                                                                                                                                                        v2.4.10

                                                                                                                                                                                                                                                                                                                                                                                        发布日期: 2024 年 8 月 30 日2024 年 8 月 30 日

                                                                                                                                                                                                                                                                                                                                                                                        +

                                                                                                                                                                                                                                                                                                                                                                                        Release Date: August 30, 2024

                                                                                                                                                                                                                                                                                                                                                                                        - +
                                                                                                                                                                                                                                                                                                                                                                                        Milvus 版本Python SDK 版本Java SDK 版本Node.js SDK 版本
                                                                                                                                                                                                                                                                                                                                                                                        Milvus versionPython SDK versionJava SDK versionNode.js SDK version
                                                                                                                                                                                                                                                                                                                                                                                        2.4.102.4.62.4.32.4.6
                                                                                                                                                                                                                                                                                                                                                                                        -

                                                                                                                                                                                                                                                                                                                                                                                        Milvus 2.4.10 在功能和稳定性方面都有显著改进。主要功能包括支持在启用 AutoID 的 Collections 上进行 upsert 操作、部分 Collections 加载功能以及各种内存映射 (MMAP) 配置,以优化内存使用。该版本还解决了导致恐慌、内核转储和资源泄漏的几个错误。我们建议升级以充分利用这些改进。

                                                                                                                                                                                                                                                                                                                                                                                        -

                                                                                                                                                                                                                                                                                                                                                                                        功能特性

                                                                                                                                                                                                                                                                                                                                                                                          -
                                                                                                                                                                                                                                                                                                                                                                                        • 带自动 ID 的倒插操作:支持自动生成 ID 的倒插操作(#34633)
                                                                                                                                                                                                                                                                                                                                                                                        • -
                                                                                                                                                                                                                                                                                                                                                                                        • 字段部分加载 Collections[测试版预览]:允许加载 Collections 的特定字段(#35696)
                                                                                                                                                                                                                                                                                                                                                                                        • -
                                                                                                                                                                                                                                                                                                                                                                                        • RBAC 增强功能
                                                                                                                                                                                                                                                                                                                                                                                            -
                                                                                                                                                                                                                                                                                                                                                                                          • 为变更数据捕获(CDC)添加了 RBAC 消息支持(#35562)
                                                                                                                                                                                                                                                                                                                                                                                          • -
                                                                                                                                                                                                                                                                                                                                                                                          • 引入只读/读写/管理员权限组,以简化 RBAC 授权流程(#35543)
                                                                                                                                                                                                                                                                                                                                                                                          • -
                                                                                                                                                                                                                                                                                                                                                                                          • 用于备份和恢复 RBAC 配置的新 API(#35513)
                                                                                                                                                                                                                                                                                                                                                                                          • -
                                                                                                                                                                                                                                                                                                                                                                                          • 恢复 RBAC 元数据后刷新代理缓存(#35636)
                                                                                                                                                                                                                                                                                                                                                                                          • +

                                                                                                                                                                                                                                                                                                                                                                                            Milvus 2.4.10 introduces significant improvements in functionality and stability. Key features include support for upsert operations on AutoID-enabled collections, partial collection loading capabilities, and various memory-mapped (MMAP) configurations to optimize memory usage. This release also addresses several bugs causing panics, core dumps, and resource leaks. We recommend upgrading to take full advantage of these improvements.

                                                                                                                                                                                                                                                                                                                                                                                            +

                                                                                                                                                                                                                                                                                                                                                                                            Features

                                                                                                                                                                                                                                                                                                                                                                                              +
                                                                                                                                                                                                                                                                                                                                                                                            • Upsert with Auto ID: Support for upsert operations with automatic ID generation (#34633)
                                                                                                                                                                                                                                                                                                                                                                                            • +
                                                                                                                                                                                                                                                                                                                                                                                            • Field Partial Load Collection [Beta Preview]: Allows loading specific fields of a collection (#35696)
                                                                                                                                                                                                                                                                                                                                                                                            • +
                                                                                                                                                                                                                                                                                                                                                                                            • RBAC Enhancements: +
                                                                                                                                                                                                                                                                                                                                                                                                +
                                                                                                                                                                                                                                                                                                                                                                                              • Added RBAC message support for Change Data Capture (CDC) (#35562)
                                                                                                                                                                                                                                                                                                                                                                                              • +
                                                                                                                                                                                                                                                                                                                                                                                              • Introduced readonly/readwrite/admin privilege groups to simplify RBAC grant process (#35543)
                                                                                                                                                                                                                                                                                                                                                                                              • +
                                                                                                                                                                                                                                                                                                                                                                                              • New API for backing up and restoring RBAC configurations (#35513)
                                                                                                                                                                                                                                                                                                                                                                                              • +
                                                                                                                                                                                                                                                                                                                                                                                              • Refresh proxy cache after restoring RBAC metadata (#35636)
                                                                                                                                                                                                                                                                                                                                                                                            • -
                                                                                                                                                                                                                                                                                                                                                                                            • 改进了 MMAP 配置:控制 MMAP 行为的更多通用配置选项(#35609)
                                                                                                                                                                                                                                                                                                                                                                                            • -
                                                                                                                                                                                                                                                                                                                                                                                            • 数据库访问限制:限制数据库读取访问的新属性(#35754)
                                                                                                                                                                                                                                                                                                                                                                                            • +
                                                                                                                                                                                                                                                                                                                                                                                            • Improved MMAP Configuration: More general configuration options to control MMAP behavior (#35609)
                                                                                                                                                                                                                                                                                                                                                                                            • +
                                                                                                                                                                                                                                                                                                                                                                                            • Database Access Restrictions: New properties to restrict read access to databases (#35754)
                                                                                                                                                                                                                                                                                                                                                                                            -

                                                                                                                                                                                                                                                                                                                                                                                            错误修复

                                                                                                                                                                                                                                                                                                                                                                                              -
                                                                                                                                                                                                                                                                                                                                                                                            • 修正了箭头围棋客户端不返回错误的问题(#35820)
                                                                                                                                                                                                                                                                                                                                                                                            • -
                                                                                                                                                                                                                                                                                                                                                                                            • 修正了不准确的速率限制(#35700)
                                                                                                                                                                                                                                                                                                                                                                                            • -
                                                                                                                                                                                                                                                                                                                                                                                            • 解决了导入相关 API 失败后代理恐慌的问题(#35559)
                                                                                                                                                                                                                                                                                                                                                                                            • -
                                                                                                                                                                                                                                                                                                                                                                                            • 修正了 GC 通道检查点期间可能出现的错误删除(#35708)
                                                                                                                                                                                                                                                                                                                                                                                            • -
                                                                                                                                                                                                                                                                                                                                                                                            • 解决了因候选导入段为空而导致的恐慌(#35674)
                                                                                                                                                                                                                                                                                                                                                                                            • -
                                                                                                                                                                                                                                                                                                                                                                                            • 修正了 mmap 内存分配(#35726)
                                                                                                                                                                                                                                                                                                                                                                                            • -
                                                                                                                                                                                                                                                                                                                                                                                            • 确保从 2.2 升级到 2.4 时正确观察通道(#35695)
                                                                                                                                                                                                                                                                                                                                                                                            • -
                                                                                                                                                                                                                                                                                                                                                                                            • 修正了数据节点解除观察通道释放功能(#35657)
                                                                                                                                                                                                                                                                                                                                                                                            • -
                                                                                                                                                                                                                                                                                                                                                                                            • 修正了 RootCoord 元数据中的分区计数(#35601)
                                                                                                                                                                                                                                                                                                                                                                                            • -
                                                                                                                                                                                                                                                                                                                                                                                            • 解决了某些参数的动态配置更新问题(#35637)
                                                                                                                                                                                                                                                                                                                                                                                            • +

                                                                                                                                                                                                                                                                                                                                                                                              Bug fixes

                                                                                                                                                                                                                                                                                                                                                                                                +
                                                                                                                                                                                                                                                                                                                                                                                              • Fixed Arrow Go client don’t return error issue (#35820)
                                                                                                                                                                                                                                                                                                                                                                                              • +
                                                                                                                                                                                                                                                                                                                                                                                              • Corrected inaccurate rate limiting (#35700)
                                                                                                                                                                                                                                                                                                                                                                                              • +
                                                                                                                                                                                                                                                                                                                                                                                              • Resolved proxy panic after import-related API failures (#35559)
                                                                                                                                                                                                                                                                                                                                                                                              • +
                                                                                                                                                                                                                                                                                                                                                                                              • Fixed potential mistaken deletions during GC channel checkpoints (#35708)
                                                                                                                                                                                                                                                                                                                                                                                              • +
                                                                                                                                                                                                                                                                                                                                                                                              • Addressed panic due to empty candidate import segments (#35674)
                                                                                                                                                                                                                                                                                                                                                                                              • +
                                                                                                                                                                                                                                                                                                                                                                                              • Corrected mmap memory deallocation (#35726)
                                                                                                                                                                                                                                                                                                                                                                                              • +
                                                                                                                                                                                                                                                                                                                                                                                              • Ensured proper channel watching for upgrades from 2.2 to 2.4 (#35695)
                                                                                                                                                                                                                                                                                                                                                                                              • +
                                                                                                                                                                                                                                                                                                                                                                                              • Fixed DataNode unwatching channel release function (#35657)
                                                                                                                                                                                                                                                                                                                                                                                              • +
                                                                                                                                                                                                                                                                                                                                                                                              • Corrected partition count in RootCoord metadata (#35601)
                                                                                                                                                                                                                                                                                                                                                                                              • +
                                                                                                                                                                                                                                                                                                                                                                                              • Resolved issues with dynamic config updates for certain parameters (#35637)
                                                                                                                                                                                                                                                                                                                                                                                              -

                                                                                                                                                                                                                                                                                                                                                                                              改进

                                                                                                                                                                                                                                                                                                                                                                                              性能

                                                                                                                                                                                                                                                                                                                                                                                                -
                                                                                                                                                                                                                                                                                                                                                                                              • 优化了动态 Field 的检索(#35602)
                                                                                                                                                                                                                                                                                                                                                                                              • -
                                                                                                                                                                                                                                                                                                                                                                                              • 提高了 AVX512 的比特集性能(#35480)
                                                                                                                                                                                                                                                                                                                                                                                              • -
                                                                                                                                                                                                                                                                                                                                                                                              • once 初始化后重新读取值,以提高效率(#35643)
                                                                                                                                                                                                                                                                                                                                                                                              • +

                                                                                                                                                                                                                                                                                                                                                                                                Improvements

                                                                                                                                                                                                                                                                                                                                                                                                Performance

                                                                                                                                                                                                                                                                                                                                                                                                  +
                                                                                                                                                                                                                                                                                                                                                                                                • Optimized retrieval on dynamic fields (#35602)
                                                                                                                                                                                                                                                                                                                                                                                                • +
                                                                                                                                                                                                                                                                                                                                                                                                • Improved bitset performance for AVX512 (#35480)
                                                                                                                                                                                                                                                                                                                                                                                                • +
                                                                                                                                                                                                                                                                                                                                                                                                • Re-read value after once initialization for better efficiency (#35643)
                                                                                                                                                                                                                                                                                                                                                                                                -

                                                                                                                                                                                                                                                                                                                                                                                                滚动升级改进

                                                                                                                                                                                                                                                                                                                                                                                                  -
                                                                                                                                                                                                                                                                                                                                                                                                • 将暂停后的查询节点标记为只读节点(#35586)
                                                                                                                                                                                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                                                                                                                                                                                • 防止旧协调器与新节点/代理共存(#35760)
                                                                                                                                                                                                                                                                                                                                                                                                • +

                                                                                                                                                                                                                                                                                                                                                                                                  Rolling upgrade improvements

                                                                                                                                                                                                                                                                                                                                                                                                    +
                                                                                                                                                                                                                                                                                                                                                                                                  • Marked query node as read-only after suspended (#35586)
                                                                                                                                                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                                                                                                                                                  • Prevented coexistence of old coordinator with new node/proxy (#35760)
                                                                                                                                                                                                                                                                                                                                                                                                  -

                                                                                                                                                                                                                                                                                                                                                                                                  其他

                                                                                                                                                                                                                                                                                                                                                                                                    -
                                                                                                                                                                                                                                                                                                                                                                                                  • 优化了 Milvus 核心构建流程(#35660)
                                                                                                                                                                                                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                                                                                                                                                                                                  • 更新至 protobuf-go v2(#35555)
                                                                                                                                                                                                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                                                                                                                                                                                                  • 为 traceid 和 spanid 增强了使用十六进制字符串编码的追踪功能(#35568)
                                                                                                                                                                                                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                                                                                                                                                                                                  • 为查询钩子添加了命中段数指标(#35619)
                                                                                                                                                                                                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                                                                                                                                                                                                  • 改进了配置加载参数功能与旧 SDK 的兼容性(#35573)
                                                                                                                                                                                                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                                                                                                                                                                                                  • 添加了对 HTTP v1/v2 节流的支持(#35504)
                                                                                                                                                                                                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                                                                                                                                                                                                  • 修正了索引内存估算(#35670)
                                                                                                                                                                                                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                                                                                                                                                                                                  • 能够在混合压缩器中写入多个片段,以避免生成大片段(#35648)
                                                                                                                                                                                                                                                                                                                                                                                                  • +

                                                                                                                                                                                                                                                                                                                                                                                                    Others

                                                                                                                                                                                                                                                                                                                                                                                                      +
                                                                                                                                                                                                                                                                                                                                                                                                    • Optimized Milvus core building process (#35660)
                                                                                                                                                                                                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                                                                                                                                                                                                    • Updated to protobuf-go v2 (#35555)
                                                                                                                                                                                                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                                                                                                                                                                                                    • Enhanced tracing with hex string encoding for traceid and spanid (#35568)
                                                                                                                                                                                                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                                                                                                                                                                                                    • Added hit segment number metrics for query hook (#35619)
                                                                                                                                                                                                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                                                                                                                                                                                                    • Improved compatibility with old SDK for configure load param feature (#35573)
                                                                                                                                                                                                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                                                                                                                                                                                                    • Added support for HTTP v1/v2 throttling (#35504)
                                                                                                                                                                                                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                                                                                                                                                                                                    • Fixed index memory estimation (#35670)
                                                                                                                                                                                                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                                                                                                                                                                                                    • Ability to write multiple segments in mix compactor to avoid large segment generation (#35648)

                                                                                                                                                                                                                                                                                                                                                                                                    v2.4.9

                                                                                                                                                                                                                                                                                                                                                                                                    发布日期2024 年 8 月 20 日

                                                                                                                                                                                                                                                                                                                                                                                                    +

                                                                                                                                                                                                                                                                                                                                                                                                    Release Date: August 20, 2024

                                                                                                                                                                                                                                                                                                                                                                                                    - +
                                                                                                                                                                                                                                                                                                                                                                                                    Milvus 版本Python SDK 版本Java SDK 版本Node.js SDK 版本
                                                                                                                                                                                                                                                                                                                                                                                                    Milvus versionPython SDK versionJava SDK versionNode.js SDK version
                                                                                                                                                                                                                                                                                                                                                                                                    2.4.92.4.52.4.32.4.4
                                                                                                                                                                                                                                                                                                                                                                                                    -

                                                                                                                                                                                                                                                                                                                                                                                                    Milvus v2.4.9 解决了在某些角落情况下可能返回结果小于 limit (topk) 的关键问题,并包含几项关键改进,以提高平台的性能和可用性。

                                                                                                                                                                                                                                                                                                                                                                                                    -

                                                                                                                                                                                                                                                                                                                                                                                                    关键修复

                                                                                                                                                                                                                                                                                                                                                                                                      -
                                                                                                                                                                                                                                                                                                                                                                                                    • 将 l0 段排除在可读快照之外(#35510)。
                                                                                                                                                                                                                                                                                                                                                                                                    • +

                                                                                                                                                                                                                                                                                                                                                                                                      Milvus v2.4.9 addresses a critical issue which could return results less than limit (topk) in some corner cases and includes several key improvements to enhance the performance and usability of the platform.

                                                                                                                                                                                                                                                                                                                                                                                                      +

                                                                                                                                                                                                                                                                                                                                                                                                      Critical fixes

                                                                                                                                                                                                                                                                                                                                                                                                        +
                                                                                                                                                                                                                                                                                                                                                                                                      • Excluded l0 segment from readable snapshot (#35510).
                                                                                                                                                                                                                                                                                                                                                                                                      -

                                                                                                                                                                                                                                                                                                                                                                                                      改进

                                                                                                                                                                                                                                                                                                                                                                                                        -
                                                                                                                                                                                                                                                                                                                                                                                                      • 删除了代理中重复创建的 Schema 辅助程序(#35502)。
                                                                                                                                                                                                                                                                                                                                                                                                      • -
                                                                                                                                                                                                                                                                                                                                                                                                      • 添加了对在 Ubuntu 20.04 上编译 Milvus 的支持(#35457)。
                                                                                                                                                                                                                                                                                                                                                                                                      • -
                                                                                                                                                                                                                                                                                                                                                                                                      • 优化了锁的使用,避免了集群缓冲区写入器的双重刷新(#35490)。
                                                                                                                                                                                                                                                                                                                                                                                                      • -
                                                                                                                                                                                                                                                                                                                                                                                                      • 删除了无效日志(#35473)。
                                                                                                                                                                                                                                                                                                                                                                                                      • -
                                                                                                                                                                                                                                                                                                                                                                                                      • 添加了聚类压缩用户指南文档(#35428)。
                                                                                                                                                                                                                                                                                                                                                                                                      • -
                                                                                                                                                                                                                                                                                                                                                                                                      • 在 Schema 助手中添加了对动态字段的支持(#35469)。
                                                                                                                                                                                                                                                                                                                                                                                                      • -
                                                                                                                                                                                                                                                                                                                                                                                                      • 在生成的 YAML 中添加了 msgchannel 部分(#35466)。
                                                                                                                                                                                                                                                                                                                                                                                                      • +

                                                                                                                                                                                                                                                                                                                                                                                                        Improvements

                                                                                                                                                                                                                                                                                                                                                                                                          +
                                                                                                                                                                                                                                                                                                                                                                                                        • Removed duplicated schema helper creation in the proxy (#35502).
                                                                                                                                                                                                                                                                                                                                                                                                        • +
                                                                                                                                                                                                                                                                                                                                                                                                        • Added support for compiling Milvus on Ubuntu 20.04 (#35457).
                                                                                                                                                                                                                                                                                                                                                                                                        • +
                                                                                                                                                                                                                                                                                                                                                                                                        • Optimized the use of locks and avoided double flush clustering buffer writer (#35490).
                                                                                                                                                                                                                                                                                                                                                                                                        • +
                                                                                                                                                                                                                                                                                                                                                                                                        • Removed the invalid log (#35473).
                                                                                                                                                                                                                                                                                                                                                                                                        • +
                                                                                                                                                                                                                                                                                                                                                                                                        • Added a clustering compaction user guide doc (#35428).
                                                                                                                                                                                                                                                                                                                                                                                                        • +
                                                                                                                                                                                                                                                                                                                                                                                                        • Added support for dynamic fields in the schema helper (#35469).
                                                                                                                                                                                                                                                                                                                                                                                                        • +
                                                                                                                                                                                                                                                                                                                                                                                                        • Added the msgchannel section in the generated YAML (#35466).

                                                                                                                                                                                                                                                                                                                                                                                                        v2.4.8

                                                                                                                                                                                                                                                                                                                                                                                                        发布日期:2024 年 8 月 14 日

                                                                                                                                                                                                                                                                                                                                                                                                        +

                                                                                                                                                                                                                                                                                                                                                                                                        Release Date: August 14, 2024

                                                                                                                                                                                                                                                                                                                                                                                                        - +
                                                                                                                                                                                                                                                                                                                                                                                                        Milvus 版本Python SDK 版本Java SDK 版本Node.js SDK 版本
                                                                                                                                                                                                                                                                                                                                                                                                        Milvus versionPython SDK versionJava SDK versionNode.js SDK version
                                                                                                                                                                                                                                                                                                                                                                                                        2.4.82.4.52.4.32.4.4
                                                                                                                                                                                                                                                                                                                                                                                                        -

                                                                                                                                                                                                                                                                                                                                                                                                        Milvus 2.4.8 对系统的性能和稳定性进行了多项重大改进。最显著的特点是实现了聚类压缩,这种机制可根据指定的聚类密钥重新分配大型 Collections 中的数据,减少扫描的数据量,从而提高搜索和查询效率。压缩还与分片数据节点解耦,允许任何数据节点独立执行压缩,从而提高了容错性、稳定性、性能和可扩展性。此外,还重构了 Go 和 C++ 组件之间的接口,使用异步 CGO 调用,解决了会话超时等问题,并根据剖析结果对其他性能进行了优化。此外,还更新了应用程序的依赖关系,以解决已知的安全漏洞。此外,该版本还包含大量性能优化和重要错误修复。

                                                                                                                                                                                                                                                                                                                                                                                                        -

                                                                                                                                                                                                                                                                                                                                                                                                        功能特性

                                                                                                                                                                                                                                                                                                                                                                                                          -
                                                                                                                                                                                                                                                                                                                                                                                                        • 实现了聚类压缩,允许根据指定的聚类密钥重新分配数据,以提高查询效率(#34326),(#34363).
                                                                                                                                                                                                                                                                                                                                                                                                        • +

                                                                                                                                                                                                                                                                                                                                                                                                          Milvus 2.4.8 introduced several significant improvements to the system’s performance and stability. The most notable feature was the implementation of clustering compaction, a mechanism that enhances search and query efficiency by redistributing data in large collections based on a designated clustering key, reducing the amount of data scanned. Compaction was also decoupled from the shard DataNode, allowing any DataNode to perform compaction independently, which improved fault tolerance, stability, performance, and scalability. Additionally, the interface between the Go and C++ components was refactored to use asynchronous CGO calls, addressing issues like session timeouts, while several other performance optimizations were made based on profiling. The application dependencies were also updated to address known security vulnerabilities. Moreover, this release also includes numerous performance optimizations and critical bug fixes.

                                                                                                                                                                                                                                                                                                                                                                                                          +

                                                                                                                                                                                                                                                                                                                                                                                                          Features

                                                                                                                                                                                                                                                                                                                                                                                                            +
                                                                                                                                                                                                                                                                                                                                                                                                          • Implemented clustering compaction, allowing data to be redistributed based on a designated clustering key to enhance query efficiency (#34326), (#34363).
                                                                                                                                                                                                                                                                                                                                                                                                          -

                                                                                                                                                                                                                                                                                                                                                                                                          改进

                                                                                                                                                                                                                                                                                                                                                                                                            -
                                                                                                                                                                                                                                                                                                                                                                                                          • 在 CGO 中实现了异步搜索和检索功能。(#34200)
                                                                                                                                                                                                                                                                                                                                                                                                          • -
                                                                                                                                                                                                                                                                                                                                                                                                          • 将压缩过程从碎片数据节点中分离出来,以提高系统模块化程度。(#34157)
                                                                                                                                                                                                                                                                                                                                                                                                          • -
                                                                                                                                                                                                                                                                                                                                                                                                          • 在代理/委托器中的 QueryNode 中添加了对客户端池的支持,以提高性能。(#35195)
                                                                                                                                                                                                                                                                                                                                                                                                          • -
                                                                                                                                                                                                                                                                                                                                                                                                          • 在 Gin 和 RestfulV1 处理器中集成了 Sonic,以尽量减少 JSON marshaling 和 unmarshaling 过程中的 CPU 开销。(#35018)
                                                                                                                                                                                                                                                                                                                                                                                                          • -
                                                                                                                                                                                                                                                                                                                                                                                                          • 引入内存缓存,优化验证结果检索。(#35272)
                                                                                                                                                                                                                                                                                                                                                                                                          • -
                                                                                                                                                                                                                                                                                                                                                                                                          • 修改了自动索引的默认度量类型。[#34277,#34479]
                                                                                                                                                                                                                                                                                                                                                                                                          • -
                                                                                                                                                                                                                                                                                                                                                                                                          • 重构了变量列的运行时内存格式,从而减少了内存使用。[#34367,#35012,#35041]
                                                                                                                                                                                                                                                                                                                                                                                                          • -
                                                                                                                                                                                                                                                                                                                                                                                                          • 重构了压缩过程,以启用持久数据存储。(#34268)
                                                                                                                                                                                                                                                                                                                                                                                                          • -
                                                                                                                                                                                                                                                                                                                                                                                                          • 为不断增长的段启用内存映射文件支持,改善内存管理。(#34110)
                                                                                                                                                                                                                                                                                                                                                                                                          • -
                                                                                                                                                                                                                                                                                                                                                                                                          • 通过添加 RESTful API 支持、记录一致性级别以及区分系统错误和用户错误,改进了访问日志。[#34295 , #34352 , #34396]
                                                                                                                                                                                                                                                                                                                                                                                                          • -
                                                                                                                                                                                                                                                                                                                                                                                                          • 在 Knowhere 中使用新的range_search_k 参数,加快范围搜索速度。(#34709)
                                                                                                                                                                                                                                                                                                                                                                                                          • -
                                                                                                                                                                                                                                                                                                                                                                                                          • 应用阻塞式 Bloom 过滤器,提高过滤器构建和查询的速度。[#34377,#34922]
                                                                                                                                                                                                                                                                                                                                                                                                          • -
                                                                                                                                                                                                                                                                                                                                                                                                          • 内存使用改进:
                                                                                                                                                                                                                                                                                                                                                                                                              -
                                                                                                                                                                                                                                                                                                                                                                                                            • 为数据节点插入缓冲区预分配空间。(#34205)
                                                                                                                                                                                                                                                                                                                                                                                                            • -
                                                                                                                                                                                                                                                                                                                                                                                                            • 为还原操作预分配FieldData(#34254)
                                                                                                                                                                                                                                                                                                                                                                                                            • -
                                                                                                                                                                                                                                                                                                                                                                                                            • 在删除编解码器中释放记录以防止内存泄漏。(#34506)
                                                                                                                                                                                                                                                                                                                                                                                                            • -
                                                                                                                                                                                                                                                                                                                                                                                                            • 在文件加载过程中控制磁盘文件管理器的并发级别。(#35282)
                                                                                                                                                                                                                                                                                                                                                                                                            • -
                                                                                                                                                                                                                                                                                                                                                                                                            • 优化了 Go 运行时的垃圾 Collections 逻辑,以便及时释放内存。(#34950)
                                                                                                                                                                                                                                                                                                                                                                                                            • -
                                                                                                                                                                                                                                                                                                                                                                                                            • 为不断增长的分段实施了新的密封策略。(#34779)
                                                                                                                                                                                                                                                                                                                                                                                                            • +

                                                                                                                                                                                                                                                                                                                                                                                                              Improvements

                                                                                                                                                                                                                                                                                                                                                                                                                +
                                                                                                                                                                                                                                                                                                                                                                                                              • Implemented asynchronous search and retrieval capabilities in CGO. (#34200)
                                                                                                                                                                                                                                                                                                                                                                                                              • +
                                                                                                                                                                                                                                                                                                                                                                                                              • Separated the compaction process from the Shard DataNode to improve system modularity. (#34157)
                                                                                                                                                                                                                                                                                                                                                                                                              • +
                                                                                                                                                                                                                                                                                                                                                                                                              • Added support for client pooling in QueryNode within the proxy/delegator to enhance performance. (#35195)
                                                                                                                                                                                                                                                                                                                                                                                                              • +
                                                                                                                                                                                                                                                                                                                                                                                                              • Integrated Sonic to minimize CPU overhead during JSON marshaling and unmarshaling in Gin and RestfulV1 handlers. (#35018)
                                                                                                                                                                                                                                                                                                                                                                                                              • +
                                                                                                                                                                                                                                                                                                                                                                                                              • Introduced an in-memory cache to optimize authentication result retrieval. (#35272)
                                                                                                                                                                                                                                                                                                                                                                                                              • +
                                                                                                                                                                                                                                                                                                                                                                                                              • Modified the default metric type for autoindex. [#34277, #34479]
                                                                                                                                                                                                                                                                                                                                                                                                              • +
                                                                                                                                                                                                                                                                                                                                                                                                              • Refactored the runtime memory format for variable columns, leading to reduced memory usage. [#34367, #35012, #35041]
                                                                                                                                                                                                                                                                                                                                                                                                              • +
                                                                                                                                                                                                                                                                                                                                                                                                              • Refactored compaction processes to enable persistent data storage. (#34268)
                                                                                                                                                                                                                                                                                                                                                                                                              • +
                                                                                                                                                                                                                                                                                                                                                                                                              • Enabled memory-mapped file support for growing segments, improving memory management. (#34110)
                                                                                                                                                                                                                                                                                                                                                                                                              • +
                                                                                                                                                                                                                                                                                                                                                                                                              • Improved access logs by adding RESTful API support, logging consistency levels, and distinguishing between system and user errors. [#34295, #34352, #34396]
                                                                                                                                                                                                                                                                                                                                                                                                              • +
                                                                                                                                                                                                                                                                                                                                                                                                              • Utilized the new range_search_k parameter in Knowhere to speed up range searches. (#34709)
                                                                                                                                                                                                                                                                                                                                                                                                              • +
                                                                                                                                                                                                                                                                                                                                                                                                              • Applied blocked Bloom filters to enhance the speed of filter construction and querying. [#34377, #34922]
                                                                                                                                                                                                                                                                                                                                                                                                              • +
                                                                                                                                                                                                                                                                                                                                                                                                              • Memory Usage Improvements: +
                                                                                                                                                                                                                                                                                                                                                                                                                  +
                                                                                                                                                                                                                                                                                                                                                                                                                • Pre-allocated space for DataNode insert buffers. (#34205)
                                                                                                                                                                                                                                                                                                                                                                                                                • +
                                                                                                                                                                                                                                                                                                                                                                                                                • Pre-allocated FieldData for Reduce operations. (#34254)
                                                                                                                                                                                                                                                                                                                                                                                                                • +
                                                                                                                                                                                                                                                                                                                                                                                                                • Released records in delete codec to prevent memory leaks. (#34506)
                                                                                                                                                                                                                                                                                                                                                                                                                • +
                                                                                                                                                                                                                                                                                                                                                                                                                • Controlled concurrency level of the disk file manager during file loading. (#35282)
                                                                                                                                                                                                                                                                                                                                                                                                                • +
                                                                                                                                                                                                                                                                                                                                                                                                                • Optimized Go runtime garbage collection logic for timely memory release. (#34950)
                                                                                                                                                                                                                                                                                                                                                                                                                • +
                                                                                                                                                                                                                                                                                                                                                                                                                • Implemented a new seal policy for growing segments. (#34779)
                                                                                                                                                                                                                                                                                                                                                                                                              • -
                                                                                                                                                                                                                                                                                                                                                                                                              • 增强了 DataCoord:
                                                                                                                                                                                                                                                                                                                                                                                                                  -
                                                                                                                                                                                                                                                                                                                                                                                                                • 降低 CPU 占用率。[#34231,#34309]
                                                                                                                                                                                                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                                                                                                                                                                                                • 实现了更快的垃圾 Collections 退出逻辑。(#35051)
                                                                                                                                                                                                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                                                                                                                                                                                                • 改进了工作节点调度算法。(#34382)
                                                                                                                                                                                                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                                                                                                                                                                                                • 增强了专门针对导入操作的段大小控制算法。(#35149)
                                                                                                                                                                                                                                                                                                                                                                                                                • +
                                                                                                                                                                                                                                                                                                                                                                                                                • DataCoord Enhancements: +
                                                                                                                                                                                                                                                                                                                                                                                                                    +
                                                                                                                                                                                                                                                                                                                                                                                                                  • Reduced CPU usage. [#34231, #34309]
                                                                                                                                                                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                                                                                                                                                                  • Implemented faster garbage collection exit logic. (#35051)
                                                                                                                                                                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                                                                                                                                                                  • Improved worker node scheduling algorithms. (#34382)
                                                                                                                                                                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                                                                                                                                                                  • Enhanced segment size control algorithm specifically for import operations. (#35149)
                                                                                                                                                                                                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                                                                                                                                                                                                • 负载平衡算法改进:
                                                                                                                                                                                                                                                                                                                                                                                                                    -
                                                                                                                                                                                                                                                                                                                                                                                                                  • 降低了委托人的内存超载系数。(#35164)
                                                                                                                                                                                                                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                                                                                                                                                                                                                  • 为委托人分配固定内存大小。(#34600)
                                                                                                                                                                                                                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                                                                                                                                                                                                                  • 避免为新查询节点分配过多的段和通道。(#34245)
                                                                                                                                                                                                                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                                                                                                                                                                                                                  • 减少查询协调器每个调度周期的任务数量,同时提高调度频率。(#34987)
                                                                                                                                                                                                                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                                                                                                                                                                                                                  • 增强了数据节点上的通道平衡算法(#35033)
                                                                                                                                                                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                                                                                                                                                                  • Load Balancing Algorithm Improvements: +
                                                                                                                                                                                                                                                                                                                                                                                                                      +
                                                                                                                                                                                                                                                                                                                                                                                                                    • Reduced the memory overload factor on the delegator. (#35164)
                                                                                                                                                                                                                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                                                                                                                                                                                                                    • Allocated fixed memory size for the delegator. (#34600)
                                                                                                                                                                                                                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                                                                                                                                                                                                                    • Avoided excessive allocation of segments and channels for new query nodes. (#34245)
                                                                                                                                                                                                                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                                                                                                                                                                                                                    • Reduced the number of tasks per scheduling cycle by Query Coordinator while increasing scheduling frequency. (#34987)
                                                                                                                                                                                                                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                                                                                                                                                                                                                    • Enhanced channel balancing algorithm on the DataNode. (#35033)
                                                                                                                                                                                                                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                                                                                                                                                                                                                  • 扩展了系统指标:在各种组件中添加了新指标,以监控特定方面,包括
                                                                                                                                                                                                                                                                                                                                                                                                                      -
                                                                                                                                                                                                                                                                                                                                                                                                                    • 强制拒绝写入状态。(#34989)
                                                                                                                                                                                                                                                                                                                                                                                                                    • -
                                                                                                                                                                                                                                                                                                                                                                                                                    • 队列延迟。(#34788)
                                                                                                                                                                                                                                                                                                                                                                                                                    • -
                                                                                                                                                                                                                                                                                                                                                                                                                    • 磁盘配额。(#35306)
                                                                                                                                                                                                                                                                                                                                                                                                                    • -
                                                                                                                                                                                                                                                                                                                                                                                                                    • 任务执行时间。(#35141)
                                                                                                                                                                                                                                                                                                                                                                                                                    • -
                                                                                                                                                                                                                                                                                                                                                                                                                    • 备用日志大小。(#35235)
                                                                                                                                                                                                                                                                                                                                                                                                                    • -
                                                                                                                                                                                                                                                                                                                                                                                                                    • 插入率。(#35188)
                                                                                                                                                                                                                                                                                                                                                                                                                    • -
                                                                                                                                                                                                                                                                                                                                                                                                                    • 内存高水位。(#35188)
                                                                                                                                                                                                                                                                                                                                                                                                                    • -
                                                                                                                                                                                                                                                                                                                                                                                                                    • RESTful API 指标。(#35083)
                                                                                                                                                                                                                                                                                                                                                                                                                    • -
                                                                                                                                                                                                                                                                                                                                                                                                                    • 搜索延迟。(#34783)
                                                                                                                                                                                                                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                                                                                                                                                                                                                    • Expanded System Metrics: Added new metrics across various components to monitor specific aspects including: +
                                                                                                                                                                                                                                                                                                                                                                                                                    -

                                                                                                                                                                                                                                                                                                                                                                                                                    更改

                                                                                                                                                                                                                                                                                                                                                                                                                      -
                                                                                                                                                                                                                                                                                                                                                                                                                    • 对于开源用户,该版本将自动索引中FloatVectorBinaryVector 的度量类型分别改为CosineHamming

                                                                                                                                                                                                                                                                                                                                                                                                                    • -
                                                                                                                                                                                                                                                                                                                                                                                                                    • 固定的第三方依赖版本

                                                                                                                                                                                                                                                                                                                                                                                                                      +

                                                                                                                                                                                                                                                                                                                                                                                                                      Changes

                                                                                                                                                                                                                                                                                                                                                                                                                        +
                                                                                                                                                                                                                                                                                                                                                                                                                      • For open-source users, this version changes the metric types in AutoIndex for FloatVector and BinaryVector to Cosine and Hamming, respectively.

                                                                                                                                                                                                                                                                                                                                                                                                                      • +
                                                                                                                                                                                                                                                                                                                                                                                                                      • Fixed Third-Party Dependency Versions:

                                                                                                                                                                                                                                                                                                                                                                                                                          -
                                                                                                                                                                                                                                                                                                                                                                                                                        • 该版本引入了某些第三方依赖库的固定版本,大大加强了 Milvus 的软件供应链管理。
                                                                                                                                                                                                                                                                                                                                                                                                                        • -
                                                                                                                                                                                                                                                                                                                                                                                                                        • 通过将项目与上游变更隔离开来,它可以保护日常构建免受潜在中断的影响。
                                                                                                                                                                                                                                                                                                                                                                                                                        • -
                                                                                                                                                                                                                                                                                                                                                                                                                        • 该更新通过在 JFrog Cloud 上独家托管经过验证的 C++ 第三方软件包和使用 Conan Recipe Revisions (RREV) 来确保稳定性。
                                                                                                                                                                                                                                                                                                                                                                                                                        • -
                                                                                                                                                                                                                                                                                                                                                                                                                        • 这种方法降低了因 ConanCenter 更新而产生破坏性变更的风险。
                                                                                                                                                                                                                                                                                                                                                                                                                        • -
                                                                                                                                                                                                                                                                                                                                                                                                                        • 使用 Ubuntu 22.04 的开发人员将立即受益于这些变更。不过,使用其他操作系统的开发人员可能需要升级他们的glibc 版本,以避免出现兼容性问题。
                                                                                                                                                                                                                                                                                                                                                                                                                        • +
                                                                                                                                                                                                                                                                                                                                                                                                                        • This release introduces fixed versions for certain third-party dependency libraries, significantly enhancing Milvus’s software supply chain management.
                                                                                                                                                                                                                                                                                                                                                                                                                        • +
                                                                                                                                                                                                                                                                                                                                                                                                                        • By isolating the project from upstream changes, it safeguards daily builds from potential disruptions.
                                                                                                                                                                                                                                                                                                                                                                                                                        • +
                                                                                                                                                                                                                                                                                                                                                                                                                        • The update ensures stability by exclusively hosting validated C++ third-party packages on JFrog Cloud and utilizing Conan Recipe Revisions (RREV).
                                                                                                                                                                                                                                                                                                                                                                                                                        • +
                                                                                                                                                                                                                                                                                                                                                                                                                        • This approach mitigates the risk of breaking changes from updates in ConanCenter.
                                                                                                                                                                                                                                                                                                                                                                                                                        • +
                                                                                                                                                                                                                                                                                                                                                                                                                        • Developers using Ubuntu 22.04 will benefit immediately from these changes. However, developers on other operating systems may need to upgrade their glibc version to avoid compatibility issues.
                                                                                                                                                                                                                                                                                                                                                                                                                      -

                                                                                                                                                                                                                                                                                                                                                                                                                      重要错误修复

                                                                                                                                                                                                                                                                                                                                                                                                                        -
                                                                                                                                                                                                                                                                                                                                                                                                                      • 修正了在 L0 压缩过程中因遗漏数据段而导致删除数据丢失的问题。[#33980 , #34363]
                                                                                                                                                                                                                                                                                                                                                                                                                      • -
                                                                                                                                                                                                                                                                                                                                                                                                                      • 修正了因数据范围处理不当而导致删除信息无法转发的问题。(#35313)
                                                                                                                                                                                                                                                                                                                                                                                                                      • -
                                                                                                                                                                                                                                                                                                                                                                                                                      • 解决了由于不正确使用mmap 而导致的 SIGBUS 异常。[#34455,#34530]
                                                                                                                                                                                                                                                                                                                                                                                                                      • -
                                                                                                                                                                                                                                                                                                                                                                                                                      • 修复了非法搜索表达式导致的崩溃。(#35307)
                                                                                                                                                                                                                                                                                                                                                                                                                      • -
                                                                                                                                                                                                                                                                                                                                                                                                                      • 修正了因监视上下文中的超时设置不正确而导致 DataNode 监视失败的问题。(#35017)
                                                                                                                                                                                                                                                                                                                                                                                                                      • +

                                                                                                                                                                                                                                                                                                                                                                                                                        Critical bug fixes

                                                                                                                                                                                                                                                                                                                                                                                                                          +
                                                                                                                                                                                                                                                                                                                                                                                                                        • Fixed an issue where deletion data was lost due to segments being omitted during L0 compaction. [#33980, #34363]
                                                                                                                                                                                                                                                                                                                                                                                                                        • +
                                                                                                                                                                                                                                                                                                                                                                                                                        • Rectified a problem where delete messages failed to be forwarded due to incorrect data scope handling. (#35313)
                                                                                                                                                                                                                                                                                                                                                                                                                        • +
                                                                                                                                                                                                                                                                                                                                                                                                                        • Resolved a SIGBUS exception that occurred due to incorrect usage of mmap. [#34455, #34530]
                                                                                                                                                                                                                                                                                                                                                                                                                        • +
                                                                                                                                                                                                                                                                                                                                                                                                                        • Fixed crashes caused by illegal search expressions. (#35307)
                                                                                                                                                                                                                                                                                                                                                                                                                        • +
                                                                                                                                                                                                                                                                                                                                                                                                                        • Corrected an issue where DataNode watch failed due to an incorrect timeout setting in the watch context. (#35017)
                                                                                                                                                                                                                                                                                                                                                                                                                        -

                                                                                                                                                                                                                                                                                                                                                                                                                        错误修复

                                                                                                                                                                                                                                                                                                                                                                                                                          -
                                                                                                                                                                                                                                                                                                                                                                                                                        • 通过升级某些依赖项解决了安全漏洞。[#33927,#34693]
                                                                                                                                                                                                                                                                                                                                                                                                                        • -
                                                                                                                                                                                                                                                                                                                                                                                                                        • 修正了过长表达式引发的解析错误。(#34957)
                                                                                                                                                                                                                                                                                                                                                                                                                        • -
                                                                                                                                                                                                                                                                                                                                                                                                                        • 解决了查询计划解析过程中出现的内存泄漏问题。(#34932)
                                                                                                                                                                                                                                                                                                                                                                                                                        • -
                                                                                                                                                                                                                                                                                                                                                                                                                        • 修正了动态日志级别修改不生效的问题。(#34777)
                                                                                                                                                                                                                                                                                                                                                                                                                        • -
                                                                                                                                                                                                                                                                                                                                                                                                                        • 解决了因未初始化段偏移而导致对不断增长的数据进行分组查询失败的问题。(#34750)
                                                                                                                                                                                                                                                                                                                                                                                                                        • -
                                                                                                                                                                                                                                                                                                                                                                                                                        • 更正了使用 Knowhere 迭代器时搜索参数的设置。(#34732)
                                                                                                                                                                                                                                                                                                                                                                                                                        • -
                                                                                                                                                                                                                                                                                                                                                                                                                        • 修改了检查分区加载状态的逻辑。(#34305)
                                                                                                                                                                                                                                                                                                                                                                                                                        • -
                                                                                                                                                                                                                                                                                                                                                                                                                        • 修正了权限缓存更新因未处理请求错误而失败的问题。(#34697)
                                                                                                                                                                                                                                                                                                                                                                                                                        • -
                                                                                                                                                                                                                                                                                                                                                                                                                        • 解决了 QueryCoord 重启后加载的 Collections 恢复失败的问题。(#35211)
                                                                                                                                                                                                                                                                                                                                                                                                                        • -
                                                                                                                                                                                                                                                                                                                                                                                                                        • 通过移除不必要的索引参数验证,修正了加载幂等性问题。(#35179)
                                                                                                                                                                                                                                                                                                                                                                                                                        • -
                                                                                                                                                                                                                                                                                                                                                                                                                        • 确保在 DataCoord 重启后执行compressBinlog ,以使reloadFromKV 能够正确填充 binlog 的logID(#34062)
                                                                                                                                                                                                                                                                                                                                                                                                                        • -
                                                                                                                                                                                                                                                                                                                                                                                                                        • 修正了 DataCoord 垃圾收集后未删除 Collections 元数据的问题。(#34884)
                                                                                                                                                                                                                                                                                                                                                                                                                        • -
                                                                                                                                                                                                                                                                                                                                                                                                                        • 通过移除通过导入生成的刷新段,解决了 DataCoord 中的 SegmentManager 的内存泄漏问题。(#34651)
                                                                                                                                                                                                                                                                                                                                                                                                                        • -
                                                                                                                                                                                                                                                                                                                                                                                                                        • 修复了当压缩被禁用而某个 Collection 被丢弃时的恐慌问题。(#34206)
                                                                                                                                                                                                                                                                                                                                                                                                                        • -
                                                                                                                                                                                                                                                                                                                                                                                                                        • 通过增强内存使用估算算法,修正了 DataNode 中的内存不足问题。(#34203)
                                                                                                                                                                                                                                                                                                                                                                                                                        • -
                                                                                                                                                                                                                                                                                                                                                                                                                        • 通过为大块缓存实施单飞(singleflight),防止了当多个向量检索请求命中缓存未命中时的突发内存使用。(#34283)
                                                                                                                                                                                                                                                                                                                                                                                                                        • -
                                                                                                                                                                                                                                                                                                                                                                                                                        • 在配置中捕获 CAS(比较和交换)操作期间的ErrKeyNotFound(#34489)
                                                                                                                                                                                                                                                                                                                                                                                                                        • -
                                                                                                                                                                                                                                                                                                                                                                                                                        • 修正了因在 CAS 操作中错误使用格式化值而导致配置更新失败的问题。(#34373)
                                                                                                                                                                                                                                                                                                                                                                                                                        • +

                                                                                                                                                                                                                                                                                                                                                                                                                          Bug fixes

                                                                                                                                                                                                                                                                                                                                                                                                                            +
                                                                                                                                                                                                                                                                                                                                                                                                                          • Addressed security vulnerabilities by upgrading certain dependencies. [#33927, #34693]
                                                                                                                                                                                                                                                                                                                                                                                                                          • +
                                                                                                                                                                                                                                                                                                                                                                                                                          • Fixed a parsing error triggered by excessively long expressions. (#34957)
                                                                                                                                                                                                                                                                                                                                                                                                                          • +
                                                                                                                                                                                                                                                                                                                                                                                                                          • Resolved a memory leak that occurred during query plan parsing. (#34932)
                                                                                                                                                                                                                                                                                                                                                                                                                          • +
                                                                                                                                                                                                                                                                                                                                                                                                                          • Fixed an issue where dynamic log level modifications were not taking effect. (#34777)
                                                                                                                                                                                                                                                                                                                                                                                                                          • +
                                                                                                                                                                                                                                                                                                                                                                                                                          • Resolved an issue where group by queries on growing data failed due to uninitialized segment offsets. (#34750)
                                                                                                                                                                                                                                                                                                                                                                                                                          • +
                                                                                                                                                                                                                                                                                                                                                                                                                          • Corrected the setting of search parameters when using the Knowhere iterator. (#34732)
                                                                                                                                                                                                                                                                                                                                                                                                                          • +
                                                                                                                                                                                                                                                                                                                                                                                                                          • Revised the logic for checking the status of the partition load. (#34305)
                                                                                                                                                                                                                                                                                                                                                                                                                          • +
                                                                                                                                                                                                                                                                                                                                                                                                                          • Fixed an issue where privilege cache updates failed due to unhandled request errors. (#34697)
                                                                                                                                                                                                                                                                                                                                                                                                                          • +
                                                                                                                                                                                                                                                                                                                                                                                                                          • Resolved a failure in loaded collection recovery after QueryCoord restarted. (#35211)
                                                                                                                                                                                                                                                                                                                                                                                                                          • +
                                                                                                                                                                                                                                                                                                                                                                                                                          • Fixed an issue of load idempotence by removing unnecessary index parameter validation. (#35179)
                                                                                                                                                                                                                                                                                                                                                                                                                          • +
                                                                                                                                                                                                                                                                                                                                                                                                                          • Ensured compressBinlog is executed to allow reloadFromKV to properly fill binlog’s logID after DataCoord restarts. (#34062)
                                                                                                                                                                                                                                                                                                                                                                                                                          • +
                                                                                                                                                                                                                                                                                                                                                                                                                          • Fixed an issue where collection metadata was not removed after garbage collection in DataCoord. (#34884)
                                                                                                                                                                                                                                                                                                                                                                                                                          • +
                                                                                                                                                                                                                                                                                                                                                                                                                          • Resolved a memory leak in SegmentManager within DataCoord by removing flushed segments generated through imports. (#34651)
                                                                                                                                                                                                                                                                                                                                                                                                                          • +
                                                                                                                                                                                                                                                                                                                                                                                                                          • Fixed a panic issue when compaction was disabled and a collection was dropped. (#34206)
                                                                                                                                                                                                                                                                                                                                                                                                                          • +
                                                                                                                                                                                                                                                                                                                                                                                                                          • Fixed an out-of-memory issue in DataNode by enhancing the memory usage estimation algorithm. (#34203)
                                                                                                                                                                                                                                                                                                                                                                                                                          • +
                                                                                                                                                                                                                                                                                                                                                                                                                          • Prevented burst memory usage when multiple vector retrieval requests hit a cache miss by implementing singleflight for chunk cache. (#34283)
                                                                                                                                                                                                                                                                                                                                                                                                                          • +
                                                                                                                                                                                                                                                                                                                                                                                                                          • Captured ErrKeyNotFound during CAS (Compare and Swap) operations in the configuration. (#34489)
                                                                                                                                                                                                                                                                                                                                                                                                                          • +
                                                                                                                                                                                                                                                                                                                                                                                                                          • Fixed an issue where configuration updates failed due to mistakenly using the formatted value in a CAS operation. (#34373)
                                                                                                                                                                                                                                                                                                                                                                                                                          -

                                                                                                                                                                                                                                                                                                                                                                                                                          杂项

                                                                                                                                                                                                                                                                                                                                                                                                                            -
                                                                                                                                                                                                                                                                                                                                                                                                                          • 添加了对 OTLP HTTP 导出器的支持,增强了可观察性和监控能力。[#35073,#35299]
                                                                                                                                                                                                                                                                                                                                                                                                                          • -
                                                                                                                                                                                                                                                                                                                                                                                                                          • 通过引入 "最大 Collections "和 "磁盘配额 "等属性增强了数据库功能,这些属性现在可以动态修改。[#34511,#34386]
                                                                                                                                                                                                                                                                                                                                                                                                                          • -
                                                                                                                                                                                                                                                                                                                                                                                                                          • 为 DataNode 中的 L0 压缩进程添加了跟踪功能,以改进诊断和监控。(#33898)
                                                                                                                                                                                                                                                                                                                                                                                                                          • -
                                                                                                                                                                                                                                                                                                                                                                                                                          • 为每个 Collections 的 L0 段条目数量引入了配额配置,从而能够通过应用反向压力更好地控制删除率。(#34837)
                                                                                                                                                                                                                                                                                                                                                                                                                          • -
                                                                                                                                                                                                                                                                                                                                                                                                                          • 扩展了插入操作的速率限制机制,使其也适用于上插操作,从而确保在高负载情况下性能保持一致。(#34616)
                                                                                                                                                                                                                                                                                                                                                                                                                          • -
                                                                                                                                                                                                                                                                                                                                                                                                                          • 为代理 CGO 调用实施了动态 CGO 池,优化了资源使用和性能。(#34842)
                                                                                                                                                                                                                                                                                                                                                                                                                          • -
                                                                                                                                                                                                                                                                                                                                                                                                                          • 为 Ubuntu、Rocky 和 Amazon 操作系统启用了 DiskAnn 编译选项,提高了这些平台的兼容性和性能。(#34244)
                                                                                                                                                                                                                                                                                                                                                                                                                          • -
                                                                                                                                                                                                                                                                                                                                                                                                                          • 将柯南升级到 1.64.1 版,确保与最新功能和改进兼容。(#35216)
                                                                                                                                                                                                                                                                                                                                                                                                                          • -
                                                                                                                                                                                                                                                                                                                                                                                                                          • 将 Knowhere 升级到 2.3.7 版,带来了性能增强和新功能。(#34709)
                                                                                                                                                                                                                                                                                                                                                                                                                          • -
                                                                                                                                                                                                                                                                                                                                                                                                                          • 修正了特定第三方软件包的修订,以确保编译的一致性并降低意外更改的风险。(#35316)
                                                                                                                                                                                                                                                                                                                                                                                                                          • +

                                                                                                                                                                                                                                                                                                                                                                                                                            Miscellaneous

                                                                                                                                                                                                                                                                                                                                                                                                                              +
                                                                                                                                                                                                                                                                                                                                                                                                                            • Added support for the OTLP HTTP exporter, enhancing observability and monitoring capabilities. [#35073, #35299]
                                                                                                                                                                                                                                                                                                                                                                                                                            • +
                                                                                                                                                                                                                                                                                                                                                                                                                            • Enhanced database functionality by introducing properties such as “max collections” and “disk quota,” which can now be dynamically modified. [#34511, #34386]
                                                                                                                                                                                                                                                                                                                                                                                                                            • +
                                                                                                                                                                                                                                                                                                                                                                                                                            • Added tracing capabilities for L0 compaction processes within DataNode to improve diagnostics and monitoring. (#33898)
                                                                                                                                                                                                                                                                                                                                                                                                                            • +
                                                                                                                                                                                                                                                                                                                                                                                                                            • Introduced quota configuration for the number of L0 segment entries per collection, enabling better control over deletion rates by applying backpressure. (#34837)
                                                                                                                                                                                                                                                                                                                                                                                                                            • +
                                                                                                                                                                                                                                                                                                                                                                                                                            • Extended the rate-limiting mechanism for insert operations to also cover upsert operations, ensuring consistent performance under high load. (#34616)
                                                                                                                                                                                                                                                                                                                                                                                                                            • +
                                                                                                                                                                                                                                                                                                                                                                                                                            • Implemented a dynamic CGO pool for proxy CGO calls, optimizing resource usage and performance. (#34842)
                                                                                                                                                                                                                                                                                                                                                                                                                            • +
                                                                                                                                                                                                                                                                                                                                                                                                                            • Enabled the DiskAnn compile option for Ubuntu, Rocky, and Amazon operating systems, improving compatibility and performance on these platforms. (#34244)
                                                                                                                                                                                                                                                                                                                                                                                                                            • +
                                                                                                                                                                                                                                                                                                                                                                                                                            • Upgraded Conan to version 1.64.1, ensuring compatibility with the latest features and improvements. (#35216)
                                                                                                                                                                                                                                                                                                                                                                                                                            • +
                                                                                                                                                                                                                                                                                                                                                                                                                            • Updated Knowhere to version 2.3.7, bringing in performance enhancements and new features. (#34709)
                                                                                                                                                                                                                                                                                                                                                                                                                            • +
                                                                                                                                                                                                                                                                                                                                                                                                                            • Fixed the revision of specific third-party packages to ensure consistent builds and reduce the risk of unexpected changes. (#35316)

                                                                                                                                                                                                                                                                                                                                                                                                                            v2.4.6

                                                                                                                                                                                                                                                                                                                                                                                                                            发布日期:2024 年 7 月 16 日

                                                                                                                                                                                                                                                                                                                                                                                                                            +

                                                                                                                                                                                                                                                                                                                                                                                                                            Release date: July 16, 2024

                                                                                                                                                                                                                                                                                                                                                                                                                            - +
                                                                                                                                                                                                                                                                                                                                                                                                                            Milvus 版本Python SDK 版本Java SDK 版本Node.js SDK 版本
                                                                                                                                                                                                                                                                                                                                                                                                                            Milvus versionPython SDK versionJava SDK versionNode.js SDK version
                                                                                                                                                                                                                                                                                                                                                                                                                            2.4.62.4.42.4.22.4.4
                                                                                                                                                                                                                                                                                                                                                                                                                            -

                                                                                                                                                                                                                                                                                                                                                                                                                            Milvus v2.4.6 是一个修复错误的版本,解决了删除过程中的恐慌、内存泄漏和数据丢失等关键问题。它还引入了多项优化,包括增强监控指标、将 Go 版本升级到 1.21,以及改善 RESTful count(*) 查询的用户体验。

                                                                                                                                                                                                                                                                                                                                                                                                                            -

                                                                                                                                                                                                                                                                                                                                                                                                                            改进

                                                                                                                                                                                                                                                                                                                                                                                                                              -
                                                                                                                                                                                                                                                                                                                                                                                                                            • 增强了 RESTful API 查询的用户友好性(#34444)。
                                                                                                                                                                                                                                                                                                                                                                                                                            • -
                                                                                                                                                                                                                                                                                                                                                                                                                            • 将 Go 版本从 1.20 升级到 1.21(#33940)。
                                                                                                                                                                                                                                                                                                                                                                                                                            • -
                                                                                                                                                                                                                                                                                                                                                                                                                            • 优化了直方图度量桶,使桶的粒度更细(#34592)。
                                                                                                                                                                                                                                                                                                                                                                                                                            • -
                                                                                                                                                                                                                                                                                                                                                                                                                            • 将 Pulsar 依赖关系版本从 2.8.2 升级到 2.9.5。建议自 Milvus 2.4.6 起将 Pulsar 升级到 2.9.5。
                                                                                                                                                                                                                                                                                                                                                                                                                            • +

                                                                                                                                                                                                                                                                                                                                                                                                                              Milvus v2.4.6 is a bug-fix release that addresses critical issues such as panics, memory leaks, and data loss during deletions. It also introduces several optimizations, including enhancements to monitoring metrics, upgrading the Go version to 1.21, and improving the user experience for RESTful count(*) queries.

                                                                                                                                                                                                                                                                                                                                                                                                                              +

                                                                                                                                                                                                                                                                                                                                                                                                                              Improvements

                                                                                                                                                                                                                                                                                                                                                                                                                                +
                                                                                                                                                                                                                                                                                                                                                                                                                              • Enhanced the user-friendliness of RESTful API queries (#34444).
                                                                                                                                                                                                                                                                                                                                                                                                                              • +
                                                                                                                                                                                                                                                                                                                                                                                                                              • Upgraded the Go version from 1.20 to 1.21 (#33940).
                                                                                                                                                                                                                                                                                                                                                                                                                              • +
                                                                                                                                                                                                                                                                                                                                                                                                                              • Optimized the histogram metric bucket for finer granularity in bucketing (#34592).
                                                                                                                                                                                                                                                                                                                                                                                                                              • +
                                                                                                                                                                                                                                                                                                                                                                                                                              • Upgraded Pulsar dependency version from 2.8.2 to 2.9.5. It’s recommended to upgrade Pulsar to 2.9.5 since Milvus 2.4.6.
                                                                                                                                                                                                                                                                                                                                                                                                                              -

                                                                                                                                                                                                                                                                                                                                                                                                                              错误修正

                                                                                                                                                                                                                                                                                                                                                                                                                                -
                                                                                                                                                                                                                                                                                                                                                                                                                              • 修正了 GetReplicas API 返回零状态的问题(#34019)。
                                                                                                                                                                                                                                                                                                                                                                                                                              • -
                                                                                                                                                                                                                                                                                                                                                                                                                              • 修正了查询可能返回已删除记录的问题(#34502)。
                                                                                                                                                                                                                                                                                                                                                                                                                              • -
                                                                                                                                                                                                                                                                                                                                                                                                                              • 解决了 IndexNode 在停止过程中由于生命周期控制不正确而卡住的问题(#34559)。
                                                                                                                                                                                                                                                                                                                                                                                                                              • -
                                                                                                                                                                                                                                                                                                                                                                                                                              • 修正了当 Worker 离线时主键 oracle 对象的内存泄漏问题(#34020)。
                                                                                                                                                                                                                                                                                                                                                                                                                              • -
                                                                                                                                                                                                                                                                                                                                                                                                                              • 修正了 ChannelManagerImplV2,使其能通知正确的节点,解决了在循环闭合时的参数捕获问题(#34004)。
                                                                                                                                                                                                                                                                                                                                                                                                                              • -
                                                                                                                                                                                                                                                                                                                                                                                                                              • 通过实现深度复制,修正了 ImportTask segmentsInfo 中的读写数据竞赛问题(#34126)。
                                                                                                                                                                                                                                                                                                                                                                                                                              • -
                                                                                                                                                                                                                                                                                                                                                                                                                              • 更正了 "legacyVersionWithoutRPCWatch "配置选项的版本信息,以防止滚动升级时出错(#34185)。
                                                                                                                                                                                                                                                                                                                                                                                                                              • -
                                                                                                                                                                                                                                                                                                                                                                                                                              • 修正了加载分区数量的度量(#34195)。
                                                                                                                                                                                                                                                                                                                                                                                                                              • -
                                                                                                                                                                                                                                                                                                                                                                                                                              • 在设置 segcore 跟踪时传递了otlpSecure 配置(#34210)。
                                                                                                                                                                                                                                                                                                                                                                                                                              • -
                                                                                                                                                                                                                                                                                                                                                                                                                              • 修正了 DataCoord 属性被错误覆盖的问题(#34240)。
                                                                                                                                                                                                                                                                                                                                                                                                                              • -
                                                                                                                                                                                                                                                                                                                                                                                                                              • 解决了因错误合并两个新创建的消息流而导致的数据丢失问题(#34563)。
                                                                                                                                                                                                                                                                                                                                                                                                                              • -
                                                                                                                                                                                                                                                                                                                                                                                                                              • 修正了因 msgstream 尝试使用无效 pchannel 而引起的恐慌(#34230)。
                                                                                                                                                                                                                                                                                                                                                                                                                              • -
                                                                                                                                                                                                                                                                                                                                                                                                                              • 解决了导入可能生成孤儿文件的问题(#34071)。
                                                                                                                                                                                                                                                                                                                                                                                                                              • -
                                                                                                                                                                                                                                                                                                                                                                                                                              • 修正了因段中主键重复而导致查询结果不完整的问题(#34302)。
                                                                                                                                                                                                                                                                                                                                                                                                                              • -
                                                                                                                                                                                                                                                                                                                                                                                                                              • 解决了在 L0 压缩中丢失密封段的问题(#34566)。
                                                                                                                                                                                                                                                                                                                                                                                                                              • -
                                                                                                                                                                                                                                                                                                                                                                                                                              • 修正了垃圾收集后生成的 channel-cp meta 中的脏数据问题(#34609)。
                                                                                                                                                                                                                                                                                                                                                                                                                              • -
                                                                                                                                                                                                                                                                                                                                                                                                                              • 修正了重启 RootCoord 后数据库数为 0 的指标(#34010)。
                                                                                                                                                                                                                                                                                                                                                                                                                              • -
                                                                                                                                                                                                                                                                                                                                                                                                                              • 通过移除通过导入生成的已刷新片段,修正了 DataCoord 中片段管理器的内存泄漏问题(#34652)。
                                                                                                                                                                                                                                                                                                                                                                                                                              • -
                                                                                                                                                                                                                                                                                                                                                                                                                              • 确保在 DataCoord 重新启动后,compressBinlog 能够填充 binlogs 的 logID,从而确保从 KV 适当地重新加载(#34064)。
                                                                                                                                                                                                                                                                                                                                                                                                                              • +

                                                                                                                                                                                                                                                                                                                                                                                                                                Bug fixes

                                                                                                                                                                                                                                                                                                                                                                                                                                  +
                                                                                                                                                                                                                                                                                                                                                                                                                                • Fixed an issue where the GetReplicas API returned a nil status (#34019).
                                                                                                                                                                                                                                                                                                                                                                                                                                • +
                                                                                                                                                                                                                                                                                                                                                                                                                                • Corrected a problem where queries could return deleted records (#34502).
                                                                                                                                                                                                                                                                                                                                                                                                                                • +
                                                                                                                                                                                                                                                                                                                                                                                                                                • Resolved an issue where IndexNode would get stuck during stopping due to incorrect lifetime control (#34559).
                                                                                                                                                                                                                                                                                                                                                                                                                                • +
                                                                                                                                                                                                                                                                                                                                                                                                                                • Fixed a memory leak of primary key oracle objects when a worker is offline (#34020).
                                                                                                                                                                                                                                                                                                                                                                                                                                • +
                                                                                                                                                                                                                                                                                                                                                                                                                                • Corrected ChannelManagerImplV2 to notify the correct Node, addressing parameter capture issues in loop closure (#34004).
                                                                                                                                                                                                                                                                                                                                                                                                                                • +
                                                                                                                                                                                                                                                                                                                                                                                                                                • Fixed a read-write data race in ImportTask segmentsInfo by implementing a deep copy (#34126).
                                                                                                                                                                                                                                                                                                                                                                                                                                • +
                                                                                                                                                                                                                                                                                                                                                                                                                                • Corrected version information for the “legacyVersionWithoutRPCWatch” configuration option to prevent errors during rolling upgrades (#34185).
                                                                                                                                                                                                                                                                                                                                                                                                                                • +
                                                                                                                                                                                                                                                                                                                                                                                                                                • Fixed the metric for the number of partitions loaded (#34195).
                                                                                                                                                                                                                                                                                                                                                                                                                                • +
                                                                                                                                                                                                                                                                                                                                                                                                                                • Passed the otlpSecure config when setting up segcore tracing (#34210).
                                                                                                                                                                                                                                                                                                                                                                                                                                • +
                                                                                                                                                                                                                                                                                                                                                                                                                                • Fixed an issue where DataCoord’s properties were overwritten by mistake (#34240).
                                                                                                                                                                                                                                                                                                                                                                                                                                • +
                                                                                                                                                                                                                                                                                                                                                                                                                                • Resolved a data loss issue caused by erroneously merging two newly created message streams (#34563).
                                                                                                                                                                                                                                                                                                                                                                                                                                • +
                                                                                                                                                                                                                                                                                                                                                                                                                                • Fixed a panic caused by msgstream trying to consume an invalid pchannel (#34230).
                                                                                                                                                                                                                                                                                                                                                                                                                                • +
                                                                                                                                                                                                                                                                                                                                                                                                                                • Addressed an issue where imports could generate orphaned files (#34071).
                                                                                                                                                                                                                                                                                                                                                                                                                                • +
                                                                                                                                                                                                                                                                                                                                                                                                                                • Fixed incomplete query results due to duplicate primary keys in a segment (#34302).
                                                                                                                                                                                                                                                                                                                                                                                                                                • +
                                                                                                                                                                                                                                                                                                                                                                                                                                • Resolved an issue of missing sealed segments in L0 compaction (#34566).
                                                                                                                                                                                                                                                                                                                                                                                                                                • +
                                                                                                                                                                                                                                                                                                                                                                                                                                • Fixed the problem of dirty data in the channel-cp meta generated after garbage collection (#34609).
                                                                                                                                                                                                                                                                                                                                                                                                                                • +
                                                                                                                                                                                                                                                                                                                                                                                                                                • Corrected the metrics where database_num was 0 after restarting RootCoord (#34010).
                                                                                                                                                                                                                                                                                                                                                                                                                                • +
                                                                                                                                                                                                                                                                                                                                                                                                                                • Fixed a memory leak in SegmentManager in DataCoord by removing flushed segments generated through import (#34652).
                                                                                                                                                                                                                                                                                                                                                                                                                                • +
                                                                                                                                                                                                                                                                                                                                                                                                                                • Ensured compressBinlog to fill binlogs’ logID after DataCoord restarts, ensuring proper reload from KV (#34064).

                                                                                                                                                                                                                                                                                                                                                                                                                                v2.4.5

                                                                                                                                                                                                                                                                                                                                                                                                                                发布日期:2024 年 6 月 18 日

                                                                                                                                                                                                                                                                                                                                                                                                                                +

                                                                                                                                                                                                                                                                                                                                                                                                                                Release date: June 18, 2024

                                                                                                                                                                                                                                                                                                                                                                                                                                - +
                                                                                                                                                                                                                                                                                                                                                                                                                                Milvus 版本Python SDK 版本Java SDK 版本Node.js SDK 版本
                                                                                                                                                                                                                                                                                                                                                                                                                                Milvus versionPython SDK versionJava SDK versionNode.js SDK version
                                                                                                                                                                                                                                                                                                                                                                                                                                2.4.52.4.42.4.12.4.3
                                                                                                                                                                                                                                                                                                                                                                                                                                -

                                                                                                                                                                                                                                                                                                                                                                                                                                Milvus 2.4.5 的发布引入了多项改进和错误修复,以增强性能、稳定性和功能。Milvus 2.4.5 通过自动索引简化了稀疏、float16 和 bfloat16 向量搜索,通过 Bloom 过滤器优化加快了搜索、删除和压缩速度,并通过更快的加载时间和导入 L0 段支持解决了数据管理问题。它还引入了用于高效高维稀疏数据搜索的稀疏 HNSW 索引,增强了支持稀疏浮点型向量的 RESTful API,并修复了关键错误以提高稳定性。

                                                                                                                                                                                                                                                                                                                                                                                                                                -

                                                                                                                                                                                                                                                                                                                                                                                                                                新功能

                                                                                                                                                                                                                                                                                                                                                                                                                                  -
                                                                                                                                                                                                                                                                                                                                                                                                                                • 为 describe/alter 数据库应用程序添加了 rbac 支持(#33804)
                                                                                                                                                                                                                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                                                                                                                                                                                                                • 支持为稀疏向量构建 HNSW 索引(#33653,#33662)
                                                                                                                                                                                                                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                                                                                                                                                                                                                • 支持为二进制向量构建磁盘索引(#33575)
                                                                                                                                                                                                                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                                                                                                                                                                                                                • 在 RESTful v2 上支持稀疏向量类型(#33555)
                                                                                                                                                                                                                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                                                                                                                                                                                                                • 添加 /management/stop RESTful api 以停止组件(#33799)
                                                                                                                                                                                                                                                                                                                                                                                                                                • +

                                                                                                                                                                                                                                                                                                                                                                                                                                  The release of Milvus 2.4.5 introduces several improvements and bug fixes to enhance performance, stability, and functionality. Milvus 2.4.5 simplifies sparse, float16, and bfloat16 vector search with auto-indexing, speeds up searches, deletions, and compactions with Bloom filter optimizations, and tackles data management through faster loading times and import L0 segment support. It also introduces the sparse HNSW index for efficient high-dimensional sparse data search, enhances the RESTful API with sparse float vector support, and fixes critical bugs for better stability.

                                                                                                                                                                                                                                                                                                                                                                                                                                  +

                                                                                                                                                                                                                                                                                                                                                                                                                                  New Features

                                                                                                                                                                                                                                                                                                                                                                                                                                    +
                                                                                                                                                                                                                                                                                                                                                                                                                                  • Added rbac support to describe/alter database api (#33804)
                                                                                                                                                                                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                                                                                                                                                                                  • Supported building the HNSW index for sparse vectors (#33653, #33662)
                                                                                                                                                                                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                                                                                                                                                                                  • Supported building the Disk index for binary vector (#33575)
                                                                                                                                                                                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                                                                                                                                                                                  • Supported sparse vector type on RESTful v2 (#33555)
                                                                                                                                                                                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                                                                                                                                                                                  • Add /management/stop RESTful api to stop a component (#33799)
                                                                                                                                                                                                                                                                                                                                                                                                                                  -

                                                                                                                                                                                                                                                                                                                                                                                                                                  改进

                                                                                                                                                                                                                                                                                                                                                                                                                                    -
                                                                                                                                                                                                                                                                                                                                                                                                                                  • 将 maxPartitionNum 默认值设为 1024(#33950)
                                                                                                                                                                                                                                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                                                                                                                                                                                                                                  • 启用不可用错误时强制重置连接(#33910)
                                                                                                                                                                                                                                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                                                                                                                                                                                                                                  • 启用收集级别的刷新率限制器(#33864)
                                                                                                                                                                                                                                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                                                                                                                                                                                                                                  • 并行执行 Bloom 过滤器应用,以加快分段预测(#33793)
                                                                                                                                                                                                                                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                                                                                                                                                                                                                                  • 使用 fastjson lib 来清除删除日志,以加快 json.Unmarshal 的速度(#33802)
                                                                                                                                                                                                                                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                                                                                                                                                                                                                                  • 使用 BatchPkExist 减少 bloom filter func 调用成本(#33752)
                                                                                                                                                                                                                                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                                                                                                                                                                                                                                  • 加快了小型集合的加载速度(#33746)
                                                                                                                                                                                                                                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                                                                                                                                                                                                                                  • 支持向 L0 段导入删除数据(#33712)
                                                                                                                                                                                                                                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                                                                                                                                                                                                                                  • 跳过标记压缩任务进行超时,避免重复执行同一任务(#33833)
                                                                                                                                                                                                                                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                                                                                                                                                                                                                                  • 在 numpy 批量插入中将 float16 和 bfloat16 向量处理为与 BinaryVector 相同(#33788)
                                                                                                                                                                                                                                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                                                                                                                                                                                                                                  • 为寻道方法添加了 includeCurrentMsg 标志(#33743)
                                                                                                                                                                                                                                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                                                                                                                                                                                                                                  • 为 msgdispatcher 的配置添加了 mergeInterval、targetBufSize 和 maxTolerantLag(#33680)
                                                                                                                                                                                                                                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                                                                                                                                                                                                                                  • 改进了稀疏向量的 GetVectorByID(#33652)
                                                                                                                                                                                                                                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                                                                                                                                                                                                                                  • 移除了 StringPrimarykey 以减少不必要的复制和函数调用成本(#33649)
                                                                                                                                                                                                                                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                                                                                                                                                                                                                                  • 为二进制/稀疏数据类型添加了自动索引映射(#33625)
                                                                                                                                                                                                                                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                                                                                                                                                                                                                                  • 优化了部分缓存以减少内存使用(#33560)
                                                                                                                                                                                                                                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                                                                                                                                                                                                                                  • 抽象了导入/预导入任务的执行接口(#33607)
                                                                                                                                                                                                                                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                                                                                                                                                                                                                                  • 在缓冲区插入中使用 map pk 到时间戳,以减少 bf 原因(#33582)
                                                                                                                                                                                                                                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                                                                                                                                                                                                                                  • 避免对导入进行多余的元操作符(#33519)
                                                                                                                                                                                                                                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                                                                                                                                                                                                                                  • 通过记录更好的磁盘配额信息、添加 UseDefaultConsistency 标志、删除不必要的日志来改进日志(#33597#33644#33670)
                                                                                                                                                                                                                                                                                                                                                                                                                                  • +

                                                                                                                                                                                                                                                                                                                                                                                                                                    Improvements

                                                                                                                                                                                                                                                                                                                                                                                                                                      +
                                                                                                                                                                                                                                                                                                                                                                                                                                    • Set maxPartitionNum default value to 1024 (#33950)
                                                                                                                                                                                                                                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                                                                                                                                                                                                                                    • Enabled to Force reset connection for unavailable error (#33910)
                                                                                                                                                                                                                                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                                                                                                                                                                                                                                    • Enabled flush rate limiter of collection level (#33864)
                                                                                                                                                                                                                                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                                                                                                                                                                                                                                    • Executed bloom filter apply in parallel to speed up segment predict (#33793)
                                                                                                                                                                                                                                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                                                                                                                                                                                                                                    • Used fastjson lib for unmarshal delete log to speed up json.Unmarshal(#33802)
                                                                                                                                                                                                                                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                                                                                                                                                                                                                                    • Used BatchPkExist to reduce bloom filter func call cost (#33752)
                                                                                                                                                                                                                                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                                                                                                                                                                                                                                    • Speeded up the loading of small collections (#33746)
                                                                                                                                                                                                                                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                                                                                                                                                                                                                                    • Supported import delete data to L0 segment (#33712)
                                                                                                                                                                                                                                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                                                                                                                                                                                                                                    • Skipped mark compaction tasks to be timeouted to aviod executing the same task over and over again (#33833)
                                                                                                                                                                                                                                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                                                                                                                                                                                                                                    • Handled float16 and bfloat16 vectors as same as BinaryVector in numpy bulk insert (#33788)
                                                                                                                                                                                                                                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                                                                                                                                                                                                                                    • Added the includeCurrentMsg flag for the seek method (#33743)
                                                                                                                                                                                                                                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                                                                                                                                                                                                                                    • Added mergeInterval, targetBufSize, maxTolerantLagof msgdispatcher to configs (#33680)
                                                                                                                                                                                                                                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                                                                                                                                                                                                                                    • Improved GetVectorByID of sparse vector (#33652)
                                                                                                                                                                                                                                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                                                                                                                                                                                                                                    • Removed StringPrimarykey to reduce unnecessary copy and function call cost (#33649)
                                                                                                                                                                                                                                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                                                                                                                                                                                                                                    • Added autoindex mapping for binary/sparse data type (#33625)
                                                                                                                                                                                                                                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                                                                                                                                                                                                                                    • Optimized some cache to reduce memory usage (#33560)
                                                                                                                                                                                                                                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                                                                                                                                                                                                                                    • Abstracted execute interface for import/preimport task (#33607)
                                                                                                                                                                                                                                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                                                                                                                                                                                                                                    • Used map pk to timestamp in buffer insert to reduce bf causes (#33582)
                                                                                                                                                                                                                                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                                                                                                                                                                                                                                    • Avoided redundant meta operations of import (#33519)
                                                                                                                                                                                                                                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                                                                                                                                                                                                                                    • Improve logs by logging better disk quota info, adding UseDefaultConsistency flag, removing unnecessary logs (#33597, #33644, #33670)
                                                                                                                                                                                                                                                                                                                                                                                                                                    -

                                                                                                                                                                                                                                                                                                                                                                                                                                    错误修正

                                                                                                                                                                                                                                                                                                                                                                                                                                      -
                                                                                                                                                                                                                                                                                                                                                                                                                                    • 修正了查询钩无法识别向量类型的错误(#33911)
                                                                                                                                                                                                                                                                                                                                                                                                                                    • -
                                                                                                                                                                                                                                                                                                                                                                                                                                    • 防止使用捕获的迭代变量 partitionID(#33970)
                                                                                                                                                                                                                                                                                                                                                                                                                                    • -
                                                                                                                                                                                                                                                                                                                                                                                                                                    • 修正了一个可能导致 Milvus 无法在二进制和稀疏向量上创建 AutoIndex 的错误(#33867)
                                                                                                                                                                                                                                                                                                                                                                                                                                    • -
                                                                                                                                                                                                                                                                                                                                                                                                                                    • 修正了一个 Bug,该 Bug 可能导致 indexnode 在所有向量的无效索引参数上重试创建索引(#33878)
                                                                                                                                                                                                                                                                                                                                                                                                                                    • -
                                                                                                                                                                                                                                                                                                                                                                                                                                    • 修正了加载和发布同时进行时可能导致服务器崩溃的错误(#33699)
                                                                                                                                                                                                                                                                                                                                                                                                                                    • -
                                                                                                                                                                                                                                                                                                                                                                                                                                    • 改进了配置值的缓存一致性(#33797)
                                                                                                                                                                                                                                                                                                                                                                                                                                    • -
                                                                                                                                                                                                                                                                                                                                                                                                                                    • 防止删除过程中可能出现的数据丢失(#33821)
                                                                                                                                                                                                                                                                                                                                                                                                                                    • -
                                                                                                                                                                                                                                                                                                                                                                                                                                    • 确保在删除 Collections 后设置 DroppedAt 字段(可能的删除时间戳)(#33767)
                                                                                                                                                                                                                                                                                                                                                                                                                                    • -
                                                                                                                                                                                                                                                                                                                                                                                                                                    • 修正了一个可能导致 Milvus 错误处理二进制向量数据大小的问题(#33751)
                                                                                                                                                                                                                                                                                                                                                                                                                                    • -
                                                                                                                                                                                                                                                                                                                                                                                                                                    • 防止以纯文本记录敏感的 Kafka 凭据(#33694,#33747)
                                                                                                                                                                                                                                                                                                                                                                                                                                    • -
                                                                                                                                                                                                                                                                                                                                                                                                                                    • 确保 Milvus 能够正确导入包含多个向量字段的数据(#33724)。
                                                                                                                                                                                                                                                                                                                                                                                                                                    • -
                                                                                                                                                                                                                                                                                                                                                                                                                                    • 通过在启动前检查导入任务是否存在,提高了导入的可靠性。(#33673)
                                                                                                                                                                                                                                                                                                                                                                                                                                    • -
                                                                                                                                                                                                                                                                                                                                                                                                                                    • 改进了稀疏 HNSW 索引的处理(内部功能)(#33714)
                                                                                                                                                                                                                                                                                                                                                                                                                                    • -
                                                                                                                                                                                                                                                                                                                                                                                                                                    • 清理向量内存以避免内存泄漏(#33708)
                                                                                                                                                                                                                                                                                                                                                                                                                                    • -
                                                                                                                                                                                                                                                                                                                                                                                                                                    • 通过修复状态锁问题,确保异步预热更加顺畅(#33687)
                                                                                                                                                                                                                                                                                                                                                                                                                                    • -
                                                                                                                                                                                                                                                                                                                                                                                                                                    • 解决了一个可能导致查询迭代器丢失结果的 bug。(#33506)
                                                                                                                                                                                                                                                                                                                                                                                                                                    • -
                                                                                                                                                                                                                                                                                                                                                                                                                                    • 修正了一个可能导致导入段大小不均的错误(#33634)
                                                                                                                                                                                                                                                                                                                                                                                                                                    • -
                                                                                                                                                                                                                                                                                                                                                                                                                                    • 修正了对 bf16、fp16 和二进制向量类型的不正确数据大小处理(#33488)
                                                                                                                                                                                                                                                                                                                                                                                                                                    • -
                                                                                                                                                                                                                                                                                                                                                                                                                                    • 通过解决 L0 压缩器的潜在问题提高了稳定性(#33564)
                                                                                                                                                                                                                                                                                                                                                                                                                                    • -
                                                                                                                                                                                                                                                                                                                                                                                                                                    • 确保动态配置更新在缓存中得到正确反映。(#33590)
                                                                                                                                                                                                                                                                                                                                                                                                                                    • -
                                                                                                                                                                                                                                                                                                                                                                                                                                    • 提高了 RootCoordQuotaStates 指标的准确性 (#33601)
                                                                                                                                                                                                                                                                                                                                                                                                                                    • -
                                                                                                                                                                                                                                                                                                                                                                                                                                    • 确保在指标中准确报告已加载实体的数量(#33522)
                                                                                                                                                                                                                                                                                                                                                                                                                                    • -
                                                                                                                                                                                                                                                                                                                                                                                                                                    • 在异常日志中提供了更完整的信息。 (#33396)
                                                                                                                                                                                                                                                                                                                                                                                                                                    • -
                                                                                                                                                                                                                                                                                                                                                                                                                                    • 通过移除不必要的组检查器,优化了查询管道(#33485)
                                                                                                                                                                                                                                                                                                                                                                                                                                    • -
                                                                                                                                                                                                                                                                                                                                                                                                                                    • 在索引节点上使用本地存储路径进行更精确的磁盘容量检查。(#33505)
                                                                                                                                                                                                                                                                                                                                                                                                                                    • -
                                                                                                                                                                                                                                                                                                                                                                                                                                    • 更正了当命中数大于限制时 hasMoreResult 可能返回 false 的问题(#33642)
                                                                                                                                                                                                                                                                                                                                                                                                                                    • -
                                                                                                                                                                                                                                                                                                                                                                                                                                    • 延迟在委派器中加载 bf,以防止在 Worker 没有更多内存时重复加载 bf(#33650)- 修复了一个 Bug,即 queryHook 无法识别向量类型(#33911)
                                                                                                                                                                                                                                                                                                                                                                                                                                    • -
                                                                                                                                                                                                                                                                                                                                                                                                                                    • 防止使用捕获的迭代变量 partitionID(#33970)
                                                                                                                                                                                                                                                                                                                                                                                                                                    • -
                                                                                                                                                                                                                                                                                                                                                                                                                                    • 修正了一个可能导致 Milvus 无法在二进制和稀疏向量上创建 AutoIndex 的错误(#33867)
                                                                                                                                                                                                                                                                                                                                                                                                                                    • -
                                                                                                                                                                                                                                                                                                                                                                                                                                    • 修正了一个 Bug,该 Bug 可能导致 indexnode 在所有向量的无效索引参数上重试创建索引(#33878)
                                                                                                                                                                                                                                                                                                                                                                                                                                    • -
                                                                                                                                                                                                                                                                                                                                                                                                                                    • 修正了加载和发布同时进行时可能导致服务器崩溃的错误(#33699)
                                                                                                                                                                                                                                                                                                                                                                                                                                    • -
                                                                                                                                                                                                                                                                                                                                                                                                                                    • 改进了配置值的缓存一致性(#33797)
                                                                                                                                                                                                                                                                                                                                                                                                                                    • -
                                                                                                                                                                                                                                                                                                                                                                                                                                    • 防止删除过程中可能出现的数据丢失(#33821)
                                                                                                                                                                                                                                                                                                                                                                                                                                    • -
                                                                                                                                                                                                                                                                                                                                                                                                                                    • 确保在删除 Collections 后设置 DroppedAt 字段(可能的删除时间戳)(#33767)
                                                                                                                                                                                                                                                                                                                                                                                                                                    • -
                                                                                                                                                                                                                                                                                                                                                                                                                                    • 修正了一个可能导致 Milvus 错误处理二进制向量数据大小的问题(#33751)
                                                                                                                                                                                                                                                                                                                                                                                                                                    • -
                                                                                                                                                                                                                                                                                                                                                                                                                                    • 防止以纯文本记录敏感的 Kafka 凭据(#33694,#33747)
                                                                                                                                                                                                                                                                                                                                                                                                                                    • -
                                                                                                                                                                                                                                                                                                                                                                                                                                    • 确保 Milvus 能够正确导入包含多个向量字段的数据(#33724)。
                                                                                                                                                                                                                                                                                                                                                                                                                                    • -
                                                                                                                                                                                                                                                                                                                                                                                                                                    • 通过在启动前检查导入任务是否存在,提高了导入的可靠性。(#33673)
                                                                                                                                                                                                                                                                                                                                                                                                                                    • -
                                                                                                                                                                                                                                                                                                                                                                                                                                    • 改进了稀疏 HNSW 索引的处理(内部功能)(#33714)
                                                                                                                                                                                                                                                                                                                                                                                                                                    • -
                                                                                                                                                                                                                                                                                                                                                                                                                                    • 清理向量内存以避免内存泄漏(#33708)
                                                                                                                                                                                                                                                                                                                                                                                                                                    • -
                                                                                                                                                                                                                                                                                                                                                                                                                                    • 通过修复状态锁问题,确保异步预热更加顺畅(#33687)
                                                                                                                                                                                                                                                                                                                                                                                                                                    • -
                                                                                                                                                                                                                                                                                                                                                                                                                                    • 解决了一个可能导致查询迭代器丢失结果的 bug。(#33506)
                                                                                                                                                                                                                                                                                                                                                                                                                                    • -
                                                                                                                                                                                                                                                                                                                                                                                                                                    • 修正了一个可能导致导入段大小不均的错误(#33634)
                                                                                                                                                                                                                                                                                                                                                                                                                                    • -
                                                                                                                                                                                                                                                                                                                                                                                                                                    • 修正了对 bf16、fp16 和二进制向量类型的不正确数据大小处理(#33488)
                                                                                                                                                                                                                                                                                                                                                                                                                                    • -
                                                                                                                                                                                                                                                                                                                                                                                                                                    • 通过解决 L0 压缩器的潜在问题提高了稳定性(#33564)
                                                                                                                                                                                                                                                                                                                                                                                                                                    • -
                                                                                                                                                                                                                                                                                                                                                                                                                                    • 确保动态配置更新在缓存中得到正确反映。(#33590)
                                                                                                                                                                                                                                                                                                                                                                                                                                    • -
                                                                                                                                                                                                                                                                                                                                                                                                                                    • 提高了 RootCoordQuotaStates 指标的准确性 (#33601)
                                                                                                                                                                                                                                                                                                                                                                                                                                    • -
                                                                                                                                                                                                                                                                                                                                                                                                                                    • 确保在指标中准确报告已加载实体的数量(#33522)
                                                                                                                                                                                                                                                                                                                                                                                                                                    • -
                                                                                                                                                                                                                                                                                                                                                                                                                                    • 在异常日志中提供了更完整的信息。 (#33396)
                                                                                                                                                                                                                                                                                                                                                                                                                                    • -
                                                                                                                                                                                                                                                                                                                                                                                                                                    • 通过移除不必要的组检查器,优化了查询管道(#33485)
                                                                                                                                                                                                                                                                                                                                                                                                                                    • -
                                                                                                                                                                                                                                                                                                                                                                                                                                    • 在索引节点上使用本地存储路径进行更精确的磁盘容量检查。(#33505)
                                                                                                                                                                                                                                                                                                                                                                                                                                    • -
                                                                                                                                                                                                                                                                                                                                                                                                                                    • 纠正了当命中数大于限制时 hasMoreResult 可能返回 false 的问题(#33642)
                                                                                                                                                                                                                                                                                                                                                                                                                                    • -
                                                                                                                                                                                                                                                                                                                                                                                                                                    • 延迟在委派器中加载 bf,以防止在工作程序没有更多内存时重复加载 bfs(#33650)
                                                                                                                                                                                                                                                                                                                                                                                                                                    • +

                                                                                                                                                                                                                                                                                                                                                                                                                                      Bug fixes

                                                                                                                                                                                                                                                                                                                                                                                                                                        +
                                                                                                                                                                                                                                                                                                                                                                                                                                      • Fixed a bug that queryHook unable to recognize vector type (#33911)
                                                                                                                                                                                                                                                                                                                                                                                                                                      • +
                                                                                                                                                                                                                                                                                                                                                                                                                                      • Prevented use captured iteration variable partitionID (#33970)
                                                                                                                                                                                                                                                                                                                                                                                                                                      • +
                                                                                                                                                                                                                                                                                                                                                                                                                                      • Fixed a bug that may cause Milvus to be unable to create AutoIndex on binary and sparse vectors (#33867)
                                                                                                                                                                                                                                                                                                                                                                                                                                      • +
                                                                                                                                                                                                                                                                                                                                                                                                                                      • Fixed a bug that may cause indexnode to retry creating index on invalid index params of all vectors(#33878)
                                                                                                                                                                                                                                                                                                                                                                                                                                      • +
                                                                                                                                                                                                                                                                                                                                                                                                                                      • Fixed the bug that when loads and releases happen concurrently may crash the Server(#33699)
                                                                                                                                                                                                                                                                                                                                                                                                                                      • +
                                                                                                                                                                                                                                                                                                                                                                                                                                      • Improved cache consistency for configuration values (#33797)
                                                                                                                                                                                                                                                                                                                                                                                                                                      • +
                                                                                                                                                                                                                                                                                                                                                                                                                                      • Prevented possible data loss during deletion (#33821)
                                                                                                                                                                                                                                                                                                                                                                                                                                      • +
                                                                                                                                                                                                                                                                                                                                                                                                                                      • Ensured the DroppedAt field (likely deletion timestamp) is set after dropping collections(#33767)
                                                                                                                                                                                                                                                                                                                                                                                                                                      • +
                                                                                                                                                                                                                                                                                                                                                                                                                                      • Fixed an issue that might have caused Milvus to handle binary vector data sizes incorrectly(#33751)
                                                                                                                                                                                                                                                                                                                                                                                                                                      • +
                                                                                                                                                                                                                                                                                                                                                                                                                                      • Prevented sensitive Kafka credentials from being logged in plain text.(#33694, #33747)
                                                                                                                                                                                                                                                                                                                                                                                                                                      • +
                                                                                                                                                                                                                                                                                                                                                                                                                                      • Ensured Milvus can correctly import data with multiple vector fields.(#33724)
                                                                                                                                                                                                                                                                                                                                                                                                                                      • +
                                                                                                                                                                                                                                                                                                                                                                                                                                      • Enhanced import reliability by checking if an import job exists before starting. (#33673)
                                                                                                                                                                                                                                                                                                                                                                                                                                      • +
                                                                                                                                                                                                                                                                                                                                                                                                                                      • Improved handling of the sparse HNSW index (internal functionality) (#33714)
                                                                                                                                                                                                                                                                                                                                                                                                                                      • +
                                                                                                                                                                                                                                                                                                                                                                                                                                      • Cleaned vector memory to avoid memory leak(#33708)
                                                                                                                                                                                                                                                                                                                                                                                                                                      • +
                                                                                                                                                                                                                                                                                                                                                                                                                                      • Ensured smoother asynchronous warmup by fixing a state lock issue.(#33687)
                                                                                                                                                                                                                                                                                                                                                                                                                                      • +
                                                                                                                                                                                                                                                                                                                                                                                                                                      • Addressed a bug that might have caused missing results in query iterators. (#33506)
                                                                                                                                                                                                                                                                                                                                                                                                                                      • +
                                                                                                                                                                                                                                                                                                                                                                                                                                      • Fixed a bug that might cause import segment size is uneven (#33634)
                                                                                                                                                                                                                                                                                                                                                                                                                                      • +
                                                                                                                                                                                                                                                                                                                                                                                                                                      • Fixed incorrect data size handling for bf16, fp16, and binary vector types (#33488)
                                                                                                                                                                                                                                                                                                                                                                                                                                      • +
                                                                                                                                                                                                                                                                                                                                                                                                                                      • Improved stability by addressing potential issues with the L0 compactor(#33564)
                                                                                                                                                                                                                                                                                                                                                                                                                                      • +
                                                                                                                                                                                                                                                                                                                                                                                                                                      • Ensured dynamic configuration updates are reflected correctly in the cache. (#33590)
                                                                                                                                                                                                                                                                                                                                                                                                                                      • +
                                                                                                                                                                                                                                                                                                                                                                                                                                      • Improved the accuracy of the RootCoordQuotaStates metric (#33601)
                                                                                                                                                                                                                                                                                                                                                                                                                                      • +
                                                                                                                                                                                                                                                                                                                                                                                                                                      • Ensured accurate reporting of the number of loaded entities in metric(#33522)
                                                                                                                                                                                                                                                                                                                                                                                                                                      • +
                                                                                                                                                                                                                                                                                                                                                                                                                                      • Provided more complete information in exception logs. (#33396)
                                                                                                                                                                                                                                                                                                                                                                                                                                      • +
                                                                                                                                                                                                                                                                                                                                                                                                                                      • Optimized query pipeline by removing unnecessary group checker (#33485)
                                                                                                                                                                                                                                                                                                                                                                                                                                      • +
                                                                                                                                                                                                                                                                                                                                                                                                                                      • Used the local storage path for a more accurate disk capacity check on the index node. (#33505)
                                                                                                                                                                                                                                                                                                                                                                                                                                      • +
                                                                                                                                                                                                                                                                                                                                                                                                                                      • Corrected hasMoreResult may return false when hit number larger than limit (#33642)
                                                                                                                                                                                                                                                                                                                                                                                                                                      • +
                                                                                                                                                                                                                                                                                                                                                                                                                                      • Delayed load bf in delegator to prevent bfs been loaded over and over again when worker has no more memory (#33650)- Fixed a bug that queryHook unable to recognize vector type (#33911)
                                                                                                                                                                                                                                                                                                                                                                                                                                      • +
                                                                                                                                                                                                                                                                                                                                                                                                                                      • Prevented use captured iteration variable partitionID (#33970)
                                                                                                                                                                                                                                                                                                                                                                                                                                      • +
                                                                                                                                                                                                                                                                                                                                                                                                                                      • Fixed a bug that may cause Milvus to be unable to create AutoIndex on binary and sparse vectors (#33867)
                                                                                                                                                                                                                                                                                                                                                                                                                                      • +
                                                                                                                                                                                                                                                                                                                                                                                                                                      • Fixed a bug that may cause indexnode to retry creating index on invalid index params of all vectors(#33878)
                                                                                                                                                                                                                                                                                                                                                                                                                                      • +
                                                                                                                                                                                                                                                                                                                                                                                                                                      • Fixed the bug that when loads and releases happen concurrently may crash the Server(#33699)
                                                                                                                                                                                                                                                                                                                                                                                                                                      • +
                                                                                                                                                                                                                                                                                                                                                                                                                                      • Improved cache consistency for configuration values (#33797)
                                                                                                                                                                                                                                                                                                                                                                                                                                      • +
                                                                                                                                                                                                                                                                                                                                                                                                                                      • Prevented possible data loss during deletion (#33821)
                                                                                                                                                                                                                                                                                                                                                                                                                                      • +
                                                                                                                                                                                                                                                                                                                                                                                                                                      • Ensured the DroppedAt field (likely deletion timestamp) is set after dropping collections(#33767)
                                                                                                                                                                                                                                                                                                                                                                                                                                      • +
                                                                                                                                                                                                                                                                                                                                                                                                                                      • Fixed an issue that might have caused Milvus to handle binary vector data sizes incorrectly(#33751)
                                                                                                                                                                                                                                                                                                                                                                                                                                      • +
                                                                                                                                                                                                                                                                                                                                                                                                                                      • Prevented sensitive Kafka credentials from being logged in plain text.(#33694, #33747)
                                                                                                                                                                                                                                                                                                                                                                                                                                      • +
                                                                                                                                                                                                                                                                                                                                                                                                                                      • Ensured Milvus can correctly import data with multiple vector fields.(#33724)
                                                                                                                                                                                                                                                                                                                                                                                                                                      • +
                                                                                                                                                                                                                                                                                                                                                                                                                                      • Enhanced import reliability by checking if an import job exists before starting. (#33673)
                                                                                                                                                                                                                                                                                                                                                                                                                                      • +
                                                                                                                                                                                                                                                                                                                                                                                                                                      • Improved handling of the sparse HNSW index (internal functionality) (#33714)
                                                                                                                                                                                                                                                                                                                                                                                                                                      • +
                                                                                                                                                                                                                                                                                                                                                                                                                                      • Cleaned vector memory to avoid memory leak(#33708)
                                                                                                                                                                                                                                                                                                                                                                                                                                      • +
                                                                                                                                                                                                                                                                                                                                                                                                                                      • Ensured smoother asynchronous warmup by fixing a state lock issue.(#33687)
                                                                                                                                                                                                                                                                                                                                                                                                                                      • +
                                                                                                                                                                                                                                                                                                                                                                                                                                      • Addressed a bug that might have caused missing results in query iterators. (#33506)
                                                                                                                                                                                                                                                                                                                                                                                                                                      • +
                                                                                                                                                                                                                                                                                                                                                                                                                                      • Fixed a bug that might cause import segment size is uneven (#33634)
                                                                                                                                                                                                                                                                                                                                                                                                                                      • +
                                                                                                                                                                                                                                                                                                                                                                                                                                      • Fixed incorrect data size handling for bf16, fp16, and binary vector types (#33488)
                                                                                                                                                                                                                                                                                                                                                                                                                                      • +
                                                                                                                                                                                                                                                                                                                                                                                                                                      • Improved stability by addressing potential issues with the L0 compactor(#33564)
                                                                                                                                                                                                                                                                                                                                                                                                                                      • +
                                                                                                                                                                                                                                                                                                                                                                                                                                      • Ensured dynamic configuration updates are reflected correctly in the cache. (#33590)
                                                                                                                                                                                                                                                                                                                                                                                                                                      • +
                                                                                                                                                                                                                                                                                                                                                                                                                                      • Improved the accuracy of the RootCoordQuotaStates metric (#33601)
                                                                                                                                                                                                                                                                                                                                                                                                                                      • +
                                                                                                                                                                                                                                                                                                                                                                                                                                      • Ensured accurate reporting of the number of loaded entities in metric(#33522)
                                                                                                                                                                                                                                                                                                                                                                                                                                      • +
                                                                                                                                                                                                                                                                                                                                                                                                                                      • Provided more complete information in exception logs. (#33396)
                                                                                                                                                                                                                                                                                                                                                                                                                                      • +
                                                                                                                                                                                                                                                                                                                                                                                                                                      • Optimized query pipeline by removing unnecessary group checker (#33485)
                                                                                                                                                                                                                                                                                                                                                                                                                                      • +
                                                                                                                                                                                                                                                                                                                                                                                                                                      • Used the local storage path for a more accurate disk capacity check on the index node. (#33505)
                                                                                                                                                                                                                                                                                                                                                                                                                                      • +
                                                                                                                                                                                                                                                                                                                                                                                                                                      • Corrected hasMoreResult may return false when hit number larger than limit (#33642)
                                                                                                                                                                                                                                                                                                                                                                                                                                      • +
                                                                                                                                                                                                                                                                                                                                                                                                                                      • Delayed load bf in delegator to prevent bfs been loaded over and over again when worker has no more memory (#33650)

                                                                                                                                                                                                                                                                                                                                                                                                                                      v2.4.4

                                                                                                                                                                                                                                                                                                                                                                                                                                      发布日期:2024 年 5 月 31 日

                                                                                                                                                                                                                                                                                                                                                                                                                                      +

                                                                                                                                                                                                                                                                                                                                                                                                                                      Release date: May 31, 2024

                                                                                                                                                                                                                                                                                                                                                                                                                                      - +
                                                                                                                                                                                                                                                                                                                                                                                                                                      Milvus 版本Python SDK 版本Java SDK 版本Node.js SDK 版本
                                                                                                                                                                                                                                                                                                                                                                                                                                      Milvus versionPython SDK versionJava SDK versionNode.js SDK version
                                                                                                                                                                                                                                                                                                                                                                                                                                      2.4.42.4.32.4.12.4.2
                                                                                                                                                                                                                                                                                                                                                                                                                                      -

                                                                                                                                                                                                                                                                                                                                                                                                                                      Milvus v2.4.4 包含多个关键错误修复和改进,旨在提高性能和稳定性。值得注意的是,我们解决了一个关键问题,即批量插入统计日志被错误地垃圾收集,从而可能影响数据完整性。我们强烈建议所有 v2.4 用户升级到该版本,以受益于这些修复。

                                                                                                                                                                                                                                                                                                                                                                                                                                      -

                                                                                                                                                                                                                                                                                                                                                                                                                                      如果您正在使用批量插入功能,请尽早升级到 v2.4.4,以确保数据完整性。

                                                                                                                                                                                                                                                                                                                                                                                                                                      -

                                                                                                                                                                                                                                                                                                                                                                                                                                      重要错误修复

                                                                                                                                                                                                                                                                                                                                                                                                                                        -
                                                                                                                                                                                                                                                                                                                                                                                                                                      • 填写统计日志 ID 并验证其正确性(#33478)
                                                                                                                                                                                                                                                                                                                                                                                                                                      • +

                                                                                                                                                                                                                                                                                                                                                                                                                                        Milvus v2.4.4 includes several critical bug fixes and improvements aimed at enhancing performance and stability. Notably, we’ve resolved a critical issue where bulk insert statistics logs were incorrectly garbage collected, potentially affecting data integrity. We strongly recommend all v2.4 users upgrade to this version to benefit from these fixes.

                                                                                                                                                                                                                                                                                                                                                                                                                                        +

                                                                                                                                                                                                                                                                                                                                                                                                                                        If you are using bulk insert, upgrade to v2.4.4 at the earliest opportunity for data integrity.

                                                                                                                                                                                                                                                                                                                                                                                                                                        +

                                                                                                                                                                                                                                                                                                                                                                                                                                        Critical bug fixes

                                                                                                                                                                                                                                                                                                                                                                                                                                          +
                                                                                                                                                                                                                                                                                                                                                                                                                                        • Filled stats log ID and validated its correctness (#33478)
                                                                                                                                                                                                                                                                                                                                                                                                                                        -

                                                                                                                                                                                                                                                                                                                                                                                                                                        改进

                                                                                                                                                                                                                                                                                                                                                                                                                                          -
                                                                                                                                                                                                                                                                                                                                                                                                                                        • 升级了 ARM SVE 的比特集(#33440)
                                                                                                                                                                                                                                                                                                                                                                                                                                        • -
                                                                                                                                                                                                                                                                                                                                                                                                                                        • 启用 Milvus 与 GCC-13 的编译(#33441)
                                                                                                                                                                                                                                                                                                                                                                                                                                        • +

                                                                                                                                                                                                                                                                                                                                                                                                                                          Improvements

                                                                                                                                                                                                                                                                                                                                                                                                                                            +
                                                                                                                                                                                                                                                                                                                                                                                                                                          • Upgraded bitset for ARM SVE (#33440)
                                                                                                                                                                                                                                                                                                                                                                                                                                          • +
                                                                                                                                                                                                                                                                                                                                                                                                                                          • Enabled Milvus compilation with GCC-13 (#33441)
                                                                                                                                                                                                                                                                                                                                                                                                                                          -

                                                                                                                                                                                                                                                                                                                                                                                                                                          错误修正

                                                                                                                                                                                                                                                                                                                                                                                                                                            -
                                                                                                                                                                                                                                                                                                                                                                                                                                          • 授予所有权限时显示空的 Collections(#33454)
                                                                                                                                                                                                                                                                                                                                                                                                                                          • -
                                                                                                                                                                                                                                                                                                                                                                                                                                          • 确保 CMake 下载并安装到当前平台,而非 x86_64(#33439)
                                                                                                                                                                                                                                                                                                                                                                                                                                          • +

                                                                                                                                                                                                                                                                                                                                                                                                                                            Bug fixes

                                                                                                                                                                                                                                                                                                                                                                                                                                              +
                                                                                                                                                                                                                                                                                                                                                                                                                                            • Displayed empty collections when all privilege is granted (#33454)
                                                                                                                                                                                                                                                                                                                                                                                                                                            • +
                                                                                                                                                                                                                                                                                                                                                                                                                                            • Ensured CMake downloads and installs for the current platform, not just x86_64 (#33439)

                                                                                                                                                                                                                                                                                                                                                                                                                                            v2.4.3

                                                                                                                                                                                                                                                                                                                                                                                                                                            发布日期:2024 年 5 月 29 日

                                                                                                                                                                                                                                                                                                                                                                                                                                            +

                                                                                                                                                                                                                                                                                                                                                                                                                                            Release date: May 29, 2024

                                                                                                                                                                                                                                                                                                                                                                                                                                            - +
                                                                                                                                                                                                                                                                                                                                                                                                                                            Milvus 版本Python SDK 版本Java SDK 版本Node.js SDK 版本
                                                                                                                                                                                                                                                                                                                                                                                                                                            Milvus versionPython SDK versionJava SDK versionNode.js SDK version
                                                                                                                                                                                                                                                                                                                                                                                                                                            2.4.32.4.32.4.12.4.2
                                                                                                                                                                                                                                                                                                                                                                                                                                            -

                                                                                                                                                                                                                                                                                                                                                                                                                                            Milvus 2.4.3 版引入了大量功能、改进和错误修复,以提高性能和可靠性。值得注意的改进包括支持稀疏浮点向量批量插入和优化的 Bloom 过滤器加速。改进涵盖了从动态配置更新到内存使用优化等多个领域。错误修复解决了恐慌情景等关键问题,确保系统操作更加流畅。该版本强调了 Milvus 对增强功能、优化性能和提供强大用户体验的持续承诺。

                                                                                                                                                                                                                                                                                                                                                                                                                                            -

                                                                                                                                                                                                                                                                                                                                                                                                                                            功能特性

                                                                                                                                                                                                                                                                                                                                                                                                                                              -
                                                                                                                                                                                                                                                                                                                                                                                                                                            • 支持 binlog/json/parquet 的稀疏浮点向量批量插入(#32649)
                                                                                                                                                                                                                                                                                                                                                                                                                                            • +

                                                                                                                                                                                                                                                                                                                                                                                                                                              Milvus version 2.4.3 introduced a host of features, improvements, and bug fixes to elevate performance and reliability. Notable enhancements included support for sparse float vector bulk insert and optimized bloom filter acceleration. Improvements covered various areas, from dynamic configuration updates to memory usage optimization. Bug fixes addressed critical issues like panic scenarios and ensured smoother system operations. This release underscored Milvus’s ongoing commitment to enhancing functionality, optimizing performance, and delivering a robust user experience.

                                                                                                                                                                                                                                                                                                                                                                                                                                              +

                                                                                                                                                                                                                                                                                                                                                                                                                                              Features

                                                                                                                                                                                                                                                                                                                                                                                                                                                +
                                                                                                                                                                                                                                                                                                                                                                                                                                              • Supported sparse float vector bulk insert for binlog/json/parquet (#32649)
                                                                                                                                                                                                                                                                                                                                                                                                                                              -

                                                                                                                                                                                                                                                                                                                                                                                                                                              改进

                                                                                                                                                                                                                                                                                                                                                                                                                                                -
                                                                                                                                                                                                                                                                                                                                                                                                                                              • 基于 RPC 实现了 Datacoord/节点观察通道(#32036)
                                                                                                                                                                                                                                                                                                                                                                                                                                              • -
                                                                                                                                                                                                                                                                                                                                                                                                                                              • 优化了 Bloom 过滤器,以加速删除过滤(#32642#33329#33284)
                                                                                                                                                                                                                                                                                                                                                                                                                                              • -
                                                                                                                                                                                                                                                                                                                                                                                                                                              • 如果标量索引没有原始数据,则通过 mmap 加载原始数据(#33317)
                                                                                                                                                                                                                                                                                                                                                                                                                                              • -
                                                                                                                                                                                                                                                                                                                                                                                                                                              • 将 milvus 配置同步到 milvus.yaml 中(#33322#32920#32857#32946)
                                                                                                                                                                                                                                                                                                                                                                                                                                              • -
                                                                                                                                                                                                                                                                                                                                                                                                                                              • 更新了 knowhere 版本(#33310#32931#33043)
                                                                                                                                                                                                                                                                                                                                                                                                                                              • -
                                                                                                                                                                                                                                                                                                                                                                                                                                              • 在 QueryCoord 中启用动态更新平衡策略(#33272)
                                                                                                                                                                                                                                                                                                                                                                                                                                              • -
                                                                                                                                                                                                                                                                                                                                                                                                                                              • 在写缓冲区中使用预置的日志记录器,以尽量减少日志记录器的分配(#33304)
                                                                                                                                                                                                                                                                                                                                                                                                                                              • -
                                                                                                                                                                                                                                                                                                                                                                                                                                              • 改进了参数检查(#32777#33271#33218)
                                                                                                                                                                                                                                                                                                                                                                                                                                              • -
                                                                                                                                                                                                                                                                                                                                                                                                                                              • 添加了一个参数以忽略检查点中不正确的消息 ID(#33249)
                                                                                                                                                                                                                                                                                                                                                                                                                                              • -
                                                                                                                                                                                                                                                                                                                                                                                                                                              • 添加了控制插件初始化失败处理的配置(#32680)
                                                                                                                                                                                                                                                                                                                                                                                                                                              • -
                                                                                                                                                                                                                                                                                                                                                                                                                                              • 为 knowhere 添加了分数计算一致性配置(#32997)
                                                                                                                                                                                                                                                                                                                                                                                                                                              • -
                                                                                                                                                                                                                                                                                                                                                                                                                                              • 引入了一个配置选项来控制公共角色权限的初始化(#33174)
                                                                                                                                                                                                                                                                                                                                                                                                                                              • -
                                                                                                                                                                                                                                                                                                                                                                                                                                              • 优化了读取字段时的内存使用(#33196)
                                                                                                                                                                                                                                                                                                                                                                                                                                              • -
                                                                                                                                                                                                                                                                                                                                                                                                                                              • 改进了通道管理器 v2 的实现(#33172#33121#33014)
                                                                                                                                                                                                                                                                                                                                                                                                                                              • -
                                                                                                                                                                                                                                                                                                                                                                                                                                              • 添加了跟踪内存中 binlog 数据大小的功能(#33025)
                                                                                                                                                                                                                                                                                                                                                                                                                                              • -
                                                                                                                                                                                                                                                                                                                                                                                                                                              • 添加了段索引文件大小的度量(#32979#33305)
                                                                                                                                                                                                                                                                                                                                                                                                                                              • -
                                                                                                                                                                                                                                                                                                                                                                                                                                              • 用 DeletePartialMatch 代替 Delete 以移除指标(#33029)
                                                                                                                                                                                                                                                                                                                                                                                                                                              • -
                                                                                                                                                                                                                                                                                                                                                                                                                                              • 根据片段类型获取相关数据大小(#33017)
                                                                                                                                                                                                                                                                                                                                                                                                                                              • -
                                                                                                                                                                                                                                                                                                                                                                                                                                              • 清理元存储中的通道节点信息(#32988)
                                                                                                                                                                                                                                                                                                                                                                                                                                              • -
                                                                                                                                                                                                                                                                                                                                                                                                                                              • 从数据节点代理中移除根节点(#32818)
                                                                                                                                                                                                                                                                                                                                                                                                                                              • -
                                                                                                                                                                                                                                                                                                                                                                                                                                              • 启用批量上传(#32788)
                                                                                                                                                                                                                                                                                                                                                                                                                                              • -
                                                                                                                                                                                                                                                                                                                                                                                                                                              • 使用 Partition Key 时,将默认分区数改为 16(#32950)
                                                                                                                                                                                                                                                                                                                                                                                                                                              • -
                                                                                                                                                                                                                                                                                                                                                                                                                                              • 改进了超大 top-k 查询的还原性能(#32871)
                                                                                                                                                                                                                                                                                                                                                                                                                                              • -
                                                                                                                                                                                                                                                                                                                                                                                                                                              • 利用 TestLocations 功能加速写入和压缩(#32948)
                                                                                                                                                                                                                                                                                                                                                                                                                                              • -
                                                                                                                                                                                                                                                                                                                                                                                                                                              • 优化了计划解析器池,以避免不必要的循环(#32869)
                                                                                                                                                                                                                                                                                                                                                                                                                                              • -
                                                                                                                                                                                                                                                                                                                                                                                                                                              • 提高了加载速度(#32898)
                                                                                                                                                                                                                                                                                                                                                                                                                                              • -
                                                                                                                                                                                                                                                                                                                                                                                                                                              • 为 restv2 使用了 Collections 默认一致性级别(#32956)
                                                                                                                                                                                                                                                                                                                                                                                                                                              • -
                                                                                                                                                                                                                                                                                                                                                                                                                                              • 为其余 API 添加了成本响应(#32620)
                                                                                                                                                                                                                                                                                                                                                                                                                                              • -
                                                                                                                                                                                                                                                                                                                                                                                                                                              • 启用通道独占平衡策略(#32911)
                                                                                                                                                                                                                                                                                                                                                                                                                                              • -
                                                                                                                                                                                                                                                                                                                                                                                                                                              • 在代理中公开 describedatabase API(#32732)
                                                                                                                                                                                                                                                                                                                                                                                                                                              • -
                                                                                                                                                                                                                                                                                                                                                                                                                                              • 通过 Collections 获取 RG 时使用 coll2replica 映射(#32892)
                                                                                                                                                                                                                                                                                                                                                                                                                                              • -
                                                                                                                                                                                                                                                                                                                                                                                                                                              • 为搜索和查询添加了更多跟踪功能(#32734)
                                                                                                                                                                                                                                                                                                                                                                                                                                              • -
                                                                                                                                                                                                                                                                                                                                                                                                                                              • 支持对 opentelemetry 跟踪进行动态配置(#32169)
                                                                                                                                                                                                                                                                                                                                                                                                                                              • -
                                                                                                                                                                                                                                                                                                                                                                                                                                              • 更新领导视图时避免迭代通道结果(#32887)
                                                                                                                                                                                                                                                                                                                                                                                                                                              • -
                                                                                                                                                                                                                                                                                                                                                                                                                                              • 优化了对 parquet 的向量偏移处理(#32822)
                                                                                                                                                                                                                                                                                                                                                                                                                                              • -
                                                                                                                                                                                                                                                                                                                                                                                                                                              • 通过 Collections 改进了数据记录段过滤(#32831)
                                                                                                                                                                                                                                                                                                                                                                                                                                              • -
                                                                                                                                                                                                                                                                                                                                                                                                                                              • 调整了日志级别和频率(#33042#32838#33337)
                                                                                                                                                                                                                                                                                                                                                                                                                                              • -
                                                                                                                                                                                                                                                                                                                                                                                                                                              • 在暂停平衡后启用停止平衡(#32812)
                                                                                                                                                                                                                                                                                                                                                                                                                                              • -
                                                                                                                                                                                                                                                                                                                                                                                                                                              • 当分块领导者位置发生变化时,更新分块领导者缓存(#32470)
                                                                                                                                                                                                                                                                                                                                                                                                                                              • -
                                                                                                                                                                                                                                                                                                                                                                                                                                              • 移除过时的应用程序接口和字段(#32808#32704)
                                                                                                                                                                                                                                                                                                                                                                                                                                              • -
                                                                                                                                                                                                                                                                                                                                                                                                                                              • 添加了 metautil.channel 以将字符串比较转换为 int(#32749)
                                                                                                                                                                                                                                                                                                                                                                                                                                              • -
                                                                                                                                                                                                                                                                                                                                                                                                                                              • 当 querynode 发现新的 Collections 时,为 payload writer 的错误信息和日志添加了类型信息(#32522)
                                                                                                                                                                                                                                                                                                                                                                                                                                              • -
                                                                                                                                                                                                                                                                                                                                                                                                                                              • 使用分区键创建 Collections 时检查分区号(#32670)
                                                                                                                                                                                                                                                                                                                                                                                                                                              • -
                                                                                                                                                                                                                                                                                                                                                                                                                                              • 如果观察失败,则删除传统的 l0 段(#32725)
                                                                                                                                                                                                                                                                                                                                                                                                                                              • -
                                                                                                                                                                                                                                                                                                                                                                                                                                              • 改进了请求类型的打印(#33319)
                                                                                                                                                                                                                                                                                                                                                                                                                                              • -
                                                                                                                                                                                                                                                                                                                                                                                                                                              • 在获取类型前检查数组字段数据是否为零(#33311)
                                                                                                                                                                                                                                                                                                                                                                                                                                              • -
                                                                                                                                                                                                                                                                                                                                                                                                                                              • 启动删除/添加节点操作失败时返回错误(#33258)
                                                                                                                                                                                                                                                                                                                                                                                                                                              • -
                                                                                                                                                                                                                                                                                                                                                                                                                                              • 允许更新数据节点的服务器 ID(#31597)
                                                                                                                                                                                                                                                                                                                                                                                                                                              • -
                                                                                                                                                                                                                                                                                                                                                                                                                                              • 在 Collections 版本中统一了 querynode 指标清理(#32805)
                                                                                                                                                                                                                                                                                                                                                                                                                                              • -
                                                                                                                                                                                                                                                                                                                                                                                                                                              • 修复了标量自动索引配置版本不正确的问题(#32795)
                                                                                                                                                                                                                                                                                                                                                                                                                                              • -
                                                                                                                                                                                                                                                                                                                                                                                                                                              • 改进了创建/更改索引时的索引参数检查(#32712)
                                                                                                                                                                                                                                                                                                                                                                                                                                              • -
                                                                                                                                                                                                                                                                                                                                                                                                                                              • 删除了冗余的副本恢复(#32985)
                                                                                                                                                                                                                                                                                                                                                                                                                                              • -
                                                                                                                                                                                                                                                                                                                                                                                                                                              • 启用通道元表以写入超过 200k 的片段(#33300)
                                                                                                                                                                                                                                                                                                                                                                                                                                              • +

                                                                                                                                                                                                                                                                                                                                                                                                                                                Improvements

                                                                                                                                                                                                                                                                                                                                                                                                                                                  +
                                                                                                                                                                                                                                                                                                                                                                                                                                                • Implemented Datacoord/node watch channel based on RPC (#32036)
                                                                                                                                                                                                                                                                                                                                                                                                                                                • +
                                                                                                                                                                                                                                                                                                                                                                                                                                                • Optimized bloom filter to accelerate delete filtering (#32642, #33329, #33284)
                                                                                                                                                                                                                                                                                                                                                                                                                                                • +
                                                                                                                                                                                                                                                                                                                                                                                                                                                • Loaded raw data via mmap if scalar index did not have raw data (#33317)
                                                                                                                                                                                                                                                                                                                                                                                                                                                • +
                                                                                                                                                                                                                                                                                                                                                                                                                                                • Synced milvus config to milvus.yaml (#33322, #32920, #32857, #32946)
                                                                                                                                                                                                                                                                                                                                                                                                                                                • +
                                                                                                                                                                                                                                                                                                                                                                                                                                                • Updated knowhere version (#33310, #32931, #33043)
                                                                                                                                                                                                                                                                                                                                                                                                                                                • +
                                                                                                                                                                                                                                                                                                                                                                                                                                                • Enabled dynamic updating of balancer policy in QueryCoord (#33272)
                                                                                                                                                                                                                                                                                                                                                                                                                                                • +
                                                                                                                                                                                                                                                                                                                                                                                                                                                • Used a pre-built logger in the write buffer to minimize logger allocation (#33304)
                                                                                                                                                                                                                                                                                                                                                                                                                                                • +
                                                                                                                                                                                                                                                                                                                                                                                                                                                • Improved parameter checking (#32777, #33271, #33218)
                                                                                                                                                                                                                                                                                                                                                                                                                                                • +
                                                                                                                                                                                                                                                                                                                                                                                                                                                • Added a parameter to ignore incorrect message IDs in the checkpoint (#33249)
                                                                                                                                                                                                                                                                                                                                                                                                                                                • +
                                                                                                                                                                                                                                                                                                                                                                                                                                                • Added config to control initialization failure handling for plugins (#32680)
                                                                                                                                                                                                                                                                                                                                                                                                                                                • +
                                                                                                                                                                                                                                                                                                                                                                                                                                                • Added score compute consistency config for knowhere (#32997)
                                                                                                                                                                                                                                                                                                                                                                                                                                                • +
                                                                                                                                                                                                                                                                                                                                                                                                                                                • Introduced a configuration option to control the initialization of public role permissions (#33174)
                                                                                                                                                                                                                                                                                                                                                                                                                                                • +
                                                                                                                                                                                                                                                                                                                                                                                                                                                • Optimized memory usage when reading fields (#33196)
                                                                                                                                                                                                                                                                                                                                                                                                                                                • +
                                                                                                                                                                                                                                                                                                                                                                                                                                                • Refined implementation of Channel Manager v2 (#33172, #33121, #33014)
                                                                                                                                                                                                                                                                                                                                                                                                                                                • +
                                                                                                                                                                                                                                                                                                                                                                                                                                                • Added feature to track the size of data in memory for binlog (#33025)
                                                                                                                                                                                                                                                                                                                                                                                                                                                • +
                                                                                                                                                                                                                                                                                                                                                                                                                                                • Added metrics for segment index files size (#32979, #33305)
                                                                                                                                                                                                                                                                                                                                                                                                                                                • +
                                                                                                                                                                                                                                                                                                                                                                                                                                                • Replaced Delete with DeletePartialMatch to remove metrics (#33029)
                                                                                                                                                                                                                                                                                                                                                                                                                                                • +
                                                                                                                                                                                                                                                                                                                                                                                                                                                • Got related data size according to segment type (#33017)
                                                                                                                                                                                                                                                                                                                                                                                                                                                • +
                                                                                                                                                                                                                                                                                                                                                                                                                                                • Cleaned channel node info in meta store (#32988)
                                                                                                                                                                                                                                                                                                                                                                                                                                                • +
                                                                                                                                                                                                                                                                                                                                                                                                                                                • Removed rootcoord from datanode broker (#32818)
                                                                                                                                                                                                                                                                                                                                                                                                                                                • +
                                                                                                                                                                                                                                                                                                                                                                                                                                                • Enabled batch uploading (#32788)
                                                                                                                                                                                                                                                                                                                                                                                                                                                • +
                                                                                                                                                                                                                                                                                                                                                                                                                                                • Changed default partition number to 16 when using partition key (#32950)
                                                                                                                                                                                                                                                                                                                                                                                                                                                • +
                                                                                                                                                                                                                                                                                                                                                                                                                                                • Improved reduce performance on very large top-k queries (#32871)
                                                                                                                                                                                                                                                                                                                                                                                                                                                • +
                                                                                                                                                                                                                                                                                                                                                                                                                                                • Utilized TestLocations ability to accelerate write & compaction (#32948)
                                                                                                                                                                                                                                                                                                                                                                                                                                                • +
                                                                                                                                                                                                                                                                                                                                                                                                                                                • Optimized plan parser pool to avoid unnecessary recycling (#32869)
                                                                                                                                                                                                                                                                                                                                                                                                                                                • +
                                                                                                                                                                                                                                                                                                                                                                                                                                                • Improved load speed (#32898)
                                                                                                                                                                                                                                                                                                                                                                                                                                                • +
                                                                                                                                                                                                                                                                                                                                                                                                                                                • Used collection default consistency level for restv2 (#32956)
                                                                                                                                                                                                                                                                                                                                                                                                                                                • +
                                                                                                                                                                                                                                                                                                                                                                                                                                                • Added cost response for the rest API (#32620)
                                                                                                                                                                                                                                                                                                                                                                                                                                                • +
                                                                                                                                                                                                                                                                                                                                                                                                                                                • Enabled channel exclusive balance policy (#32911)
                                                                                                                                                                                                                                                                                                                                                                                                                                                • +
                                                                                                                                                                                                                                                                                                                                                                                                                                                • Exposed describedatabase API in proxy (#32732)
                                                                                                                                                                                                                                                                                                                                                                                                                                                • +
                                                                                                                                                                                                                                                                                                                                                                                                                                                • Utilized coll2replica mapping when getting RG by collection (#32892)
                                                                                                                                                                                                                                                                                                                                                                                                                                                • +
                                                                                                                                                                                                                                                                                                                                                                                                                                                • Added more tracing for search & query (#32734)
                                                                                                                                                                                                                                                                                                                                                                                                                                                • +
                                                                                                                                                                                                                                                                                                                                                                                                                                                • Supported dynamic config for opentelemetry trace (#32169)
                                                                                                                                                                                                                                                                                                                                                                                                                                                • +
                                                                                                                                                                                                                                                                                                                                                                                                                                                • Avoided iteration over channel results when updating leaderview (#32887)
                                                                                                                                                                                                                                                                                                                                                                                                                                                • +
                                                                                                                                                                                                                                                                                                                                                                                                                                                • Optimized vector offsets handling for parquet (#32822)
                                                                                                                                                                                                                                                                                                                                                                                                                                                • +
                                                                                                                                                                                                                                                                                                                                                                                                                                                • Improved datacoord segment filtering with collection (#32831)
                                                                                                                                                                                                                                                                                                                                                                                                                                                • +
                                                                                                                                                                                                                                                                                                                                                                                                                                                • Adjusted log level and frequency (#33042, #32838, #33337)
                                                                                                                                                                                                                                                                                                                                                                                                                                                • +
                                                                                                                                                                                                                                                                                                                                                                                                                                                • Enabled stopping balance after balance had been suspended (#32812)
                                                                                                                                                                                                                                                                                                                                                                                                                                                • +
                                                                                                                                                                                                                                                                                                                                                                                                                                                • Updated shard leader cache when leader location changed (#32470)
                                                                                                                                                                                                                                                                                                                                                                                                                                                • +
                                                                                                                                                                                                                                                                                                                                                                                                                                                • Removed deprecated API and field (#32808, #32704)
                                                                                                                                                                                                                                                                                                                                                                                                                                                • +
                                                                                                                                                                                                                                                                                                                                                                                                                                                • Added metautil.channel to convert string compare to int (#32749)
                                                                                                                                                                                                                                                                                                                                                                                                                                                • +
                                                                                                                                                                                                                                                                                                                                                                                                                                                • Added type info for payload writer error message and log when querynode found new collection (#32522)
                                                                                                                                                                                                                                                                                                                                                                                                                                                • +
                                                                                                                                                                                                                                                                                                                                                                                                                                                • Checked partition number when creating collection with partition key (#32670)
                                                                                                                                                                                                                                                                                                                                                                                                                                                • +
                                                                                                                                                                                                                                                                                                                                                                                                                                                • Removed legacy l0 segment if watch failed (#32725)
                                                                                                                                                                                                                                                                                                                                                                                                                                                • +
                                                                                                                                                                                                                                                                                                                                                                                                                                                • Improved printing type of request (#33319)
                                                                                                                                                                                                                                                                                                                                                                                                                                                • +
                                                                                                                                                                                                                                                                                                                                                                                                                                                • Checked array field data was nil before getting the type (#33311)
                                                                                                                                                                                                                                                                                                                                                                                                                                                • +
                                                                                                                                                                                                                                                                                                                                                                                                                                                • Returned error when startup Delete/AddNode node operation failed (#33258)
                                                                                                                                                                                                                                                                                                                                                                                                                                                • +
                                                                                                                                                                                                                                                                                                                                                                                                                                                • Allowed datanode’s server ID to be updated (#31597)
                                                                                                                                                                                                                                                                                                                                                                                                                                                • +
                                                                                                                                                                                                                                                                                                                                                                                                                                                • Unified querynode metrics cleanup in collection release (#32805)
                                                                                                                                                                                                                                                                                                                                                                                                                                                • +
                                                                                                                                                                                                                                                                                                                                                                                                                                                • Fixed scalar auto index config incorrect version (#32795)
                                                                                                                                                                                                                                                                                                                                                                                                                                                • +
                                                                                                                                                                                                                                                                                                                                                                                                                                                • Refined index param check for create/alter index (#32712)
                                                                                                                                                                                                                                                                                                                                                                                                                                                • +
                                                                                                                                                                                                                                                                                                                                                                                                                                                • Removed redundant replica recovery (#32985)
                                                                                                                                                                                                                                                                                                                                                                                                                                                • +
                                                                                                                                                                                                                                                                                                                                                                                                                                                • Enabled channel meta table to write more than 200k segments (#33300)
                                                                                                                                                                                                                                                                                                                                                                                                                                                -

                                                                                                                                                                                                                                                                                                                                                                                                                                                错误修复

                                                                                                                                                                                                                                                                                                                                                                                                                                                  -
                                                                                                                                                                                                                                                                                                                                                                                                                                                • 修复了速率限制拦截器中数据库不存在时的恐慌(#33308)
                                                                                                                                                                                                                                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                                                                                                                                                                                                                                • 修正了因参数不正确而导致的 quotacenter 指标收集失败(#33399)
                                                                                                                                                                                                                                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                                                                                                                                                                                                                                • 修正了当 processactivestandby 返回错误时的恐慌(#33372)
                                                                                                                                                                                                                                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                                                                                                                                                                                                                                • 修复了 nq > 1 时 restful v2 中搜索结果截断的问题(#33363)
                                                                                                                                                                                                                                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                                                                                                                                                                                                                                • 为 restful v2 中的角色操作添加了数据库名称字段(#33291)
                                                                                                                                                                                                                                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                                                                                                                                                                                                                                • 修复了全局速率限制不起作用的问题(#33336)
                                                                                                                                                                                                                                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                                                                                                                                                                                                                                • 修复了因建立索引失败而导致的恐慌(#33314)
                                                                                                                                                                                                                                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                                                                                                                                                                                                                                • 在 segcore 中添加了稀疏向量验证,以确保合法性(#33312)
                                                                                                                                                                                                                                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                                                                                                                                                                                                                                • 任务完成后从同步管理中移除任务(#33303)
                                                                                                                                                                                                                                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                                                                                                                                                                                                                                • 修复了数据导入时 Partition Key 过滤失败的问题(#33277)
                                                                                                                                                                                                                                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                                                                                                                                                                                                                                • 修复了使用 noop 输出程序时无法生成 traceID 的问题(#33208)
                                                                                                                                                                                                                                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                                                                                                                                                                                                                                • 改进了查询结果检索(#33179)
                                                                                                                                                                                                                                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                                                                                                                                                                                                                                • 标记通道检查点已放弃,以防止检查点滞后指标泄漏(#33201)
                                                                                                                                                                                                                                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                                                                                                                                                                                                                                • 修复了查询节点在停止过程中卡住的问题(#33154)
                                                                                                                                                                                                                                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                                                                                                                                                                                                                                • 修复了刷新响应中缺失的片段(#33061)
                                                                                                                                                                                                                                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                                                                                                                                                                                                                                • 使提交操作符合empotent条件(#33053)
                                                                                                                                                                                                                                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                                                                                                                                                                                                                                • 为流式阅读器中的每个批次分配新片段(#33360)
                                                                                                                                                                                                                                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                                                                                                                                                                                                                                • 在 QueryCoord 重启后从资源组中清理离线节点(#33233)
                                                                                                                                                                                                                                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                                                                                                                                                                                                                                • 移除 completedCompactor 中的 l0 压缩器(#33216)
                                                                                                                                                                                                                                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                                                                                                                                                                                                                                • 初始化限制器时重置配额值(#33152)
                                                                                                                                                                                                                                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                                                                                                                                                                                                                                • 修复了超出 etcd 限制的问题(#33041)
                                                                                                                                                                                                                                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                                                                                                                                                                                                                                • 解决了因字段过多而超出 etcd 事务限制的问题(#33040)
                                                                                                                                                                                                                                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                                                                                                                                                                                                                                • 删除了 GetNumRowsOfPartition 中的 RLock 重入(#33045)
                                                                                                                                                                                                                                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                                                                                                                                                                                                                                • 在 SyncAll 之前启动 LeaderCacheObserver(#33035)
                                                                                                                                                                                                                                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                                                                                                                                                                                                                                • 启用已释放备用通道的平衡(#32986)
                                                                                                                                                                                                                                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                                                                                                                                                                                                                                • 在服务器初始化之前初始化访问记录器(#32976)
                                                                                                                                                                                                                                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                                                                                                                                                                                                                                • 使压缩器能够清除空片段(#32821)
                                                                                                                                                                                                                                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                                                                                                                                                                                                                                • 在 l0 压缩中填入 deltalog 条目编号和时间范围(#33004)
                                                                                                                                                                                                                                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                                                                                                                                                                                                                                • 修正了因分片领导者缓存数据竞赛而导致的代理崩溃问题(#32971)
                                                                                                                                                                                                                                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                                                                                                                                                                                                                                • 修正了负载索引度量的时间单位(#32935)
                                                                                                                                                                                                                                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                                                                                                                                                                                                                                • 修正了停止查询节点上的分段无法成功释放的问题(#32929)
                                                                                                                                                                                                                                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                                                                                                                                                                                                                                • 修正了索引资源估算(#32842)
                                                                                                                                                                                                                                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                                                                                                                                                                                                                                • 将通道检查点设置为 delta 位置(#32878)
                                                                                                                                                                                                                                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                                                                                                                                                                                                                                • 使 syncmgr 在返回未来之前锁定关键字(#32865)
                                                                                                                                                                                                                                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                                                                                                                                                                                                                                • 确保反转索引只有一个分段(#32858)
                                                                                                                                                                                                                                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                                                                                                                                                                                                                                • 修复了选择两个相同段的压缩触发器(#32800)
                                                                                                                                                                                                                                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                                                                                                                                                                                                                                • 修复了 binlog 导入时无法指定分区名称的问题(#32730#33027)
                                                                                                                                                                                                                                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                                                                                                                                                                                                                                • 在镶嵌导入中使动态列成为可选项(#32738)
                                                                                                                                                                                                                                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                                                                                                                                                                                                                                • 插入数据时跳过自动 ID 检查(#32775)
                                                                                                                                                                                                                                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                                                                                                                                                                                                                                • 根据 Schema 验证插入字段数据的行数(#32770)
                                                                                                                                                                                                                                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                                                                                                                                                                                                                                • 为 CTraceContext ID 添加了封装器和保持器(#32746)
                                                                                                                                                                                                                                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                                                                                                                                                                                                                                • 修复了在 datacoord 元对象中找不到数据库名称的问题(#33412)
                                                                                                                                                                                                                                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                                                                                                                                                                                                                                • 同步了已删除分区的已删除段(#33332)
                                                                                                                                                                                                                                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                                                                                                                                                                                                                                • 修复了因参数不正确而导致的 quotaCenter 指标收集失败的问题(#33399)
                                                                                                                                                                                                                                                                                                                                                                                                                                                • +

                                                                                                                                                                                                                                                                                                                                                                                                                                                  Bug fixes

                                                                                                                                                                                                                                                                                                                                                                                                                                                    +
                                                                                                                                                                                                                                                                                                                                                                                                                                                  • Fixed panic when the database didn’t exist in the rate limit interceptor (#33308)
                                                                                                                                                                                                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                                                                                                                                                                                                  • Fixed quotacenter metrics collection failure due to incorrect parameters (#33399)
                                                                                                                                                                                                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                                                                                                                                                                                                  • Fixed panic if processactivestandby returned an error (#33372)
                                                                                                                                                                                                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                                                                                                                                                                                                  • Fixed search result truncation in restful v2 when nq > 1 (#33363)
                                                                                                                                                                                                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                                                                                                                                                                                                  • Added database name field for role operations in restful v2 (#33291)
                                                                                                                                                                                                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                                                                                                                                                                                                  • Fixed global rate limit not working (#33336)
                                                                                                                                                                                                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                                                                                                                                                                                                  • Fixed panic caused by failure of building index (#33314)
                                                                                                                                                                                                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                                                                                                                                                                                                  • Added validation for sparse vector in segcore to ensure legality (#33312)
                                                                                                                                                                                                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                                                                                                                                                                                                  • Removed task from syncmgr after task completion (#33303)
                                                                                                                                                                                                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                                                                                                                                                                                                  • Fixed partition key filtering failure during data import (#33277)
                                                                                                                                                                                                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                                                                                                                                                                                                  • Fixed inability to generate traceID when using noop exporter (#33208)
                                                                                                                                                                                                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                                                                                                                                                                                                  • Improved query results retrieval (#33179)
                                                                                                                                                                                                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                                                                                                                                                                                                  • Marked channel checkpoint dropped to prevent checkpoint lag metrics leakage (#33201)
                                                                                                                                                                                                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                                                                                                                                                                                                  • Fixed query node getting stuck during stopping progress (#33154)
                                                                                                                                                                                                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                                                                                                                                                                                                  • Fixed missing segments in flush response (#33061)
                                                                                                                                                                                                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                                                                                                                                                                                                  • Made submit operation idempotent (#33053)
                                                                                                                                                                                                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                                                                                                                                                                                                  • Allocated new slice for each batch in streaming reader (#33360)
                                                                                                                                                                                                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                                                                                                                                                                                                  • Cleaned offline node from resource group after QueryCoord restart (#33233)
                                                                                                                                                                                                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                                                                                                                                                                                                  • Removed l0 compactor in completedCompactor (#33216)
                                                                                                                                                                                                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                                                                                                                                                                                                  • Reset quota value when initializing the limiter (#33152)
                                                                                                                                                                                                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                                                                                                                                                                                                  • Fixed issue where etcd limit was exceeded (#33041)
                                                                                                                                                                                                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                                                                                                                                                                                                  • Resolved etcd transaction limit exceedance due to too many fields (#33040)
                                                                                                                                                                                                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                                                                                                                                                                                                  • Removed RLock re-entry in GetNumRowsOfPartition (#33045)
                                                                                                                                                                                                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                                                                                                                                                                                                  • Started LeaderCacheObserver before SyncAll (#33035)
                                                                                                                                                                                                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                                                                                                                                                                                                  • Enabled balancing of released standby channel (#32986)
                                                                                                                                                                                                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                                                                                                                                                                                                  • Initialized access logger before server initialization (#32976)
                                                                                                                                                                                                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                                                                                                                                                                                                  • Made compactor capable of clearing empty segments (#32821)
                                                                                                                                                                                                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                                                                                                                                                                                                  • Filled deltalog entry number and time range in l0 compactions (#33004)
                                                                                                                                                                                                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                                                                                                                                                                                                  • Fixed proxy crash due to shard leader cache data race (#32971)
                                                                                                                                                                                                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                                                                                                                                                                                                  • Corrected time unit for load index metric (#32935)
                                                                                                                                                                                                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                                                                                                                                                                                                  • Fixed issue where segment on stopping query node couldn’t be released successfully (#32929)
                                                                                                                                                                                                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                                                                                                                                                                                                  • Fixed index resource estimation (#32842)
                                                                                                                                                                                                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                                                                                                                                                                                                  • Set channel checkpoint to delta position (#32878)
                                                                                                                                                                                                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                                                                                                                                                                                                  • Made syncmgr lock key before returning future (#32865)
                                                                                                                                                                                                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                                                                                                                                                                                                  • Ensured inverted index had only one segment (#32858)
                                                                                                                                                                                                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                                                                                                                                                                                                  • Fixed compaction trigger choosing two identical segments (#32800)
                                                                                                                                                                                                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                                                                                                                                                                                                  • Fixed issue where partition name could not be specified in binlog import (#32730, #33027)
                                                                                                                                                                                                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                                                                                                                                                                                                  • Made dynamic column optional in parquet import (#32738)
                                                                                                                                                                                                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                                                                                                                                                                                                  • Skipped checking auto ID when inserting data (#32775)
                                                                                                                                                                                                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                                                                                                                                                                                                  • Validated number of rows for insert field data with schema (#32770)
                                                                                                                                                                                                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                                                                                                                                                                                                  • Added Wrapper and Keepalive for CTraceContext IDs (#32746)
                                                                                                                                                                                                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                                                                                                                                                                                                  • Fixed issue where database name was not found in the datacoord meta object (#33412)
                                                                                                                                                                                                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                                                                                                                                                                                                  • Synchronized dropped segment for dropped partition (#33332)
                                                                                                                                                                                                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                                                                                                                                                                                                  • Fixed quotaCenter metrics collection failure due to incorrect parameters (#33399)

                                                                                                                                                                                                                                                                                                                                                                                                                                                  v2.4.1

                                                                                                                                                                                                                                                                                                                                                                                                                                                  发布日期:2024 年 5 月 6 日

                                                                                                                                                                                                                                                                                                                                                                                                                                                  +

                                                                                                                                                                                                                                                                                                                                                                                                                                                  Release date: May 6, 2024

                                                                                                                                                                                                                                                                                                                                                                                                                                                  - +
                                                                                                                                                                                                                                                                                                                                                                                                                                                  Milvus 版本Python SDK 版本Java SDK 版本Node.js SDK 版本
                                                                                                                                                                                                                                                                                                                                                                                                                                                  Milvus versionPython SDK versionJava SDK versionNode.js SDK version
                                                                                                                                                                                                                                                                                                                                                                                                                                                  2.4.12.4.12.4.02.4.2
                                                                                                                                                                                                                                                                                                                                                                                                                                                  -

                                                                                                                                                                                                                                                                                                                                                                                                                                                  Milvus 2.4.1 版带来了大量改进和错误修复,旨在提高软件的性能、可观测性和稳定性。这些改进包括声明式资源组 API、支持 Float16/BFloat16 向量数据类型的增强型批量插入功能、可减少对象存储的列表操作的改进型垃圾 Collection (GC) 机制,以及其他与性能优化相关的更改。此外,错误修复还解决了编译错误、换行符模糊匹配失败、RESTful 接口参数数据类型不正确,以及启用动态字段时 BulkInsert 在 numpy 文件上引发错误等问题。

                                                                                                                                                                                                                                                                                                                                                                                                                                                  -

                                                                                                                                                                                                                                                                                                                                                                                                                                                  破坏性更改

                                                                                                                                                                                                                                                                                                                                                                                                                                                    -
                                                                                                                                                                                                                                                                                                                                                                                                                                                  • 不再支持使用空筛选表达式删除。(#32472)
                                                                                                                                                                                                                                                                                                                                                                                                                                                  • +

                                                                                                                                                                                                                                                                                                                                                                                                                                                    Milvus version 2.4.1 brings numerous improvements and bug fixes that aim to enhance the software’s performance, observability, and stability. These improvements include a declarative resource group API, enhanced bulk insert functionality that supports Float16/BFloat16 vector data types, a refined garbage collection (GC) mechanism that reduces list operations for object storage, and other changes related to performance optimizations. Additionally, bug fixes address issues such as compilation errors, failed fuzzy matches on newline characters, incorrect parameter datatypes for RESTful interfaces, and BulkInsert raising errors on numpy files when dynamic fields are enabled.

                                                                                                                                                                                                                                                                                                                                                                                                                                                    +

                                                                                                                                                                                                                                                                                                                                                                                                                                                    Breaking changes

                                                                                                                                                                                                                                                                                                                                                                                                                                                      +
                                                                                                                                                                                                                                                                                                                                                                                                                                                    • Discontinued support for delete with an empty filter expression. (#32472)
                                                                                                                                                                                                                                                                                                                                                                                                                                                    -

                                                                                                                                                                                                                                                                                                                                                                                                                                                    新增功能

                                                                                                                                                                                                                                                                                                                                                                                                                                                      -
                                                                                                                                                                                                                                                                                                                                                                                                                                                    • 在批量插入中添加了对 Float16/BFloat16 向量数据类型的支持(#32157)
                                                                                                                                                                                                                                                                                                                                                                                                                                                    • -
                                                                                                                                                                                                                                                                                                                                                                                                                                                    • 增强了稀疏浮点型向量,以支持暴力迭代器搜索和范围搜索(#32635)
                                                                                                                                                                                                                                                                                                                                                                                                                                                    • +

                                                                                                                                                                                                                                                                                                                                                                                                                                                      Features

                                                                                                                                                                                                                                                                                                                                                                                                                                                        +
                                                                                                                                                                                                                                                                                                                                                                                                                                                      • Added support for Float16/BFloat16 vector data types in bulk insert (#32157)
                                                                                                                                                                                                                                                                                                                                                                                                                                                      • +
                                                                                                                                                                                                                                                                                                                                                                                                                                                      • Enhanced sparse float vector to support brute force iterator search and range search (#32635)
                                                                                                                                                                                                                                                                                                                                                                                                                                                      -

                                                                                                                                                                                                                                                                                                                                                                                                                                                      改进

                                                                                                                                                                                                                                                                                                                                                                                                                                                        -
                                                                                                                                                                                                                                                                                                                                                                                                                                                      • 添加了声明式资源组 api(#31930#32297#32536#32666)
                                                                                                                                                                                                                                                                                                                                                                                                                                                      • -
                                                                                                                                                                                                                                                                                                                                                                                                                                                      • 重写了 QueryCoord 中的 Collections 观察器,使其任务驱动(#32441)
                                                                                                                                                                                                                                                                                                                                                                                                                                                      • -
                                                                                                                                                                                                                                                                                                                                                                                                                                                      • 重构了 DataNode 的 SyncManager 中使用的数据结构,以减少内存使用并防止错误(#32673)
                                                                                                                                                                                                                                                                                                                                                                                                                                                      • -
                                                                                                                                                                                                                                                                                                                                                                                                                                                      • 修改了垃圾收集的实现,以尽量减少与对象存储相关的列表操作(#31740)
                                                                                                                                                                                                                                                                                                                                                                                                                                                      • -
                                                                                                                                                                                                                                                                                                                                                                                                                                                      • 降低了高收集数时的 CPU 占用率(#32245)
                                                                                                                                                                                                                                                                                                                                                                                                                                                      • -
                                                                                                                                                                                                                                                                                                                                                                                                                                                      • 通过代码自动生成 milvus.yaml 文件中的相关配置项,从而加强了对 milvus.yaml 的管理(#31832#32357)
                                                                                                                                                                                                                                                                                                                                                                                                                                                      • -
                                                                                                                                                                                                                                                                                                                                                                                                                                                      • 通过在执行本地缩减后检索数据,增强了查询的性能(#32346)
                                                                                                                                                                                                                                                                                                                                                                                                                                                      • -
                                                                                                                                                                                                                                                                                                                                                                                                                                                      • 为创建 etcd 客户端添加了 WithBlock 选项(#32641)
                                                                                                                                                                                                                                                                                                                                                                                                                                                      • -
                                                                                                                                                                                                                                                                                                                                                                                                                                                      • 如果客户端提供,则使用客户端指定的 client_request_id 作为 TraceID(#32264)
                                                                                                                                                                                                                                                                                                                                                                                                                                                      • -
                                                                                                                                                                                                                                                                                                                                                                                                                                                      • 为删除和批量插入操作的指标添加了数据库标签(#32611)
                                                                                                                                                                                                                                                                                                                                                                                                                                                      • -
                                                                                                                                                                                                                                                                                                                                                                                                                                                      • 添加了通过配置跳过 AutoID 和 PartitionKey 列验证的逻辑(#32592)
                                                                                                                                                                                                                                                                                                                                                                                                                                                      • -
                                                                                                                                                                                                                                                                                                                                                                                                                                                      • 改进了与身份验证有关的错误(#32253)
                                                                                                                                                                                                                                                                                                                                                                                                                                                      • -
                                                                                                                                                                                                                                                                                                                                                                                                                                                      • 改进了 DataCoord 中 AllocSegmentID 的错误日志(#32351#32335)
                                                                                                                                                                                                                                                                                                                                                                                                                                                      • -
                                                                                                                                                                                                                                                                                                                                                                                                                                                      • 删除了重复的度量(#32380#32308),并清理了未使用的度量(#32404#32515)
                                                                                                                                                                                                                                                                                                                                                                                                                                                      • -
                                                                                                                                                                                                                                                                                                                                                                                                                                                      • 添加了配置选项,以控制是否强制激活 partitionKey 功能(#32433)
                                                                                                                                                                                                                                                                                                                                                                                                                                                      • -
                                                                                                                                                                                                                                                                                                                                                                                                                                                      • 添加了配置选项,以控制单次请求中可插入的最大数据量(#32433)
                                                                                                                                                                                                                                                                                                                                                                                                                                                      • -
                                                                                                                                                                                                                                                                                                                                                                                                                                                      • 在段级别对 applyDelete 操作进行并行化,以加快 Delegator 对 Delete 消息的处理(#32291)
                                                                                                                                                                                                                                                                                                                                                                                                                                                      • -
                                                                                                                                                                                                                                                                                                                                                                                                                                                      • 使用索引(#32232#32505#32533#32595)和添加缓存(#32580)来加速 QueryCoord 中频繁的过滤操作。
                                                                                                                                                                                                                                                                                                                                                                                                                                                      • -
                                                                                                                                                                                                                                                                                                                                                                                                                                                      • 重写数据结构(#32273) 和重构代码(#32389) 以加速 DataCoord 中的常见操作。
                                                                                                                                                                                                                                                                                                                                                                                                                                                      • -
                                                                                                                                                                                                                                                                                                                                                                                                                                                      • 从 Conan 中移除 openblas(#32002)
                                                                                                                                                                                                                                                                                                                                                                                                                                                      • +

                                                                                                                                                                                                                                                                                                                                                                                                                                                        Improvements

                                                                                                                                                                                                                                                                                                                                                                                                                                                          +
                                                                                                                                                                                                                                                                                                                                                                                                                                                        • Added declarative resource group api (#31930, #32297, #32536, #32666)
                                                                                                                                                                                                                                                                                                                                                                                                                                                        • +
                                                                                                                                                                                                                                                                                                                                                                                                                                                        • Rewrote the collection observer in QueryCoord to make it task-driven (#32441)
                                                                                                                                                                                                                                                                                                                                                                                                                                                        • +
                                                                                                                                                                                                                                                                                                                                                                                                                                                        • Refactored the data structure used in the SyncManager of DataNode to reduce memory usage and prevent errors (#32673)
                                                                                                                                                                                                                                                                                                                                                                                                                                                        • +
                                                                                                                                                                                                                                                                                                                                                                                                                                                        • Revised the implementation of garbage collection to minimize list operations associated with object storage (#31740)
                                                                                                                                                                                                                                                                                                                                                                                                                                                        • +
                                                                                                                                                                                                                                                                                                                                                                                                                                                        • Reduced the cpu usage when collection number is high (#32245)
                                                                                                                                                                                                                                                                                                                                                                                                                                                        • +
                                                                                                                                                                                                                                                                                                                                                                                                                                                        • Enhanced the management of milvus.yaml by automatically generating relevant configuration items in the milvus.yaml file through code (#31832, #32357)
                                                                                                                                                                                                                                                                                                                                                                                                                                                        • +
                                                                                                                                                                                                                                                                                                                                                                                                                                                        • Enhanced the performance of the Query by retrieving the data after performing local reduction (#32346)
                                                                                                                                                                                                                                                                                                                                                                                                                                                        • +
                                                                                                                                                                                                                                                                                                                                                                                                                                                        • Added WithBlock option for etcd client creation (#32641)
                                                                                                                                                                                                                                                                                                                                                                                                                                                        • +
                                                                                                                                                                                                                                                                                                                                                                                                                                                        • Used client_request_id specified by the client as the TraceID if client provided (#32264)
                                                                                                                                                                                                                                                                                                                                                                                                                                                        • +
                                                                                                                                                                                                                                                                                                                                                                                                                                                        • Added db label to the metrics for the delete and bulk insert operations (#32611)
                                                                                                                                                                                                                                                                                                                                                                                                                                                        • +
                                                                                                                                                                                                                                                                                                                                                                                                                                                        • Added logic to skip the verification through configuration for AutoID and PartitionKey columns (#32592)
                                                                                                                                                                                                                                                                                                                                                                                                                                                        • +
                                                                                                                                                                                                                                                                                                                                                                                                                                                        • Refined errors related to authentication (#32253)
                                                                                                                                                                                                                                                                                                                                                                                                                                                        • +
                                                                                                                                                                                                                                                                                                                                                                                                                                                        • Refined error logs for AllocSegmentID in DataCoord (#32351, #32335)
                                                                                                                                                                                                                                                                                                                                                                                                                                                        • +
                                                                                                                                                                                                                                                                                                                                                                                                                                                        • Removed duplicate metrics (#32380, #32308) and cleaned up unused metrics (#32404, #32515)
                                                                                                                                                                                                                                                                                                                                                                                                                                                        • +
                                                                                                                                                                                                                                                                                                                                                                                                                                                        • Added configuration option to control whether to enforce the activation of the partitionKey feature (#32433)
                                                                                                                                                                                                                                                                                                                                                                                                                                                        • +
                                                                                                                                                                                                                                                                                                                                                                                                                                                        • Added configuration option to control the maximum amount of data that can be inserted in a single request (#32433)
                                                                                                                                                                                                                                                                                                                                                                                                                                                        • +
                                                                                                                                                                                                                                                                                                                                                                                                                                                        • Parallelize the applyDelete operation at the segment level to accelerate the processing of Delete messages by the Delegator (#32291)
                                                                                                                                                                                                                                                                                                                                                                                                                                                        • +
                                                                                                                                                                                                                                                                                                                                                                                                                                                        • Used index (#32232, #32505, #32533, #32595) and add cache (#32580) to accelerate frequent filtering operations in QueryCoord.
                                                                                                                                                                                                                                                                                                                                                                                                                                                        • +
                                                                                                                                                                                                                                                                                                                                                                                                                                                        • Rewrote the data structure (#32273) and refactored code (#32389) to accelerate common operations in DataCoord.
                                                                                                                                                                                                                                                                                                                                                                                                                                                        • +
                                                                                                                                                                                                                                                                                                                                                                                                                                                        • Removed openblas from conan (#32002)
                                                                                                                                                                                                                                                                                                                                                                                                                                                        -

                                                                                                                                                                                                                                                                                                                                                                                                                                                        错误修复

                                                                                                                                                                                                                                                                                                                                                                                                                                                          -
                                                                                                                                                                                                                                                                                                                                                                                                                                                        • 修正了在 rockylinux8 中构建 milvus(#32619)
                                                                                                                                                                                                                                                                                                                                                                                                                                                        • -
                                                                                                                                                                                                                                                                                                                                                                                                                                                        • 修正了 ARM 上 SVE 的编译错误(#32463,#32270)
                                                                                                                                                                                                                                                                                                                                                                                                                                                        • -
                                                                                                                                                                                                                                                                                                                                                                                                                                                        • 修正了基于 ARM 的 GPU 图像的崩溃问题(#31980)
                                                                                                                                                                                                                                                                                                                                                                                                                                                        • -
                                                                                                                                                                                                                                                                                                                                                                                                                                                        • 修正了 regex 查询无法处理带换行的文本(#32569)
                                                                                                                                                                                                                                                                                                                                                                                                                                                        • -
                                                                                                                                                                                                                                                                                                                                                                                                                                                        • 修正了因 GetShardLeaders 返回空节点列表而导致搜索结果为空的问题(#32685)
                                                                                                                                                                                                                                                                                                                                                                                                                                                        • -
                                                                                                                                                                                                                                                                                                                                                                                                                                                        • 修正了 BulkInsert 在遇到 numpy 文件中的 Dynamic Field 时引发错误的问题(#32596)
                                                                                                                                                                                                                                                                                                                                                                                                                                                        • -
                                                                                                                                                                                                                                                                                                                                                                                                                                                        • 修正了与 RESTFulV2 接口相关的错误,包括允许请求中的数字参数接受数字输入而非字符串类型的重要修正(#32485,#32355)
                                                                                                                                                                                                                                                                                                                                                                                                                                                        • -
                                                                                                                                                                                                                                                                                                                                                                                                                                                        • 通过移除速率限制器中的观察配置事件,修复了代理中的内存泄漏问题(#32313)
                                                                                                                                                                                                                                                                                                                                                                                                                                                        • -
                                                                                                                                                                                                                                                                                                                                                                                                                                                        • 修正了当未指定 partitionName 时,速率限制器会错误地报告无法找到分区的问题(#32647)
                                                                                                                                                                                                                                                                                                                                                                                                                                                        • -
                                                                                                                                                                                                                                                                                                                                                                                                                                                        • 在错误类型中添加了对 Collections 处于恢复状态和未加载两种情况的检测。(#32447)
                                                                                                                                                                                                                                                                                                                                                                                                                                                        • -
                                                                                                                                                                                                                                                                                                                                                                                                                                                        • 更正了可查询的负数实体度量(#32361)
                                                                                                                                                                                                                                                                                                                                                                                                                                                        • +

                                                                                                                                                                                                                                                                                                                                                                                                                                                          Bug fixes

                                                                                                                                                                                                                                                                                                                                                                                                                                                            +
                                                                                                                                                                                                                                                                                                                                                                                                                                                          • Fixed build milvus in rockylinux8 (#32619)
                                                                                                                                                                                                                                                                                                                                                                                                                                                          • +
                                                                                                                                                                                                                                                                                                                                                                                                                                                          • Fixed compilation errors for SVE on ARM (#32463, #32270)
                                                                                                                                                                                                                                                                                                                                                                                                                                                          • +
                                                                                                                                                                                                                                                                                                                                                                                                                                                          • Fixed the crash issue on ARM-based GPU images (#31980)
                                                                                                                                                                                                                                                                                                                                                                                                                                                          • +
                                                                                                                                                                                                                                                                                                                                                                                                                                                          • Fixed regex query can’t handle text with newline (#32569)
                                                                                                                                                                                                                                                                                                                                                                                                                                                          • +
                                                                                                                                                                                                                                                                                                                                                                                                                                                          • Fixed search get empty result caused by GetShardLeaders return empty node list (#32685)
                                                                                                                                                                                                                                                                                                                                                                                                                                                          • +
                                                                                                                                                                                                                                                                                                                                                                                                                                                          • Fixed BulkInsert raised error when encountering dynamic fields in numpy files (#32596)
                                                                                                                                                                                                                                                                                                                                                                                                                                                          • +
                                                                                                                                                                                                                                                                                                                                                                                                                                                          • Fixed bugs related to the RESTFulV2 interface, including an important fix that allows numeric parameters in requests to accept numerical input instead of string type (#32485, #32355)
                                                                                                                                                                                                                                                                                                                                                                                                                                                          • +
                                                                                                                                                                                                                                                                                                                                                                                                                                                          • Fixed memory leak in proxy by removing watching config event in rate limiter (#32313)
                                                                                                                                                                                                                                                                                                                                                                                                                                                          • +
                                                                                                                                                                                                                                                                                                                                                                                                                                                          • Fixed the issue where the rate limiter incorrectly reports that the partition cannot be found when partitionName is not specified (#32647)
                                                                                                                                                                                                                                                                                                                                                                                                                                                          • +
                                                                                                                                                                                                                                                                                                                                                                                                                                                          • Added detection between the cases of Collection being in the recovery state and not being loaded in the error type. (#32447)
                                                                                                                                                                                                                                                                                                                                                                                                                                                          • +
                                                                                                                                                                                                                                                                                                                                                                                                                                                          • Corrected the negative queryable num entities metric (#32361)

                                                                                                                                                                                                                                                                                                                                                                                                                                                          v2.4.0

                                                                                                                                                                                                                                                                                                                                                                                                                                                          发布日期:2024 年 4 月 17 日

                                                                                                                                                                                                                                                                                                                                                                                                                                                          +

                                                                                                                                                                                                                                                                                                                                                                                                                                                          Release date: April 17, 2024

                                                                                                                                                                                                                                                                                                                                                                                                                                                          - +
                                                                                                                                                                                                                                                                                                                                                                                                                                                          Milvus 版本Python SDK 版本Node.js SDK 版本
                                                                                                                                                                                                                                                                                                                                                                                                                                                          Milvus versionPython SDK versionNode.js SDK version
                                                                                                                                                                                                                                                                                                                                                                                                                                                          2.4.02.4.02.4.0
                                                                                                                                                                                                                                                                                                                                                                                                                                                          -

                                                                                                                                                                                                                                                                                                                                                                                                                                                          我们很高兴地宣布 Milvus 2.4.0 正式发布--在 2.4.0-rc.1 版本的坚实基础上,我们重点解决了用户报告的关键 Bug,同时保留了现有功能。此外,Milvus 2.4.0 还引入了一系列优化措施,旨在提高系统性能,通过纳入各种指标来提高可观察性,并精简代码库以提高简洁性。

                                                                                                                                                                                                                                                                                                                                                                                                                                                          -

                                                                                                                                                                                                                                                                                                                                                                                                                                                          改进

                                                                                                                                                                                                                                                                                                                                                                                                                                                            -
                                                                                                                                                                                                                                                                                                                                                                                                                                                          • 支持 MinIO TLS 连接(#31396#31618)
                                                                                                                                                                                                                                                                                                                                                                                                                                                          • -
                                                                                                                                                                                                                                                                                                                                                                                                                                                          • 支持标量字段的自动索引(#31593)
                                                                                                                                                                                                                                                                                                                                                                                                                                                          • -
                                                                                                                                                                                                                                                                                                                                                                                                                                                          • 混合搜索重构,使常规搜索的执行路径保持一致(#31742#32178)
                                                                                                                                                                                                                                                                                                                                                                                                                                                          • -
                                                                                                                                                                                                                                                                                                                                                                                                                                                          • 通过重构 bitset 和 bitset_view 加速过滤(#31592,#31754,#32139)
                                                                                                                                                                                                                                                                                                                                                                                                                                                          • -
                                                                                                                                                                                                                                                                                                                                                                                                                                                          • 导入任务现在支持等待数据索引完成(#31733)
                                                                                                                                                                                                                                                                                                                                                                                                                                                          • -
                                                                                                                                                                                                                                                                                                                                                                                                                                                          • 增强了导入兼容性(#32121)、任务调度(#31475)以及对导入文件大小和数量的限制(#31542)
                                                                                                                                                                                                                                                                                                                                                                                                                                                          • -
                                                                                                                                                                                                                                                                                                                                                                                                                                                          • 简化代码,包括类型检查的接口标准化(#31945#31857)、删除过时代码和指标(#32079#32134#31535#32211#31935)以及常量名称的规范化(#31515)
                                                                                                                                                                                                                                                                                                                                                                                                                                                          • -
                                                                                                                                                                                                                                                                                                                                                                                                                                                          • 为 QueryCoord 当前目标通道检查点滞后延迟新增指标(#31420)
                                                                                                                                                                                                                                                                                                                                                                                                                                                          • -
                                                                                                                                                                                                                                                                                                                                                                                                                                                          • 为通用指标新增数据库标签(#32024)
                                                                                                                                                                                                                                                                                                                                                                                                                                                          • -
                                                                                                                                                                                                                                                                                                                                                                                                                                                          • 为删除、索引和加载实体的计数添加新指标,并包含诸如集合名称(collectionName)和数据库名称dbName)等标签(#31861)
                                                                                                                                                                                                                                                                                                                                                                                                                                                          • -
                                                                                                                                                                                                                                                                                                                                                                                                                                                          • 改进了向量类型不匹配时的错误处理(#31766)
                                                                                                                                                                                                                                                                                                                                                                                                                                                          • -
                                                                                                                                                                                                                                                                                                                                                                                                                                                          • 当索引无法建立时,支持抛出错误而非崩溃(#31845)
                                                                                                                                                                                                                                                                                                                                                                                                                                                          • -
                                                                                                                                                                                                                                                                                                                                                                                                                                                          • 支持在放弃数据库时使数据库元缓存失效(#32092)
                                                                                                                                                                                                                                                                                                                                                                                                                                                          • -
                                                                                                                                                                                                                                                                                                                                                                                                                                                          • 重构通道分发(#31814)和领导者视图管理(#32127)的接口
                                                                                                                                                                                                                                                                                                                                                                                                                                                          • -
                                                                                                                                                                                                                                                                                                                                                                                                                                                          • 重构频道分发管理器接口(#31814)和重构领导者视图管理器接口(#32127)
                                                                                                                                                                                                                                                                                                                                                                                                                                                          • -
                                                                                                                                                                                                                                                                                                                                                                                                                                                          • 批处理(#31632)、添加映射信息(#32234#32249)和避免使用锁(#31787)以加速频繁调用的操作符
                                                                                                                                                                                                                                                                                                                                                                                                                                                          • +

                                                                                                                                                                                                                                                                                                                                                                                                                                                            We are excited to announce the official launch of Milvus 2.4.- Building upon the solid foundation of the 2.4.0-rc.1 release, we have focused on addressing critical bugs reported by our users, while preserving the existing functionality. In addition, Milvus 2.4.0 introduces a range of optimizations aimed at enhancing system performance, improving observability through the incorporation of various metrics, and streamlining the codebase for increased simplicity.

                                                                                                                                                                                                                                                                                                                                                                                                                                                            +

                                                                                                                                                                                                                                                                                                                                                                                                                                                            Improvements

                                                                                                                                                                                                                                                                                                                                                                                                                                                              +
                                                                                                                                                                                                                                                                                                                                                                                                                                                            • Support for MinIO TLS connections (#31396, #31618)
                                                                                                                                                                                                                                                                                                                                                                                                                                                            • +
                                                                                                                                                                                                                                                                                                                                                                                                                                                            • AutoIndex support for scalar fields (#31593)
                                                                                                                                                                                                                                                                                                                                                                                                                                                            • +
                                                                                                                                                                                                                                                                                                                                                                                                                                                            • Hybrid search refactoring for consistent execution paths with regular search (#31742, #32178)
                                                                                                                                                                                                                                                                                                                                                                                                                                                            • +
                                                                                                                                                                                                                                                                                                                                                                                                                                                            • Accelerated filtering through bitset and bitset_view refactoring (#31592, #31754, #32139)
                                                                                                                                                                                                                                                                                                                                                                                                                                                            • +
                                                                                                                                                                                                                                                                                                                                                                                                                                                            • Import tasks now support waiting for data index completion (#31733)
                                                                                                                                                                                                                                                                                                                                                                                                                                                            • +
                                                                                                                                                                                                                                                                                                                                                                                                                                                            • Enhanced Import compatibility (#32121), task scheduling (#31475), and limits on imported file size and number (#31542)
                                                                                                                                                                                                                                                                                                                                                                                                                                                            • +
                                                                                                                                                                                                                                                                                                                                                                                                                                                            • Code simplification efforts including interface standardization for type checking (#31945, #31857), removal of deprecated code and metrics (#32079, #32134, #31535, #32211, #31935), and normalization of constant names (#31515)
                                                                                                                                                                                                                                                                                                                                                                                                                                                            • +
                                                                                                                                                                                                                                                                                                                                                                                                                                                            • New metrics for QueryCoord current target channel check point lag latency (#31420)
                                                                                                                                                                                                                                                                                                                                                                                                                                                            • +
                                                                                                                                                                                                                                                                                                                                                                                                                                                            • New db label for common metrics (#32024)
                                                                                                                                                                                                                                                                                                                                                                                                                                                            • +
                                                                                                                                                                                                                                                                                                                                                                                                                                                            • New metrics regarding the count of deleted, indexed, and loaded entities, with the inclusion of labels such as collectionName and dbName (#31861)
                                                                                                                                                                                                                                                                                                                                                                                                                                                            • +
                                                                                                                                                                                                                                                                                                                                                                                                                                                            • Error handling improvements for mismatched vector types (#31766)
                                                                                                                                                                                                                                                                                                                                                                                                                                                            • +
                                                                                                                                                                                                                                                                                                                                                                                                                                                            • Support for throwing errors instead of crashing when index cannot be built (#31845)
                                                                                                                                                                                                                                                                                                                                                                                                                                                            • +
                                                                                                                                                                                                                                                                                                                                                                                                                                                            • Support for invalidating the database meta cache when dropping databases (#32092)
                                                                                                                                                                                                                                                                                                                                                                                                                                                            • +
                                                                                                                                                                                                                                                                                                                                                                                                                                                            • Interface refactoring for channel distribution (#31814) and leader view management (#32127)
                                                                                                                                                                                                                                                                                                                                                                                                                                                            • +
                                                                                                                                                                                                                                                                                                                                                                                                                                                            • Refactor channel dist manager interface (#31814) and Refactor leader view manager interface (#32127)
                                                                                                                                                                                                                                                                                                                                                                                                                                                            • +
                                                                                                                                                                                                                                                                                                                                                                                                                                                            • Batch processing (#31632), adding mapping information (#32234, #32249), and avoiding usage of lock (#31787) to accelerate frequently invoked operations
                                                                                                                                                                                                                                                                                                                                                                                                                                                            -

                                                                                                                                                                                                                                                                                                                                                                                                                                                            破坏性更改

                                                                                                                                                                                                                                                                                                                                                                                                                                                              -
                                                                                                                                                                                                                                                                                                                                                                                                                                                            • 停止二进制向量的分组搜索(#31735)
                                                                                                                                                                                                                                                                                                                                                                                                                                                            • -
                                                                                                                                                                                                                                                                                                                                                                                                                                                            • 停止使用混合搜索进行分组搜索(#31812)
                                                                                                                                                                                                                                                                                                                                                                                                                                                            • -
                                                                                                                                                                                                                                                                                                                                                                                                                                                            • 停止二进制向量的 HNSW 索引(#31883)
                                                                                                                                                                                                                                                                                                                                                                                                                                                            • +

                                                                                                                                                                                                                                                                                                                                                                                                                                                              Breaking Changes

                                                                                                                                                                                                                                                                                                                                                                                                                                                                +
                                                                                                                                                                                                                                                                                                                                                                                                                                                              • Discontinued grouping search on binary vectors (#31735)
                                                                                                                                                                                                                                                                                                                                                                                                                                                              • +
                                                                                                                                                                                                                                                                                                                                                                                                                                                              • Discontinued grouping search with hybrid search (#31812)
                                                                                                                                                                                                                                                                                                                                                                                                                                                              • +
                                                                                                                                                                                                                                                                                                                                                                                                                                                              • Discontinued HNSW index on binary vectors (#31883)
                                                                                                                                                                                                                                                                                                                                                                                                                                                              -

                                                                                                                                                                                                                                                                                                                                                                                                                                                              错误修复

                                                                                                                                                                                                                                                                                                                                                                                                                                                                -
                                                                                                                                                                                                                                                                                                                                                                                                                                                              • 增强了查询和插入的数据类型和值检查,以防止崩溃(#31478#31653#31698#31842#32042#32251#32204)
                                                                                                                                                                                                                                                                                                                                                                                                                                                              • -
                                                                                                                                                                                                                                                                                                                                                                                                                                                              • 修复了 RESTful API 的错误(#32160)
                                                                                                                                                                                                                                                                                                                                                                                                                                                              • -
                                                                                                                                                                                                                                                                                                                                                                                                                                                              • 改进了对倒排索引资源使用情况的预测(#31641)
                                                                                                                                                                                                                                                                                                                                                                                                                                                              • -
                                                                                                                                                                                                                                                                                                                                                                                                                                                              • 解决启用授权时与 etcd 的连接问题(#31668)
                                                                                                                                                                                                                                                                                                                                                                                                                                                              • -
                                                                                                                                                                                                                                                                                                                                                                                                                                                              • nats 服务器的安全更新(#32023)
                                                                                                                                                                                                                                                                                                                                                                                                                                                              • -
                                                                                                                                                                                                                                                                                                                                                                                                                                                              • 将倒排索引文件存储到查询节点的本地存储路径,而不是 /tmp(#32210)
                                                                                                                                                                                                                                                                                                                                                                                                                                                              • -
                                                                                                                                                                                                                                                                                                                                                                                                                                                              • 解决了 collectionInfo 的数据线内存泄漏问题(#32243)
                                                                                                                                                                                                                                                                                                                                                                                                                                                              • -
                                                                                                                                                                                                                                                                                                                                                                                                                                                              • 修复了与 fp16/bf16 相关的、可能导致系统崩溃的错误(#31677#31841#32196)
                                                                                                                                                                                                                                                                                                                                                                                                                                                              • -
                                                                                                                                                                                                                                                                                                                                                                                                                                                              • 解决了分组搜索返回结果不足的问题(#32151)
                                                                                                                                                                                                                                                                                                                                                                                                                                                              • -
                                                                                                                                                                                                                                                                                                                                                                                                                                                              • 调整了使用迭代器的搜索,以更有效地处理还原步骤中的偏移,并确保在启用 "reduceStopForBest "的情况下获得足够的结果(#32088)
                                                                                                                                                                                                                                                                                                                                                                                                                                                              • +

                                                                                                                                                                                                                                                                                                                                                                                                                                                                Bug Fixes

                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +
                                                                                                                                                                                                                                                                                                                                                                                                                                                                • Enhanced data type and value checks for queries and insertions to prevent crashes (#31478, #31653, #31698, #31842, #32042, #32251, #32204)
                                                                                                                                                                                                                                                                                                                                                                                                                                                                • +
                                                                                                                                                                                                                                                                                                                                                                                                                                                                • RESTful API bug fixes (#32160)
                                                                                                                                                                                                                                                                                                                                                                                                                                                                • +
                                                                                                                                                                                                                                                                                                                                                                                                                                                                • Improved prediction of inverted index resource usage (#31641)
                                                                                                                                                                                                                                                                                                                                                                                                                                                                • +
                                                                                                                                                                                                                                                                                                                                                                                                                                                                • Resolution of connection issues with etcd when authorization is enabled (#31668)
                                                                                                                                                                                                                                                                                                                                                                                                                                                                • +
                                                                                                                                                                                                                                                                                                                                                                                                                                                                • Security update for nats server (#32023)
                                                                                                                                                                                                                                                                                                                                                                                                                                                                • +
                                                                                                                                                                                                                                                                                                                                                                                                                                                                • Stored inverted index files into a local storage path of QueryNode instead of /tmp (#32210)
                                                                                                                                                                                                                                                                                                                                                                                                                                                                • +
                                                                                                                                                                                                                                                                                                                                                                                                                                                                • Addressed datacoord memory leaks for collectionInfo (#32243)
                                                                                                                                                                                                                                                                                                                                                                                                                                                                • +
                                                                                                                                                                                                                                                                                                                                                                                                                                                                • Fixes for fp16/bf16 related bugs potentially causing system panic (#31677, #31841, #32196)
                                                                                                                                                                                                                                                                                                                                                                                                                                                                • +
                                                                                                                                                                                                                                                                                                                                                                                                                                                                • Resolved issues with grouping search returning insufficient results (#32151)
                                                                                                                                                                                                                                                                                                                                                                                                                                                                • +
                                                                                                                                                                                                                                                                                                                                                                                                                                                                • Adjustment of search with iterators to handle offsets in the Reduce step more effectively and ensure adequate results with “reduceStopForBest” enabled (#32088)
                                                                                                                                                                                                                                                                                                                                                                                                                                                                -

                                                                                                                                                                                                                                                                                                                                                                                                                                                                版本 2.4.0-rc.1

                                                                                                                                                                                                                                                                                                                                                                                                                                                                发布日期:2024 年 3 月 20 日

                                                                                                                                                                                                                                                                                                                                                                                                                                                                +

                                                                                                                                                                                                                                                                                                                                                                                                                                                                Release date: March 20, 2024

                                                                                                                                                                                                                                                                                                                                                                                                                                                                - +
                                                                                                                                                                                                                                                                                                                                                                                                                                                                Milvus 版本Python SDK 版本
                                                                                                                                                                                                                                                                                                                                                                                                                                                                Milvus versionPython SDK version
                                                                                                                                                                                                                                                                                                                                                                                                                                                                2.4.0-rc.12.4.0
                                                                                                                                                                                                                                                                                                                                                                                                                                                                -

                                                                                                                                                                                                                                                                                                                                                                                                                                                                此版本引入了多个基于场景的功能:

                                                                                                                                                                                                                                                                                                                                                                                                                                                                +

                                                                                                                                                                                                                                                                                                                                                                                                                                                                This release introduces several scenario-based features:

                                                                                                                                                                                                                                                                                                                                                                                                                                                                  -
                                                                                                                                                                                                                                                                                                                                                                                                                                                                • 新 GPU 索引 - CAGRA:得益于英伟达™(NVIDIA®)的贡献,新 GPU 索引的性能提升了 10 倍,尤其是在批量搜索时。有关详情,请参阅GPU 索引

                                                                                                                                                                                                                                                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                                                                                                                                                                                                                                                • 多向量混合搜索:该功能可以存储来自多个模型的向量 Embeddings 并进行混合搜索。详情请参阅混合搜索

                                                                                                                                                                                                                                                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                                                                                                                                                                                                                                                • 稀疏向量:稀疏向量是关键词解释和分析的理想选择,现在支持在 Collections 中进行处理。有关详情,请参阅稀疏向量

                                                                                                                                                                                                                                                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                                                                                                                                                                                                                                                • 分组搜索:分类聚合提高了检索增强生成 (RAG) 应用程序的文档级召回率。详情请参阅分组搜索

                                                                                                                                                                                                                                                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                                                                                                                                                                                                                                                • 反向索引模糊匹配:这些功能提高了标量字段的关键词检索能力。有关详情,请参阅索引标量字段过滤搜索

                                                                                                                                                                                                                                                                                                                                                                                                                                                                • +
                                                                                                                                                                                                                                                                                                                                                                                                                                                                • New GPU Index - CAGRA: Thanks to NVIDIA’s contribution, this new GPU index offers a 10x performance boost, especially for batch searches. For details, refer to GPU Index.

                                                                                                                                                                                                                                                                                                                                                                                                                                                                • +
                                                                                                                                                                                                                                                                                                                                                                                                                                                                • Multi-vector and Hybrid Search: This feature enables storing vector embeddings from multiple models and conducting hybrid searches. For details, refer to Hybrid Search.

                                                                                                                                                                                                                                                                                                                                                                                                                                                                • +
                                                                                                                                                                                                                                                                                                                                                                                                                                                                • Sparse Vectors: Ideal for keyword interpretation and analysis, sparse vectors are now supported for processing in your collection. For details, refer to Sparse Vectors.

                                                                                                                                                                                                                                                                                                                                                                                                                                                                • +
                                                                                                                                                                                                                                                                                                                                                                                                                                                                • Grouping Search: Categorical aggregation enhances document-level recall for Retrieval-Augmented Generation (RAG) applications. For details, refer to Grouping Search.

                                                                                                                                                                                                                                                                                                                                                                                                                                                                • +
                                                                                                                                                                                                                                                                                                                                                                                                                                                                • Inverted Index and Fuzzy Matching: These capabilities improve keyword retrieval for scalar fields. For details, refer to Index Scalar Fields and Filtered Search.

                                                                                                                                                                                                                                                                                                                                                                                                                                                                -

                                                                                                                                                                                                                                                                                                                                                                                                                                                                新功能

                                                                                                                                                                                                                                                                                                                                                                                                                                                                GPU 索引 - CAGRA

                                                                                                                                                                                                                                                                                                                                                                                                                                                                我们衷心感谢英伟达™(NVIDIA®)团队为 CAGRA 做出的宝贵贡献,CAGRA 是基于 GPU 的最先进(SoTA)图索引,可在线使用。

                                                                                                                                                                                                                                                                                                                                                                                                                                                                -

                                                                                                                                                                                                                                                                                                                                                                                                                                                                与以往的 GPU 索引不同,CAGRA 甚至在小批量查询方面也表现出了压倒性的优势,而这正是 CPU 索引传统上最擅长的领域。此外,CAGRA 在大型批量查询和索引构建速度方面的性能也是无与伦比的,而这正是 GPU 索引大显身手的领域。

                                                                                                                                                                                                                                                                                                                                                                                                                                                                -

                                                                                                                                                                                                                                                                                                                                                                                                                                                                示例代码见example_gpu_cagra.py

                                                                                                                                                                                                                                                                                                                                                                                                                                                                -

                                                                                                                                                                                                                                                                                                                                                                                                                                                                稀疏向量(测试版)

                                                                                                                                                                                                                                                                                                                                                                                                                                                                在此版本中,我们引入了一种新的向量场类型,称为稀疏向量。稀疏向量不同于稠密向量,因为稀疏向量的维数比稠密向量高出数倍,只有少数维数为非零。由于其基于项的性质,这一特征具有更好的可解释性,在某些领域可能更加有效。事实证明,SPLADEv2/BGE-M3 等学习的稀疏模型对于常见的第一阶段排序任务非常有用。Milvus 这一新功能的主要用例是允许对 SPLADEv2/BGE-M3 等神经模型和 BM25 算法等统计模型生成的稀疏向量进行高效的近似语义近邻搜索。Milvus 现在支持稀疏向量的高效和高性能存储、索引和搜索(MIPS,最大内积搜索)。

                                                                                                                                                                                                                                                                                                                                                                                                                                                                -

                                                                                                                                                                                                                                                                                                                                                                                                                                                                示例代码请参见hello_sparse.py

                                                                                                                                                                                                                                                                                                                                                                                                                                                                -

                                                                                                                                                                                                                                                                                                                                                                                                                                                                多向量支持是需要多模型数据处理或混合使用密集向量和稀疏向量的应用的基石。有了多向量支持,您现在可以

                                                                                                                                                                                                                                                                                                                                                                                                                                                                +

                                                                                                                                                                                                                                                                                                                                                                                                                                                                New Features

                                                                                                                                                                                                                                                                                                                                                                                                                                                                GPU Index - CAGRA

                                                                                                                                                                                                                                                                                                                                                                                                                                                                We would like to express our sincere gratitude to the NVIDIA team for their invaluable contribution to CAGRA, a state-of-the-art (SoTA) GPU-based graph index that can be used online.

                                                                                                                                                                                                                                                                                                                                                                                                                                                                +

                                                                                                                                                                                                                                                                                                                                                                                                                                                                Unlike previous GPU indices, CAGRA demonstrates overwhelming superiority even in small batch queries, an area where CPU indices traditionally excel. In addition, CAGRA’s performance in large batch queries and index construction speed, domains where GPU indices already shine, is truly unparalleled.

                                                                                                                                                                                                                                                                                                                                                                                                                                                                +

                                                                                                                                                                                                                                                                                                                                                                                                                                                                Example code can be found in example_gpu_cagra.py.

                                                                                                                                                                                                                                                                                                                                                                                                                                                                +

                                                                                                                                                                                                                                                                                                                                                                                                                                                                Sparse Vector (Beta)

                                                                                                                                                                                                                                                                                                                                                                                                                                                                In this release, we are introducing a new type of vector field called sparse vector. Sparse vectors are different from their dense counterparts as they tend to have several magnitude higher number of dimensions with only a handful being non-zero. This feature offers better interpretability due to its term-based nature and can be more effective in certain domains. Learned sparse models such as SPLADEv2/BGE-M3 have proven to be very useful for common first-stage ranking tasks. The main use case for this new feature in Milvus is to allow efficient approximate semantic nearest neighbor search over sparse vectors generated by neural models such as SPLADEv2/BGE-M3 and statistics models such as the BM25 algorithm. Milvus now supports effective and high-performance storage, indexing, and searching (MIPS, Maximum Inner Product Search) of sparse vectors.

                                                                                                                                                                                                                                                                                                                                                                                                                                                                +

                                                                                                                                                                                                                                                                                                                                                                                                                                                                Example code can be found in hello_sparse.py.

                                                                                                                                                                                                                                                                                                                                                                                                                                                                +

                                                                                                                                                                                                                                                                                                                                                                                                                                                                Multi-vector support is the cornerstone for applications that require multi-model data processing or a mix of dense and sparse vectors. With multi-vector support, now you can:

                                                                                                                                                                                                                                                                                                                                                                                                                                                                  -
                                                                                                                                                                                                                                                                                                                                                                                                                                                                • 存储多个模型为非结构化文本、图像或音频样本生成的向量 Embeddings。
                                                                                                                                                                                                                                                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                                                                                                                                                                                                                                                • 进行包含每个实体的多个向量的 ANN 搜索。
                                                                                                                                                                                                                                                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                                                                                                                                                                                                                                                • 通过为不同的 Embeddings 模型分配权重来定制搜索策略。
                                                                                                                                                                                                                                                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                                                                                                                                                                                                                                                • 尝试使用各种嵌入模型,以找到最佳模型组合。
                                                                                                                                                                                                                                                                                                                                                                                                                                                                • +
                                                                                                                                                                                                                                                                                                                                                                                                                                                                • Store vector embeddings generated for unstructured text, image, or audio samples from multiple models.
                                                                                                                                                                                                                                                                                                                                                                                                                                                                • +
                                                                                                                                                                                                                                                                                                                                                                                                                                                                • Conduct ANN searches that include multiple vectors of each entity.
                                                                                                                                                                                                                                                                                                                                                                                                                                                                • +
                                                                                                                                                                                                                                                                                                                                                                                                                                                                • Customize search strategies by assigning weights to different embedding models.
                                                                                                                                                                                                                                                                                                                                                                                                                                                                • +
                                                                                                                                                                                                                                                                                                                                                                                                                                                                • Experiment with various embedding models to find the optimal model combination.
                                                                                                                                                                                                                                                                                                                                                                                                                                                                -

                                                                                                                                                                                                                                                                                                                                                                                                                                                                多向量支持允许在一个 Collections 中对多个不同类型的向量场(如 FLOAT_VECTOR 和 SPARSE_FLOAT_VECTOR)进行存储、索引和应用重排策略。目前,有两种 Rerankers 策略可供选择:互易排名融合(RRF)平均加权评分(Average Weighted Scoring)。这两种策略都是将不同向量场的搜索结果合并成一个统一的结果集。第一种策略优先处理在不同向量领域搜索结果中持续出现的实体,而其他策略则为每个向量领域的搜索结果分配权重,以确定它们在最终结果集中的重要性。

                                                                                                                                                                                                                                                                                                                                                                                                                                                                -

                                                                                                                                                                                                                                                                                                                                                                                                                                                                示例代码见hybrid_search.py

                                                                                                                                                                                                                                                                                                                                                                                                                                                                -

                                                                                                                                                                                                                                                                                                                                                                                                                                                                反向索引和模糊匹配

                                                                                                                                                                                                                                                                                                                                                                                                                                                                在 Milvus 以前的版本中,标量字段索引使用了基于内存的二进制搜索索引和 Marisa Trie 索引。不过,这些方法需要消耗大量内存。现在,Milvus 的最新版本采用了基于 Tantivy 的倒排索引,可应用于所有数字和字符串数据类型。这种新索引大大提高了标量查询性能,将字符串中关键字的查询量减少了十倍。此外,由于对数据压缩和内部索引结构的内存映射存储(MMap)机制进行了额外优化,倒置索引消耗的内存更少。

                                                                                                                                                                                                                                                                                                                                                                                                                                                                -

                                                                                                                                                                                                                                                                                                                                                                                                                                                                该版本还支持在标量过滤中使用前缀、后缀和后缀进行模糊匹配。

                                                                                                                                                                                                                                                                                                                                                                                                                                                                -

                                                                                                                                                                                                                                                                                                                                                                                                                                                                示例代码可在inverted_index_example.pyfuzzy_match.py 中找到。

                                                                                                                                                                                                                                                                                                                                                                                                                                                                -

                                                                                                                                                                                                                                                                                                                                                                                                                                                                现在,您可以根据特定标量字段中的值对搜索结果进行聚合。这有助于 RAG 应用程序实现文档级召回。考虑一个文档 Collections,每个文档分成不同的段落。每个段落由一个向量 Embeddings 表示,属于一个文档。为了找到最相关的文档而不是分散的段落,可以在 search() 操作中加入 group_by_field 参数,根据文档 ID 对结果进行分组。

                                                                                                                                                                                                                                                                                                                                                                                                                                                                -

                                                                                                                                                                                                                                                                                                                                                                                                                                                                示例代码见example_group_by.py

                                                                                                                                                                                                                                                                                                                                                                                                                                                                -

                                                                                                                                                                                                                                                                                                                                                                                                                                                                Float16 和 BFloat- 向量数据类型

                                                                                                                                                                                                                                                                                                                                                                                                                                                                机器学习和神经网络经常使用半精度数据类型,如 Float16 和 BFloat--虽然这些数据类型可以提高查询效率并减少内存使用量,但同时也会降低精度。在此版本中,Milvus 现在支持向量字段的这些数据类型。

                                                                                                                                                                                                                                                                                                                                                                                                                                                                -

                                                                                                                                                                                                                                                                                                                                                                                                                                                                示例代码可在float16_example.pybfloat16_example.py 中找到。

                                                                                                                                                                                                                                                                                                                                                                                                                                                                -

                                                                                                                                                                                                                                                                                                                                                                                                                                                                升级后的架构

                                                                                                                                                                                                                                                                                                                                                                                                                                                                L0 段

                                                                                                                                                                                                                                                                                                                                                                                                                                                                此版本包含一个名为 L0 段的新网段,用于记录删除的数据。该分段会定期压缩已存储的删除记录,并将其分割成密封分段,从而减少小规模删除所需的数据刷新次数,并留下少量存储空间。通过这种机制,Milvus 将数据压缩与数据刷新完全分离,提高了删除和上载操作的性能。

                                                                                                                                                                                                                                                                                                                                                                                                                                                                -

                                                                                                                                                                                                                                                                                                                                                                                                                                                                重构的批量插入

                                                                                                                                                                                                                                                                                                                                                                                                                                                                此版本还引入了改进的批量插入逻辑。这样就可以在单个批量插入请求中导入多个文件。通过重构版本,批量插入的性能和稳定性都有了显著提高。用户体验也得到了增强,例如对速率限制进行了微调,错误信息也更加友好。此外,你还可以通过 Milvus 的 RESTful API 轻松访问批量插入端点。

                                                                                                                                                                                                                                                                                                                                                                                                                                                                -

                                                                                                                                                                                                                                                                                                                                                                                                                                                                内存映射存储

                                                                                                                                                                                                                                                                                                                                                                                                                                                                Milvus 使用内存映射存储(MMap)来优化内存使用。这种机制不是将文件内容直接加载到内存中,而是将文件内容映射到内存中。这种方法会导致性能下降。 在拥有 2 个 CPU 和 8 GB 内存的主机上,通过为 HNSW 索引 Collections 启用 MMap,可以多加载 4 倍的数据,而性能下降不到 10%。

                                                                                                                                                                                                                                                                                                                                                                                                                                                                -

                                                                                                                                                                                                                                                                                                                                                                                                                                                                此外,该版本还允许对 MMap 进行动态和细粒度控制,而无需重启 Milvus。

                                                                                                                                                                                                                                                                                                                                                                                                                                                                -

                                                                                                                                                                                                                                                                                                                                                                                                                                                                有关详情,请参阅MMap 存储

                                                                                                                                                                                                                                                                                                                                                                                                                                                                -

                                                                                                                                                                                                                                                                                                                                                                                                                                                                其他

                                                                                                                                                                                                                                                                                                                                                                                                                                                                Milvus-CDC

                                                                                                                                                                                                                                                                                                                                                                                                                                                                Milvus CDC 是一个易于使用的配套工具,用于捕获和同步 Milvus 实例之间的增量数据,从而轻松实现增量备份和灾难恢复。在此版本中,Milvus-CDC 的稳定性得到了提高,其变更数据捕获 (CDC) 功能现已全面可用。

                                                                                                                                                                                                                                                                                                                                                                                                                                                                -

                                                                                                                                                                                                                                                                                                                                                                                                                                                                要了解有关 Milvus-CDC 的更多信息,请参阅GitHub 存储库Milvus-CDC 概述

                                                                                                                                                                                                                                                                                                                                                                                                                                                                -

                                                                                                                                                                                                                                                                                                                                                                                                                                                                改进的 MilvusClient 界面

                                                                                                                                                                                                                                                                                                                                                                                                                                                                MilvusClient 是 ORM 模块的易用替代品。它采用纯功能方法来简化与服务器的交互。每个 MilvusClient 都会与服务器建立 gRPC 连接,而不是维护一个连接池。 MilvusClient 模块实现了 ORM 模块的大部分功能。 要了解有关 MilvusClient 模块的更多信息,请访问pymilvus参考文档

                                                                                                                                                                                                                                                                                                                                                                                                                                                                +

                                                                                                                                                                                                                                                                                                                                                                                                                                                                Multi-vector support allows storing, indexing, and applying reranking strategies to multiple vector fields of different types, such as FLOAT_VECTOR and SPARSE_FLOAT_VECTOR, in a collection. Currently, two reranking strategies are available: Reciprocal Rank Fusion (RRF) and Average Weighted Scoring. Both strategies combine the search results from different vector fields into a unified result set. The first strategy prioritizes the entities that consistently appear in the search results of different vector fields, while the other strategy assigns weights to the search results of each vector field to determine their importance in the final result set.

                                                                                                                                                                                                                                                                                                                                                                                                                                                                +

                                                                                                                                                                                                                                                                                                                                                                                                                                                                Example code can be found in hybrid_search.py.

                                                                                                                                                                                                                                                                                                                                                                                                                                                                +

                                                                                                                                                                                                                                                                                                                                                                                                                                                                Inverted Index and Fuzzy Match

                                                                                                                                                                                                                                                                                                                                                                                                                                                                In previous releases of Milvus, memory-based binary search indexes and Marisa Trie indexes were used for scalar field indexing. However, these methods were memory-intensive. The latest release of Milvus now employs the Tantivy-based inverted index, which can be applied to all numeric and string data types. This new index dramatically improves scalar query performance, reducing the query of keywords in strings by ten times. In addition, The inverted index consumes less memory, thanks to additional optimizations in data compression and Memory-mapped storage (MMap) mechanism of the internal indexing structure.

                                                                                                                                                                                                                                                                                                                                                                                                                                                                +

                                                                                                                                                                                                                                                                                                                                                                                                                                                                This release also supports fuzzy matches in scalar filtering using prefixes, infixes, and suffixes.

                                                                                                                                                                                                                                                                                                                                                                                                                                                                +

                                                                                                                                                                                                                                                                                                                                                                                                                                                                Example code can be found in inverted_index_example.py and fuzzy_match.py.

                                                                                                                                                                                                                                                                                                                                                                                                                                                                +

                                                                                                                                                                                                                                                                                                                                                                                                                                                                You can now aggregate the search results by the values in a specific scalar field. This helps RAG applications to implement document-level recall. Consider a collection of documents, each document splits into various passages. Each passage is represented by one vector embedding and belongs to one document. To find the most relevant documents instead of scattering passages, you can include the group_by_field argument in the search() operation to group results by the document ID.

                                                                                                                                                                                                                                                                                                                                                                                                                                                                +

                                                                                                                                                                                                                                                                                                                                                                                                                                                                Example code can be found in example_group_by.py.

                                                                                                                                                                                                                                                                                                                                                                                                                                                                +

                                                                                                                                                                                                                                                                                                                                                                                                                                                                Float16 and BFloat- Vector DataType

                                                                                                                                                                                                                                                                                                                                                                                                                                                                Machine learning and neural networks often use half-precision data types, such as Float16 and BFloat- While these data types can improve query efficiency and reduce memory usage, they come with a tradeoff of reduced accuracy. With this release, Milvus now supports these data types for vector fields.

                                                                                                                                                                                                                                                                                                                                                                                                                                                                +

                                                                                                                                                                                                                                                                                                                                                                                                                                                                Example code can be found in float16_example.py and bfloat16_example.py.

                                                                                                                                                                                                                                                                                                                                                                                                                                                                +

                                                                                                                                                                                                                                                                                                                                                                                                                                                                Upgraded Architecture

                                                                                                                                                                                                                                                                                                                                                                                                                                                                L0 Segment

                                                                                                                                                                                                                                                                                                                                                                                                                                                                This release includes a new segment called L0 Segment, designed to record deleted data. This segment periodically compacts stored deleted records and splits them into sealed segments, reducing the number of data flushes required for small deletions and leaving a small storage footprint. With this mechanism, Milvus completely separates data compactions from data flushes, enhancing the performance of delete and upsert operations.

                                                                                                                                                                                                                                                                                                                                                                                                                                                                +

                                                                                                                                                                                                                                                                                                                                                                                                                                                                Refactored BulkInsert

                                                                                                                                                                                                                                                                                                                                                                                                                                                                This release also introduces improved bulk-insert logic. This allows you to import multiple files in a single bulk-insert request. With the refactored version, both the performance and stability of bulk insert have seen significant improvements. The user experience has also been enhanced, such as fine-tuned rate limiting and more user-friendly error messages. In addition, you can easily access the bulk-insert endpoints through Milvus’ RESTful API.

                                                                                                                                                                                                                                                                                                                                                                                                                                                                +

                                                                                                                                                                                                                                                                                                                                                                                                                                                                Memory-mapped Storage

                                                                                                                                                                                                                                                                                                                                                                                                                                                                Milvus uses memory-mapped storage (MMap) to optimize its memory usage. Instead of loading file content directly into memory, this mechanism maps the file content into memory. This approach comes with a tradeoff of performance degradation. By enabling MMap for an HNSW-indexed collection on a host with 2 CPUs and 8 GB RAM, you can load 4x more data with less than 10% performance degradation.

                                                                                                                                                                                                                                                                                                                                                                                                                                                                +

                                                                                                                                                                                                                                                                                                                                                                                                                                                                In addition, this release also allows dynamic and fine-grained control over MMap without the need to restart Milvus.

                                                                                                                                                                                                                                                                                                                                                                                                                                                                +

                                                                                                                                                                                                                                                                                                                                                                                                                                                                For details, refer to MMap Storage.

                                                                                                                                                                                                                                                                                                                                                                                                                                                                +

                                                                                                                                                                                                                                                                                                                                                                                                                                                                Others

                                                                                                                                                                                                                                                                                                                                                                                                                                                                Milvus-CDC

                                                                                                                                                                                                                                                                                                                                                                                                                                                                Milvus-CDC is an easy-to-use companion tool to capture and synchronize incremental data between Milvus instances, allowing for easy incremental backup and disaster recovery. In this release, Milvus-CDC has improved stability, and its Change Data Capture (CDC) functionality now becomes generally available.

                                                                                                                                                                                                                                                                                                                                                                                                                                                                +

                                                                                                                                                                                                                                                                                                                                                                                                                                                                To learn more about Milvus-CDC, refer to GitHub repository and Milvus-CDC Overview.

                                                                                                                                                                                                                                                                                                                                                                                                                                                                +

                                                                                                                                                                                                                                                                                                                                                                                                                                                                Refined MilvusClient Interfaces

                                                                                                                                                                                                                                                                                                                                                                                                                                                                MilvusClient is an easy-to-use alternative to the ORM module. It adopts a purely functional approach to simplify interactions with the server. Instead of maintaining a connection pool, each MilvusClient establishes a gRPC connection to the server. +The MilvusClient module has implemented most of the functionalities of the ORM module. +To learn more about the MilvusClient module, visit pymilvus and the reference documents.

                                                                                                                                                                                                                                                                                                                                                                                                                                                                diff --git a/localization/v2.4.x/site/zh/userGuide/data-import/import-data.json b/localization/v2.4.x/site/zh/userGuide/data-import/import-data.json index 962ddbcad..1e065cf16 100644 --- a/localization/v2.4.x/site/zh/userGuide/data-import/import-data.json +++ b/localization/v2.4.x/site/zh/userGuide/data-import/import-data.json @@ -1 +1 @@ -{"codeList":["client = MilvusClient(\"http://localhost:19530\")\n\nschema = MilvusClient.create_schema(\n auto_id=False,\n enable_dynamic_field=True\n)\n\nschema.add_field(field_name=\"id\", datatype=DataType.INT64, is_primary=True)\nschema.add_field(field_name=\"vector\", datatype=DataType.FLOAT_VECTOR, dim=768)\nschema.add_field(field_name=\"scalar_1\", datatype=DataType.VARCHAR, max_length=512)\nschema.add_field(field_name=\"scalar_2\", datatype=DataType.INT64)\n\nclient.create_collection(\n collection_name=\"quick_setup\",\n schema=schema\n)\n","import io.milvus.client.MilvusServiceClient;\nimport io.milvus.param.ConnectParam;\nimport io.milvus.grpc.DataType;\nimport io.milvus.param.collection.CollectionSchemaParam;\nimport io.milvus.param.collection.CollectionSchemaParam;\nimport io.milvus.param.collection.FieldType;\n\nfinal MilvusServiceClient milvusClient = new MilvusServiceClient(\nConnectParam.newBuilder()\n .withUri(\"localhost:19530\")\n .withToken(\"root:Milvus\")\n .build()\n);\n\n// Define schema for the target collection\nFieldType id = FieldType.newBuilder()\n .withName(\"id\")\n .withDataType(DataType.Int64)\n .withPrimaryKey(true)\n .withAutoID(false)\n .build();\n\nFieldType vector = FieldType.newBuilder()\n .withName(\"vector\")\n .withDataType(DataType.FloatVector)\n .withDimension(768)\n .build();\n\nFieldType scalar1 = FieldType.newBuilder()\n .withName(\"scalar_1\")\n .withDataType(DataType.VarChar)\n .withMaxLength(512)\n .build();\n\nFieldType scalar2 = FieldType.newBuilder()\n .withName(\"scalar_2\")\n .withDataType(DataType.Int64)\n .build();\n\nCollectionSchemaParam schema = CollectionSchemaParam.newBuilder()\n .withEnableDynamicField(true)\n .addFieldType(id)\n .addFieldType(vector)\n .addFieldType(scalar1)\n .addFieldType(scalar2)\n .build();\n\n// Create a collection with the given schema\nmilvusClient.createCollection(CreateCollectionParam.newBuilder()\n .withCollectionName(\"quick_setup\")\n .withSchema(schema)\n .build()\n);\n","export MILVUS_URI=\"localhost:19530\"\n\ncurl --request POST \"http://${MILVUS_URI}/v2/vectordb/jobs/import/create\" \\\n--header \"Content-Type: application/json\" \\\n--data-raw '{\n \"files\": [\n [\n \"/8ca44f28-47f7-40ba-9604-98918afe26d1/1.parquet\"\n ],\n [\n \"/8ca44f28-47f7-40ba-9604-98918afe26d1/2.parquet\"\n ]\n ],\n \"collectionName\": \"quick_setup\"\n}'\n","[\n \"/d1782fa1-6b65-4ff3-b05a-43a436342445/1.json\"\n],\n","[\n \"/a6fb2d1c-7b1b-427c-a8a3-178944e3b66d/1.parquet\"\n]\n\n","{\n \"code\": 200,\n \"data\": {\n \"jobId\": \"448707763884413158\"\n }\n}\n","export MILVUS_URI=\"localhost:19530\"\n\ncurl --request POST \"http://${MILVUS_URI}/v2/vectordb/jobs/import/get_progress\" \\\n--header \"Content-Type: application/json\" \\\n--data-raw '{\n \"jobId\": \"449839014328146739\"\n}'\n","{\n \"code\": 200,\n \"data\": {\n \"collectionName\": \"quick_setup\",\n \"completeTime\": \"2024-05-18T02:57:13Z\",\n \"details\": [\n {\n \"completeTime\": \"2024-05-18T02:57:11Z\",\n \"fileName\": \"id:449839014328146740 paths:\\\"/8ca44f28-47f7-40ba-9604-98918afe26d1/1.parquet\\\" \",\n \"fileSize\": 31567874,\n \"importedRows\": 100000,\n \"progress\": 100,\n \"state\": \"Completed\",\n \"totalRows\": 100000\n },\n {\n \"completeTime\": \"2024-05-18T02:57:11Z\",\n \"fileName\": \"id:449839014328146741 paths:\\\"/8ca44f28-47f7-40ba-9604-98918afe26d1/2.parquet\\\" \",\n \"fileSize\": 31517224,\n \"importedRows\": 100000,\n \"progress\": 100,\n \"state\": \"Completed\",\n \"totalRows\": 200000 \n }\n ],\n \"fileSize\": 63085098,\n \"importedRows\": 200000,\n \"jobId\": \"449839014328146739\",\n \"progress\": 100,\n \"state\": \"Completed\",\n \"totalRows\": 200000\n }\n}\n","export MILVUS_URI=\"localhost:19530\"\n\ncurl --request POST \"http://${MILVUS_URI}/v2/vectordb/jobs/import/list\" \\\n--header \"Content-Type: application/json\" \\\n--data-raw '{\n \"collectionName\": \"quick_setup\"\n}'\n","{\n \"code\": 200,\n \"data\": {\n \"records\": [\n {\n \"collectionName\": \"quick_setup\",\n \"jobId\": \"448761313698322011\",\n \"progress\": 50,\n \"state\": \"Importing\"\n }\n ]\n }\n}\n"],"headingContent":"","anchorList":[{"label":"导入数据","href":"Import-data","type":1,"isActive":false},{"label":"开始之前","href":"Before-you-start","type":2,"isActive":false},{"label":"导入数据","href":"Import-data","type":2,"isActive":false},{"label":"检查导入进度","href":"Check-import-progress","type":2,"isActive":false},{"label":"列出导入任务","href":"List-Import-Jobs","type":2,"isActive":false}]} \ No newline at end of file +{"codeList":["from pymilvus.bulk_writer import bulk_import\n\nurl = f\"http://127.0.0.1:19530\"\n\n# Bulk-insert data from a set of JSON files already uploaded to the MinIO server\nresp = bulk_import(\n url=url,\n collection_name=\"quick_setup\",\n files=[['a1e18323-a658-4d1b-95a7-9907a4391bcf/1.parquet'],\n ['a1e18323-a658-4d1b-95a7-9907a4391bcf/2.parquet'],\n ['a1e18323-a658-4d1b-95a7-9907a4391bcf/3.parquet'],\n ['a1e18323-a658-4d1b-95a7-9907a4391bcf/4.parquet'],\n ['a1e18323-a658-4d1b-95a7-9907a4391bcf/5.parquet'],\n ['a1e18323-a658-4d1b-95a7-9907a4391bcf/6.parquet'],\n ['a1e18323-a658-4d1b-95a7-9907a4391bcf/7.parquet'],\n ['a1e18323-a658-4d1b-95a7-9907a4391bcf/8.parquet'],\n ['a1e18323-a658-4d1b-95a7-9907a4391bcf/9.parquet'],\n ['a1e18323-a658-4d1b-95a7-9907a4391bcf/10.parquet']],\n)\n\njob_id = resp.json()['data']['jobId']\nprint(job_id)\n","private static String bulkImport(List> batchFiles) throws InterruptedException {\n MilvusImportRequest milvusImportRequest = MilvusImportRequest.builder()\n .collectionName(\"quick_setup\")\n .files(batchFiles)\n .build();\n String bulkImportResult = BulkImport.bulkImport(\"http://localhost:19530\", milvusImportRequest);\n System.out.println(bulkImportResult);\n\n JsonObject bulkImportObject = new Gson().fromJson(bulkImportResult, JsonObject.class);\n String jobId = bulkImportObject.getAsJsonObject(\"data\").get(\"jobId\").getAsString();\n System.out.println(\"Create a bulkInert task, job id: \" + jobId);\n return jobId;\n}\n\npublic static void main(String[] args) throws Exception {\n List> batchFiles = uploadData();\n String jobId = bulkImport(batchFiles);\n}\n","export MILVUS_URI=\"localhost:19530\"\n\ncurl --request POST \"http://${MILVUS_URI}/v2/vectordb/jobs/import/create\" \\\n--header \"Content-Type: application/json\" \\\n--data-raw '{\n \"files\": [\n [\n \"/8ca44f28-47f7-40ba-9604-98918afe26d1/1.parquet\"\n ],\n [\n \"/8ca44f28-47f7-40ba-9604-98918afe26d1/2.parquet\"\n ]\n ],\n \"collectionName\": \"quick_setup\"\n}'\n","[\n \"/d1782fa1-6b65-4ff3-b05a-43a436342445/1.json\"\n],\n","[\n \"/a6fb2d1c-7b1b-427c-a8a3-178944e3b66d/1.parquet\"\n]\n\n","{\n \"code\": 200,\n \"data\": {\n \"jobId\": \"448707763884413158\"\n }\n}\n","import json\nfrom pymilvus.bulk_writer import get_import_progress\n\nurl = f\"http://127.0.0.1:19530\"\n\n# Get bulk-insert job progress\nresp = get_import_progress(\n url=url,\n job_id=\"453265736269038336\",\n)\n\nprint(json.dumps(resp.json(), indent=4))\n","private static void getImportProgress(String jobId) {\n while (true) {\n System.out.println(\"Wait 5 second to check bulkInsert job state...\");\n try {\n TimeUnit.SECONDS.sleep(5);\n } catch (InterruptedException e) {\n break;\n }\n\n MilvusDescribeImportRequest request = MilvusDescribeImportRequest.builder()\n .jobId(jobId)\n .build();\n String getImportProgressResult = BulkImport.getImportProgress(\"http://localhost:19530\", request);\n\n JsonObject getImportProgressObject = new Gson().fromJson(getImportProgressResult, JsonObject.class);\n String state = getImportProgressObject.getAsJsonObject(\"data\").get(\"state\").getAsString();\n String progress = getImportProgressObject.getAsJsonObject(\"data\").get(\"progress\").getAsString();\n if (\"Failed\".equals(state)) {\n String reason = getImportProgressObject.getAsJsonObject(\"data\").get(\"reason\").getAsString();\n System.out.printf(\"The job %s failed, reason: %s%n\", jobId, reason);\n break;\n } else if (\"Completed\".equals(state)) {\n System.out.printf(\"The job %s completed%n\", jobId);\n break;\n } else {\n System.out.printf(\"The job %s is running, state:%s progress:%s%n\", jobId, state, progress);\n }\n }\n}\n\npublic static void main(String[] args) throws Exception {\n List> batchFiles = uploadData();\n String jobId = bulkImport(batchFiles);\n getImportProgress(jobId);\n}\n","export MILVUS_URI=\"localhost:19530\"\n\ncurl --request POST \"http://${MILVUS_URI}/v2/vectordb/jobs/import/describe\" \\\n--header \"Content-Type: application/json\" \\\n--data-raw '{\n \"jobId\": \"449839014328146739\"\n}'\n","{\n \"code\": 200,\n \"data\": {\n \"collectionName\": \"quick_setup\",\n \"completeTime\": \"2024-05-18T02:57:13Z\",\n \"details\": [\n {\n \"completeTime\": \"2024-05-18T02:57:11Z\",\n \"fileName\": \"id:449839014328146740 paths:\\\"/8ca44f28-47f7-40ba-9604-98918afe26d1/1.parquet\\\" \",\n \"fileSize\": 31567874,\n \"importedRows\": 100000,\n \"progress\": 100,\n \"state\": \"Completed\",\n \"totalRows\": 100000\n },\n {\n \"completeTime\": \"2024-05-18T02:57:11Z\",\n \"fileName\": \"id:449839014328146741 paths:\\\"/8ca44f28-47f7-40ba-9604-98918afe26d1/2.parquet\\\" \",\n \"fileSize\": 31517224,\n \"importedRows\": 100000,\n \"progress\": 100,\n \"state\": \"Completed\",\n \"totalRows\": 200000 \n }\n ],\n \"fileSize\": 63085098,\n \"importedRows\": 200000,\n \"jobId\": \"449839014328146739\",\n \"progress\": 100,\n \"state\": \"Completed\",\n \"totalRows\": 200000\n }\n}\n","import json\nfrom pymilvus.bulk_writer import list_import_jobs\n\nurl = f\"http://127.0.0.1:19530\"\n\n# List bulk-insert jobs\nresp = list_import_jobs(\n url=url,\n collection_name=\"quick_setup\",\n)\n\nprint(json.dumps(resp.json(), indent=4))\n","private static void listImportJobs() {\n MilvusListImportJobsRequest listImportJobsRequest = MilvusListImportJobsRequest.builder().collectionName(\"quick_setup\").build();\n String listImportJobsResult = BulkImport.listImportJobs(\"http://localhost:19530\", listImportJobsRequest);\n System.out.println(listImportJobsResult);\n}\n\npublic static void main(String[] args) throws Exception {\n listImportJobs();\n}\n","export MILVUS_URI=\"localhost:19530\"\n\ncurl --request POST \"http://${MILVUS_URI}/v2/vectordb/jobs/import/list\" \\\n--header \"Content-Type: application/json\" \\\n--data-raw '{\n \"collectionName\": \"quick_setup\"\n}'\n","{\n \"code\": 200,\n \"data\": {\n \"records\": [\n {\n \"collectionName\": \"quick_setup\",\n \"jobId\": \"448761313698322011\",\n \"progress\": 50,\n \"state\": \"Importing\"\n }\n ]\n }\n}\n"],"headingContent":"Import data","anchorList":[{"label":"导入数据","href":"Import-data","type":1,"isActive":false},{"label":"开始之前","href":"Before-you-start","type":2,"isActive":false},{"label":"导入数据","href":"Import-data","type":2,"isActive":false},{"label":"检查导入进度","href":"Check-import-progress","type":2,"isActive":false},{"label":"列出导入任务","href":"List-Import-Jobs","type":2,"isActive":false},{"label":"限制","href":"Limitations","type":2,"isActive":false},{"label":"限制条件","href":"Constraints","type":2,"isActive":false},{"label":"建议","href":"Recommendations","type":2,"isActive":false}]} \ No newline at end of file diff --git a/localization/v2.4.x/site/zh/userGuide/data-import/import-data.md b/localization/v2.4.x/site/zh/userGuide/data-import/import-data.md index 8f43fe941..de5a4e973 100644 --- a/localization/v2.4.x/site/zh/userGuide/data-import/import-data.md +++ b/localization/v2.4.x/site/zh/userGuide/data-import/import-data.md @@ -37,88 +37,15 @@ summary: 本页演示导入准备好的数据的程序。
                                                                                                                                                                                                                                                                                                                                                                                                                                                                • 您已经准备好数据并将其放入 Milvus 存储桶。

                                                                                                                                                                                                                                                                                                                                                                                                                                                                  -

                                                                                                                                                                                                                                                                                                                                                                                                                                                                  如果没有,则应首先使用RemoteBulkWriter准备数据,并确保准备好的数据已传输到与 Milvus 实例一起启动的 MinIO 实例上的 Milvus 数据桶中。有关详细信息,请参阅准备源数据

                                                                                                                                                                                                                                                                                                                                                                                                                                                                • -
                                                                                                                                                                                                                                                                                                                                                                                                                                                                • 您已经使用用于准备数据的模式创建了一个集合。如果没有,请参阅管理集合

                                                                                                                                                                                                                                                                                                                                                                                                                                                                • +

                                                                                                                                                                                                                                                                                                                                                                                                                                                                  如果没有,您应该先使用RemoteBulkWriter准备数据,并确保准备好的数据已经传输到与您的 Milvus 实例一起启动的 MinIO 实例上的 Milvus 数据桶中。有关详细信息,请参阅准备源数据

                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +
                                                                                                                                                                                                                                                                                                                                                                                                                                                                • 您已经使用用于准备数据的 Schema 创建了一个 Collections。如果没有,请参阅管理 Collections

                                                                                                                                                                                                                                                                                                                                                                                                                                                                -

                                                                                                                                                                                                                                                                                                                                                                                                                                                                以下代码片段使用给定模式创建了一个简单的集合。有关参数的更多信息,请参阅 create_schema()create_collection()SDK 参考资料。

                                                                                                                                                                                                                                                                                                                                                                                                                                                                +

                                                                                                                                                                                                                                                                                                                                                                                                                                                                下面的代码片段使用给定的 Schema 创建了一个简单的 Collections。有关参数的更多信息,请参阅 create_schema()create_collection()SDK 参考资料。

                                                                                                                                                                                                                                                                                                                                                                                                                                                                -

                                                                                                                                                                                                                                                                                                                                                                                                                                                                以下代码片段使用给定模式创建一个简单集合。有关参数的更多信息,请参阅 createCollection()有关参数的更多信息,请参阅 SDK 参考资料中的

                                                                                                                                                                                                                                                                                                                                                                                                                                                                +

                                                                                                                                                                                                                                                                                                                                                                                                                                                                以下代码片段使用给定的 Schema 创建一个简单集合。有关参数的更多信息,请参阅 createCollection()有关参数的更多信息,请参阅 SDK 参考资料中的

                                                                                                                                                                                                                                                                                                                                                                                                                                                                - -
                                                                                                                                                                                                                                                                                                                                                                                                                                                                client = MilvusClient("http://localhost:19530")
                                                                                                                                                                                                                                                                                                                                                                                                                                                                -
                                                                                                                                                                                                                                                                                                                                                                                                                                                                -schema = MilvusClient.create_schema(
                                                                                                                                                                                                                                                                                                                                                                                                                                                                -    auto_id=False,
                                                                                                                                                                                                                                                                                                                                                                                                                                                                -    enable_dynamic_field=True
                                                                                                                                                                                                                                                                                                                                                                                                                                                                -)
                                                                                                                                                                                                                                                                                                                                                                                                                                                                -
                                                                                                                                                                                                                                                                                                                                                                                                                                                                -schema.add_field(field_name="id", datatype=DataType.INT64, is_primary=True)
                                                                                                                                                                                                                                                                                                                                                                                                                                                                -schema.add_field(field_name="vector", datatype=DataType.FLOAT_VECTOR, dim=768)
                                                                                                                                                                                                                                                                                                                                                                                                                                                                -schema.add_field(field_name="scalar_1", datatype=DataType.VARCHAR, max_length=512)
                                                                                                                                                                                                                                                                                                                                                                                                                                                                -schema.add_field(field_name="scalar_2", datatype=DataType.INT64)
                                                                                                                                                                                                                                                                                                                                                                                                                                                                -
                                                                                                                                                                                                                                                                                                                                                                                                                                                                -client.create_collection(
                                                                                                                                                                                                                                                                                                                                                                                                                                                                -    collection_name="quick_setup",
                                                                                                                                                                                                                                                                                                                                                                                                                                                                -    schema=schema
                                                                                                                                                                                                                                                                                                                                                                                                                                                                -)
                                                                                                                                                                                                                                                                                                                                                                                                                                                                -
                                                                                                                                                                                                                                                                                                                                                                                                                                                                -
                                                                                                                                                                                                                                                                                                                                                                                                                                                                import io.milvus.client.MilvusServiceClient;
                                                                                                                                                                                                                                                                                                                                                                                                                                                                -import io.milvus.param.ConnectParam;
                                                                                                                                                                                                                                                                                                                                                                                                                                                                -import io.milvus.grpc.DataType;
                                                                                                                                                                                                                                                                                                                                                                                                                                                                -import io.milvus.param.collection.CollectionSchemaParam;
                                                                                                                                                                                                                                                                                                                                                                                                                                                                -import io.milvus.param.collection.CollectionSchemaParam;
                                                                                                                                                                                                                                                                                                                                                                                                                                                                -import io.milvus.param.collection.FieldType;
                                                                                                                                                                                                                                                                                                                                                                                                                                                                -
                                                                                                                                                                                                                                                                                                                                                                                                                                                                -final MilvusServiceClient milvusClient = new MilvusServiceClient(
                                                                                                                                                                                                                                                                                                                                                                                                                                                                -ConnectParam.newBuilder()
                                                                                                                                                                                                                                                                                                                                                                                                                                                                -    .withUri("localhost:19530")
                                                                                                                                                                                                                                                                                                                                                                                                                                                                -    .withToken("root:Milvus")
                                                                                                                                                                                                                                                                                                                                                                                                                                                                -    .build()
                                                                                                                                                                                                                                                                                                                                                                                                                                                                -);
                                                                                                                                                                                                                                                                                                                                                                                                                                                                -
                                                                                                                                                                                                                                                                                                                                                                                                                                                                -// Define schema for the target collection
                                                                                                                                                                                                                                                                                                                                                                                                                                                                -FieldType id = FieldType.newBuilder()
                                                                                                                                                                                                                                                                                                                                                                                                                                                                -    .withName("id")
                                                                                                                                                                                                                                                                                                                                                                                                                                                                -    .withDataType(DataType.Int64)
                                                                                                                                                                                                                                                                                                                                                                                                                                                                -    .withPrimaryKey(true)
                                                                                                                                                                                                                                                                                                                                                                                                                                                                -    .withAutoID(false)
                                                                                                                                                                                                                                                                                                                                                                                                                                                                -    .build();
                                                                                                                                                                                                                                                                                                                                                                                                                                                                -
                                                                                                                                                                                                                                                                                                                                                                                                                                                                -FieldType vector = FieldType.newBuilder()
                                                                                                                                                                                                                                                                                                                                                                                                                                                                -    .withName("vector")
                                                                                                                                                                                                                                                                                                                                                                                                                                                                -    .withDataType(DataType.FloatVector)
                                                                                                                                                                                                                                                                                                                                                                                                                                                                -    .withDimension(768)
                                                                                                                                                                                                                                                                                                                                                                                                                                                                -    .build();
                                                                                                                                                                                                                                                                                                                                                                                                                                                                -
                                                                                                                                                                                                                                                                                                                                                                                                                                                                -FieldType scalar1 = FieldType.newBuilder()
                                                                                                                                                                                                                                                                                                                                                                                                                                                                -    .withName("scalar_1")
                                                                                                                                                                                                                                                                                                                                                                                                                                                                -    .withDataType(DataType.VarChar)
                                                                                                                                                                                                                                                                                                                                                                                                                                                                -    .withMaxLength(512)
                                                                                                                                                                                                                                                                                                                                                                                                                                                                -    .build();
                                                                                                                                                                                                                                                                                                                                                                                                                                                                -
                                                                                                                                                                                                                                                                                                                                                                                                                                                                -FieldType scalar2 = FieldType.newBuilder()
                                                                                                                                                                                                                                                                                                                                                                                                                                                                -    .withName("scalar_2")
                                                                                                                                                                                                                                                                                                                                                                                                                                                                -    .withDataType(DataType.Int64)
                                                                                                                                                                                                                                                                                                                                                                                                                                                                -    .build();
                                                                                                                                                                                                                                                                                                                                                                                                                                                                -
                                                                                                                                                                                                                                                                                                                                                                                                                                                                -CollectionSchemaParam schema = CollectionSchemaParam.newBuilder()
                                                                                                                                                                                                                                                                                                                                                                                                                                                                -    .withEnableDynamicField(true)
                                                                                                                                                                                                                                                                                                                                                                                                                                                                -    .addFieldType(id)
                                                                                                                                                                                                                                                                                                                                                                                                                                                                -    .addFieldType(vector)
                                                                                                                                                                                                                                                                                                                                                                                                                                                                -    .addFieldType(scalar1)
                                                                                                                                                                                                                                                                                                                                                                                                                                                                -    .addFieldType(scalar2)
                                                                                                                                                                                                                                                                                                                                                                                                                                                                -    .build();
                                                                                                                                                                                                                                                                                                                                                                                                                                                                -
                                                                                                                                                                                                                                                                                                                                                                                                                                                                -// Create a collection with the given schema
                                                                                                                                                                                                                                                                                                                                                                                                                                                                -milvusClient.createCollection(CreateCollectionParam.newBuilder()
                                                                                                                                                                                                                                                                                                                                                                                                                                                                -    .withCollectionName("quick_setup")
                                                                                                                                                                                                                                                                                                                                                                                                                                                                -    .withSchema(schema)
                                                                                                                                                                                                                                                                                                                                                                                                                                                                -    .build()
                                                                                                                                                                                                                                                                                                                                                                                                                                                                -);
                                                                                                                                                                                                                                                                                                                                                                                                                                                                -

                                                                                                                                                                                                                                                                                                                                                                                                                                                                导入数据

                                                                                                                                                                                                                                                                                                                                                                                                                                                                要导入准备好的数据,必须创建如下导入任务:

                                                                                                                                                                                                                                                                                                                                                                                                                                                                -
                                                                                                                                                                                                                                                                                                                                                                                                                                                                export MILVUS_URI="localhost:19530"
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +
                                                                                                                                                                                                                                                                                                                                                                                                                                                                from pymilvus.bulk_writer import bulk_import
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +url = f"http://127.0.0.1:19530"
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +# Bulk-insert data from a set of JSON files already uploaded to the MinIO server
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +resp = bulk_import(
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +    url=url,
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +    collection_name="quick_setup",
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +    files=[['a1e18323-a658-4d1b-95a7-9907a4391bcf/1.parquet'],
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +           ['a1e18323-a658-4d1b-95a7-9907a4391bcf/2.parquet'],
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +           ['a1e18323-a658-4d1b-95a7-9907a4391bcf/3.parquet'],
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +           ['a1e18323-a658-4d1b-95a7-9907a4391bcf/4.parquet'],
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +           ['a1e18323-a658-4d1b-95a7-9907a4391bcf/5.parquet'],
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +           ['a1e18323-a658-4d1b-95a7-9907a4391bcf/6.parquet'],
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +           ['a1e18323-a658-4d1b-95a7-9907a4391bcf/7.parquet'],
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +           ['a1e18323-a658-4d1b-95a7-9907a4391bcf/8.parquet'],
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +           ['a1e18323-a658-4d1b-95a7-9907a4391bcf/9.parquet'],
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +           ['a1e18323-a658-4d1b-95a7-9907a4391bcf/10.parquet']],
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +)
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +job_id = resp.json()['data']['jobId']
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +print(job_id)
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +
                                                                                                                                                                                                                                                                                                                                                                                                                                                                private static String bulkImport(List<List<String>> batchFiles) throws InterruptedException {
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +    MilvusImportRequest milvusImportRequest = MilvusImportRequest.builder()
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +            .collectionName("quick_setup")
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +            .files(batchFiles)
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +            .build();
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +    String bulkImportResult = BulkImport.bulkImport("http://localhost:19530", milvusImportRequest);
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +    System.out.println(bulkImportResult);
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +    JsonObject bulkImportObject = new Gson().fromJson(bulkImportResult, JsonObject.class);
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +    String jobId = bulkImportObject.getAsJsonObject("data").get("jobId").getAsString();
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +    System.out.println("Create a bulkInert task, job id: " + jobId);
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +    return jobId;
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +}
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +public static void main(String[] args) throws Exception {
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +    List<List<String>> batchFiles = uploadData();
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +    String jobId = bulkImport(batchFiles);
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +}
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +
                                                                                                                                                                                                                                                                                                                                                                                                                                                                +
                                                                                                                                                                                                                                                                                                                                                                                                                                                                export MILVUS_URI="localhost:19530"
                                                                                                                                                                                                                                                                                                                                                                                                                                                                 
                                                                                                                                                                                                                                                                                                                                                                                                                                                                 curl --request POST "http://${MILVUS_URI}/v2/vectordb/jobs/import/create" \
                                                                                                                                                                                                                                                                                                                                                                                                                                                                 --header "Content-Type: application/json" \
                                                                                                                                                                                                                                                                                                                                                                                                                                                                @@ -154,9 +125,9 @@ curl --request POST "http://collectionName

                                                                                                                                                                                                                                                                                                                                                                                                                                                                -

                                                                                                                                                                                                                                                                                                                                                                                                                                                                目标数据集的名称。

                                                                                                                                                                                                                                                                                                                                                                                                                                                                +

                                                                                                                                                                                                                                                                                                                                                                                                                                                                目标 Collections 的名称。

                                                                                                                                                                                                                                                                                                                                                                                                                                                              • files

                                                                                                                                                                                                                                                                                                                                                                                                                                                                -

                                                                                                                                                                                                                                                                                                                                                                                                                                                                文件路径列表,相对于与您的 Milvus 实例一起启动的 MioIO 实例上 Milvus 数据桶的根路径。可能的子列表如下:

                                                                                                                                                                                                                                                                                                                                                                                                                                                                +

                                                                                                                                                                                                                                                                                                                                                                                                                                                                与 Milvus 实例一起启动的 MioIO 实例上相对于 Milvus 存储桶根路径的文件路径列表。可能的子列表如下:

                                                                                                                                                                                                                                                                                                                                                                                                                                                                • JSON 文件

                                                                                                                                                                                                                                                                                                                                                                                                                                                                  如果准备的文件是 JSON 格式,则每个子列表都应包含单个准备的 JSON 文件的路径

                                                                                                                                                                                                                                                                                                                                                                                                                                                                  @@ -174,7 +145,7 @@ curl --request POST "http://{ +
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  {
                                                                                                                                                                                                                                                                                                                                                                                                                                                                       "code": 200,
                                                                                                                                                                                                                                                                                                                                                                                                                                                                       "data": {
                                                                                                                                                                                                                                                                                                                                                                                                                                                                           "jobId": "448707763884413158"
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  @@ -197,9 +168,60 @@ curl --request POST "http://export MILVUS_URI="localhost:19530"
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  import json
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +from pymilvus.bulk_writer import get_import_progress
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +url = f"http://127.0.0.1:19530"
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +# Get bulk-insert job progress
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +resp = get_import_progress(
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +    url=url,
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +    job_id="453265736269038336",
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +)
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +print(json.dumps(resp.json(), indent=4))
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  private static void getImportProgress(String jobId) {
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +    while (true) {
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +        System.out.println("Wait 5 second to check bulkInsert job state...");
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +        try {
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +            TimeUnit.SECONDS.sleep(5);
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +        } catch (InterruptedException e) {
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +            break;
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +        }
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +        MilvusDescribeImportRequest request = MilvusDescribeImportRequest.builder()
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +                .jobId(jobId)
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +                .build();
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +        String getImportProgressResult = BulkImport.getImportProgress("http://localhost:19530", request);
                                                                                                                                                                                                                                                                                                                                                                                                                                                                   
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  -curl --request POST "http://${MILVUS_URI}/v2/vectordb/jobs/import/get_progress" \
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +        JsonObject getImportProgressObject = new Gson().fromJson(getImportProgressResult, JsonObject.class);
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +        String state = getImportProgressObject.getAsJsonObject("data").get("state").getAsString();
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +        String progress = getImportProgressObject.getAsJsonObject("data").get("progress").getAsString();
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +        if ("Failed".equals(state)) {
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +            String reason = getImportProgressObject.getAsJsonObject("data").get("reason").getAsString();
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +            System.out.printf("The job %s failed, reason: %s%n", jobId, reason);
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +            break;
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +        } else if ("Completed".equals(state)) {
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +            System.out.printf("The job %s completed%n", jobId);
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +            break;
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +        } else {
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +            System.out.printf("The job %s is running, state:%s progress:%s%n", jobId, state, progress);
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +        }
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +    }
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +}
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +public static void main(String[] args) throws Exception {
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +    List<List<String>> batchFiles = uploadData();
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +    String jobId = bulkImport(batchFiles);
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +    getImportProgress(jobId);
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +}
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  export MILVUS_URI="localhost:19530"
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +curl --request POST "http://${MILVUS_URI}/v2/vectordb/jobs/import/describe" \
                                                                                                                                                                                                                                                                                                                                                                                                                                                                   --header "Content-Type: application/json" \
                                                                                                                                                                                                                                                                                                                                                                                                                                                                   --data-raw '{
                                                                                                                                                                                                                                                                                                                                                                                                                                                                       "jobId": "449839014328146739"
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  @@ -255,8 +277,33 @@ curl --request POST "http://
                                                                                                                                                                                                                                                                                                                                                                                                                                                                         
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  -    

                                                                                                                                                                                                                                                                                                                                                                                                                                                                  您可以列出与特定集合相关的所有导入任务,如下所示:

                                                                                                                                                                                                                                                                                                                                                                                                                                                                  -
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  export MILVUS_URI="localhost:19530"
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +    

                                                                                                                                                                                                                                                                                                                                                                                                                                                                  您可以按如下方式列出相对于特定 Collections 的所有导入任务:

                                                                                                                                                                                                                                                                                                                                                                                                                                                                  + +
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  import json
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +from pymilvus.bulk_writer import list_import_jobs
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +url = f"http://127.0.0.1:19530"
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +# List bulk-insert jobs
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +resp = list_import_jobs(
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +    url=url,
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +    collection_name="quick_setup",
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +)
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +print(json.dumps(resp.json(), indent=4))
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  private static void listImportJobs() {
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +    MilvusListImportJobsRequest listImportJobsRequest = MilvusListImportJobsRequest.builder().collectionName("quick_setup").build();
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +    String listImportJobsResult = BulkImport.listImportJobs("http://localhost:19530", listImportJobsRequest);
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +    System.out.println(listImportJobsResult);
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +}
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +public static void main(String[] args) throws Exception {
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +    listImportJobs();
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +}
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  export MILVUS_URI="localhost:19530"
                                                                                                                                                                                                                                                                                                                                                                                                                                                                   
                                                                                                                                                                                                                                                                                                                                                                                                                                                                   curl --request POST "http://${MILVUS_URI}/v2/vectordb/jobs/import/list" \
                                                                                                                                                                                                                                                                                                                                                                                                                                                                   --header "Content-Type: application/json" \
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  @@ -265,7 +312,7 @@ curl --request POST "http://

                                                                                                                                                                                                                                                                                                                                                                                                                                                                  可能的值如下:

                                                                                                                                                                                                                                                                                                                                                                                                                                                                  -
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  {
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  {
                                                                                                                                                                                                                                                                                                                                                                                                                                                                       "code": 200,
                                                                                                                                                                                                                                                                                                                                                                                                                                                                       "data": {
                                                                                                                                                                                                                                                                                                                                                                                                                                                                           "records": [
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  @@ -279,3 +326,76 @@ curl --request POST "http://
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +

                                                                                                                                                                                                                                                                                                                                                                                                                                                                  限制

                                                                                                                                                                                                                                                                                                                                                                                                                                                                    +
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  • 每个导入文件的大小不得超过16 GB

                                                                                                                                                                                                                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  • 导入请求的最大数量限制为1024

                                                                                                                                                                                                                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  • 每个导入请求的最大文件数不得超过1024

                                                                                                                                                                                                                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  • 导入请求中只能指定一个分区名称。如果没有指定分区名称,数据将插入默认分区。此外,如果在目标 Collections 中设置了 Partition Key,则无法在导入请求中设置分区名称。

                                                                                                                                                                                                                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +

                                                                                                                                                                                                                                                                                                                                                                                                                                                                  限制条件

                                                                                                                                                                                                                                                                                                                                                                                                                                                                  导入数据前,请确保已确认以下 Milvus 行为方面的约束:

                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +
                                                                                                                                                                                                                                                                                                                                                                                                                                                                    +
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  • 有关加载行为的限制:

                                                                                                                                                                                                                                                                                                                                                                                                                                                                    +
                                                                                                                                                                                                                                                                                                                                                                                                                                                                      +
                                                                                                                                                                                                                                                                                                                                                                                                                                                                    • 如果在导入之前已经加载了一个 Collections,则可以在导入完成后使用refresh_load 函数加载新导入的数据。
                                                                                                                                                                                                                                                                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  • 有关查询和搜索行为的限制:

                                                                                                                                                                                                                                                                                                                                                                                                                                                                    +
                                                                                                                                                                                                                                                                                                                                                                                                                                                                      +
                                                                                                                                                                                                                                                                                                                                                                                                                                                                    • 在导入任务状态为 "已完成 "之前,保证新导入的数据对查询和搜索是不可见的。

                                                                                                                                                                                                                                                                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                                                                                                                                                                                                                                                                    • 一旦任务状态为完成

                                                                                                                                                                                                                                                                                                                                                                                                                                                                      +
                                                                                                                                                                                                                                                                                                                                                                                                                                                                        +
                                                                                                                                                                                                                                                                                                                                                                                                                                                                      • 如果 Collections 尚未加载,可以使用load 函数加载新导入的数据。

                                                                                                                                                                                                                                                                                                                                                                                                                                                                      • +
                                                                                                                                                                                                                                                                                                                                                                                                                                                                      • 如果 Collections 已加载,则可调用load(is_refresh=True) 加载导入的数据。

                                                                                                                                                                                                                                                                                                                                                                                                                                                                      • +
                                                                                                                                                                                                                                                                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  • 有关删除行为的限制:

                                                                                                                                                                                                                                                                                                                                                                                                                                                                    +
                                                                                                                                                                                                                                                                                                                                                                                                                                                                      +
                                                                                                                                                                                                                                                                                                                                                                                                                                                                    • 在导入任务状态为 "已完成 "之前,不保证删除成功。

                                                                                                                                                                                                                                                                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                                                                                                                                                                                                                                                                    • 在任务状态为 "已完成"后,则保证删除成功。

                                                                                                                                                                                                                                                                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +

                                                                                                                                                                                                                                                                                                                                                                                                                                                                  建议

                                                                                                                                                                                                                                                                                                                                                                                                                                                                  我们强烈建议使用多文件导入功能,该功能允许您在单个请求中上传多个文件。这种方法不仅简化了导入过程,还能显著提高导入性能。同时,通过合并上传,您可以减少用于数据管理的时间,提高工作流程的效率。

                                                                                                                                                                                                                                                                                                                                                                                                                                                                  diff --git a/localization/v2.4.x/site/zh/userGuide/data-import/prepare-source-data.json b/localization/v2.4.x/site/zh/userGuide/data-import/prepare-source-data.json index 072bb71c2..b92af79dc 100644 --- a/localization/v2.4.x/site/zh/userGuide/data-import/prepare-source-data.json +++ b/localization/v2.4.x/site/zh/userGuide/data-import/prepare-source-data.json @@ -1 +1 @@ -{"codeList":["from pymilvus import MilvusClient, DataType\n\n# You need to work out a collection schema out of your dataset.\nschema = MilvusClient.create_schema(\n auto_id=False,\n enable_dynamic_field=True\n)\n\nschema.add_field(field_name=\"id\", datatype=DataType.INT64, is_primary=True)\nschema.add_field(field_name=\"vector\", datatype=DataType.FLOAT_VECTOR, dim=768)\nschema.add_field(field_name=\"scalar_1\", datatype=DataType.VARCHAR, max_length=512)\nschema.add_field(field_name=\"scalar_2\", datatype=DataType.INT64)\n\nschema.verify()\n","import io.milvus.grpc.DataType;\nimport io.milvus.param.collection.CollectionSchemaParam;\nimport io.milvus.param.collection.FieldType;\n\n// Define schema for the target collection\nFieldType id = FieldType.newBuilder()\n .withName(\"id\")\n .withDataType(DataType.Int64)\n .withPrimaryKey(true)\n .withAutoID(false)\n .build();\n\nFieldType vector = FieldType.newBuilder()\n .withName(\"vector\")\n .withDataType(DataType.FloatVector)\n .withDimension(768)\n .build();\n\nFieldType scalar1 = FieldType.newBuilder()\n .withName(\"scalar_1\")\n .withDataType(DataType.VarChar)\n .withMaxLength(512)\n .build();\n\nFieldType scalar2 = FieldType.newBuilder()\n .withName(\"scalar_2\")\n .withDataType(DataType.Int64)\n .build();\n\nCollectionSchemaParam schema = CollectionSchemaParam.newBuilder()\n .withEnableDynamicField(true)\n .addFieldType(id)\n .addFieldType(vector)\n .addFieldType(scalar1)\n .addFieldType(scalar2)\n .build();\n","from pymilvus.bulk_writer import LocalBulkWriter, BulkFileType\n# Use `from pymilvus import LocalBulkWriter, BulkFileType` \n# when you use pymilvus earlier than 2.4.2 \n\nwriter = LocalBulkWriter(\n schema=schema,\n local_path='.',\n segment_size=512 * 1024 * 1024, # Default value\n file_type=BulkFileType.PARQUET\n)\n","import io.milvus.bulkwriter.LocalBulkWriter;\nimport io.milvus.bulkwriter.LocalBulkWriterParam;\nimport io.milvus.bulkwriter.common.clientenum.BulkFileType;\n\nLocalBulkWriterParam localBulkWriterParam = LocalBulkWriterParam.newBuilder()\n .withCollectionSchema(schema)\n .withLocalPath(\".\")\n .withChunkSize(512 * 1024 * 1024)\n .withFileType(BulkFileType.PARQUET)\n .build();\n\nLocalBulkWriter localBulkWriter = new LocalBulkWriter(localBulkWriterParam);\n","from pymilvus.bulk_writer import RemoteBulkWriter\n# Use `from pymilvus import RemoteBulkWriter` \n# when you use pymilvus earlier than 2.4.2 \n\n# Third-party constants\nACCESS_KEY=\"minioadmin\"\nSECRET_KEY=\"minioadmin\"\nBUCKET_NAME=\"milvus-bucket\"\n\n# Connections parameters to access the remote bucket\nconn = RemoteBulkWriter.S3ConnectParam(\n endpoint=\"localhost:9000\", # the default MinIO service started along with Milvus\n access_key=ACCESS_KEY,\n secret_key=SECRET_KEY,\n bucket_name=BUCKET_NAME,\n secure=False\n)\n","import io.milvus.bulkwriter.common.clientenum.BulkFileType;\nimport io.milvus.bulkwriter.connect.S3ConnectParam;\nimport io.milvus.bulkwriter.connect.StorageConnectParam;\n\nString ACCESS_KEY = \"minioadmin\";\nString SECRET_KEY = \"minioadmin\";\nString BUCKET_NAME = \"milvus-bucket\";\n\nStorageConnectParam storageConnectParam = S3ConnectParam.newBuilder()\n .withEndpoint(MINIO_URI)\n .withAccessKey(ACCESS_KEY)\n .withSecretKey(SECRET_KEY)\n .withBucketName(BUCKET_NAME)\n .build();\n","from pymilvus.bulk_writer import BulkFileType\n# Use `from pymilvus import BulkFileType` \n# when you use pymilvus earlier than 2.4.2 \n\nwriter = RemoteBulkWriter(\n schema=schema,\n remote_path=\"/\",\n connect_param=conn,\n file_type=BulkFileType.PARQUET\n)\n","import io.milvus.bulkwriter.RemoteBulkWriter;\nimport io.milvus.bulkwriter.RemoteBulkWriterParam;\n\nRemoteBulkWriterParam remoteBulkWriterParam = RemoteBulkWriterParam.newBuilder()\n .withCollectionSchema(schema)\n .withConnectParam(storageConnectParam)\n .withChunkSize(512 * 1024 * 1024)\n .withRemotePath(\"/\")\n .withFileType(BulkFileType.PARQUET)\n .build();\n\nRemoteBulkWriter remoteBulkWriter = new RemoteBulkWriter(remoteBulkWriterParam);\n","import random\nimport string\n\ndef generate_random_str(length=5):\n letters = string.ascii_uppercase\n digits = string.digits\n \n return ''.join(random.choices(letters + digits, k=length))\n\nfor i in range(10000):\n writer.append_row({\n \"id\": i, \n \"vector\": [random.uniform(-1, 1) for _ in range(768)],\n \"scalar_1\": generate_random_str(random.randint(1, 20)),\n \"scalar_2\": random.randint(0, 100)\n })\n \nwriter.commit()\n","import com.alibaba.fastjson.JSONObject;\n\nfor (int i = 0; i < 10000; i++) {\n JSONObject json = new JSONObject();\n json.put(\"id\", i);\n json.put(\"vector\", get_random_vector(768));\n json.put(\"scalar_1\", get_random_string(20));\n json.put(\"scalar_2\", (long) (Math.random() * 100));\n\n // localBulkWriter.appendRow(json);\n remoteBulkWriter.appendRow(json);\n}\n\n// localBulkWriter.commit(false);\nremoteBulkWriter.commit(false);\n","import random\nimport string\n\ndef generate_random_string(length=5):\n letters = string.ascii_uppercase\n digits = string.digits\n \n return ''.join(random.choices(letters + digits, k=length))\n\nfor i in range(10000):\n writer.append_row({\n \"id\": i, \n \"vector\":[random.uniform(-1, 1) for _ in range(768)],\n \"scalar_1\": generate_random_string(),\n \"scalar_2\": random.randint(0, 100),\n \"dynamic_field_1\": random.choice([True, False]),\n \"dynamic_field_2\": random.randint(0, 100)\n })\n \nwriter.commit()\n","for (int i = 0; i < 10000; i++) {\n JSONObject json = new JSONObject();\n json.put(\"id\", i);\n json.put(\"vector\", get_random_vector(768));\n json.put(\"scalar_1\", get_random_string(20));\n json.put(\"scalar_2\", (long) (Math.random() * 100));\n json.put(\"dynamic_field_1\", get_random_boolean());\n json.put(\"dynamic_field_2\", (long) (Math.random() * 100));\n\n // localBulkWriter.appendRow(json);\n remoteBulkWriter.appendRow(json);\n}\n\n// localBulkWriter.commit(false);\nremoteBulkWriter.commit(false);\n","print(writer.batch_files)\n\n# [['d4220a9e-45be-4ccb-8cb5-bf09304b9f23/1.parquet'],\n# ['d4220a9e-45be-4ccb-8cb5-bf09304b9f23/2.parquet']]\n","// localBulkWriter.getBatchFiles();\nremoteBulkWriter.getBatchFiles();\n\n// \n\n// Close the BulkWriter\ntry {\n localBulkWriter.close();\n remoteBulkWriter.close(); \n} catch (Exception e) {\n // TODO: handle exception\n e.printStackTrace();\n}\n","# JSON\n├── folder\n│ └── 45ae1139-1d87-4aff-85f5-0039111f9e6b\n│ └── 1.json \n\n# Parquet\n├── folder\n│ └── 45ae1139-1d87-4aff-85f5-0039111f9e6b\n│ └── 1.parquet \n"],"headingContent":"","anchorList":[{"label":"准备源数据","href":"Prepare-Source-Data","type":1,"isActive":false},{"label":"开始之前","href":"Before-you-start","type":2,"isActive":false},{"label":"设置 BulkWriter","href":"Set-up-BulkWriter","type":2,"isActive":false},{"label":"开始写入","href":"Start-writing","type":2,"isActive":false},{"label":"验证结果","href":"Verify-the-results","type":2,"isActive":false}]} \ No newline at end of file +{"codeList":["from pymilvus import MilvusClient, DataType\n\n# You need to work out a collection schema out of your dataset.\nschema = MilvusClient.create_schema(\n auto_id=False,\n enable_dynamic_field=True\n)\n\nDIM = 512\n\nschema.add_field(field_name=\"id\", datatype=DataType.INT64, is_primary=True),\nschema.add_field(field_name=\"bool\", datatype=DataType.BOOL),\nschema.add_field(field_name=\"int8\", datatype=DataType.INT8),\nschema.add_field(field_name=\"int16\", datatype=DataType.INT16),\nschema.add_field(field_name=\"int32\", datatype=DataType.INT32),\nschema.add_field(field_name=\"int64\", datatype=DataType.INT64),\nschema.add_field(field_name=\"float\", datatype=DataType.FLOAT),\nschema.add_field(field_name=\"double\", datatype=DataType.DOUBLE),\nschema.add_field(field_name=\"varchar\", datatype=DataType.VARCHAR, max_length=512),\nschema.add_field(field_name=\"json\", datatype=DataType.JSON),\nschema.add_field(field_name=\"array_str\", datatype=DataType.ARRAY, max_capacity=100, element_type=DataType.VARCHAR, max_length=128)\nschema.add_field(field_name=\"array_int\", datatype=DataType.ARRAY, max_capacity=100, element_type=DataType.INT64)\nschema.add_field(field_name=\"float_vector\", datatype=DataType.FLOAT_VECTOR, dim=DIM),\nschema.add_field(field_name=\"binary_vector\", datatype=DataType.BINARY_VECTOR, dim=DIM),\nschema.add_field(field_name=\"float16_vector\", datatype=DataType.FLOAT16_VECTOR, dim=DIM),\n# schema.add_field(field_name=\"bfloat16_vector\", datatype=DataType.BFLOAT16_VECTOR, dim=DIM),\nschema.add_field(field_name=\"sparse_vector\", datatype=DataType.SPARSE_FLOAT_VECTOR)\n\nschema.verify()\n\nprint(schema)\n","import com.google.gson.Gson;\nimport com.google.gson.JsonObject;\nimport io.milvus.bulkwriter.BulkImport;\nimport io.milvus.bulkwriter.RemoteBulkWriter;\nimport io.milvus.bulkwriter.RemoteBulkWriterParam;\nimport io.milvus.bulkwriter.common.clientenum.BulkFileType;\nimport io.milvus.bulkwriter.common.clientenum.CloudStorage;\nimport io.milvus.bulkwriter.connect.S3ConnectParam;\nimport io.milvus.bulkwriter.connect.StorageConnectParam;\nimport io.milvus.bulkwriter.request.describe.MilvusDescribeImportRequest;\nimport io.milvus.bulkwriter.request.import_.MilvusImportRequest;\nimport io.milvus.bulkwriter.request.list.MilvusListImportJobsRequest;\nimport io.milvus.common.utils.Float16Utils;\nimport io.milvus.v2.client.ConnectConfig;\nimport io.milvus.v2.client.MilvusClientV2;\nimport io.milvus.v2.common.DataType;\nimport io.milvus.v2.service.collection.request.*;\n\nimport java.io.IOException;\nimport java.nio.ByteBuffer;\nimport java.util.*;\nimport java.util.concurrent.TimeUnit;\n\nprivate static final String MINIO_ENDPOINT = CloudStorage.MINIO.getEndpoint(\"http://127.0.0.1:9000\");\nprivate static final String BUCKET_NAME = \"a-bucket\";\nprivate static final String ACCESS_KEY = \"minioadmin\";\nprivate static final String SECRET_KEY = \"minioadmin\";\n\nprivate static final Integer DIM = 512;\nprivate static final Gson GSON_INSTANCE = new Gson();\n\nprivate static CreateCollectionReq.CollectionSchema createSchema() {\n CreateCollectionReq.CollectionSchema schema = CreateCollectionReq.CollectionSchema.builder()\n .enableDynamicField(true)\n .build();\n schema.addField(AddFieldReq.builder()\n .fieldName(\"id\")\n .dataType(io.milvus.v2.common.DataType.Int64)\n .isPrimaryKey(Boolean.TRUE)\n .autoID(false)\n .build());\n schema.addField(AddFieldReq.builder()\n .fieldName(\"bool\")\n .dataType(DataType.Bool)\n .build());\n schema.addField(AddFieldReq.builder()\n .fieldName(\"int8\")\n .dataType(DataType.Int8)\n .build());\n schema.addField(AddFieldReq.builder()\n .fieldName(\"int16\")\n .dataType(DataType.Int16)\n .build());\n schema.addField(AddFieldReq.builder()\n .fieldName(\"int32\")\n .dataType(DataType.Int32)\n .build());\n schema.addField(AddFieldReq.builder()\n .fieldName(\"int64\")\n .dataType(DataType.Int64)\n .build());\n schema.addField(AddFieldReq.builder()\n .fieldName(\"float\")\n .dataType(DataType.Float)\n .build());\n schema.addField(AddFieldReq.builder()\n .fieldName(\"double\")\n .dataType(DataType.Double)\n .build());\n schema.addField(AddFieldReq.builder()\n .fieldName(\"varchar\")\n .dataType(DataType.VarChar)\n .maxLength(512)\n .build());\n schema.addField(AddFieldReq.builder()\n .fieldName(\"json\")\n .dataType(io.milvus.v2.common.DataType.JSON)\n .build());\n schema.addField(AddFieldReq.builder()\n .fieldName(\"array_int\")\n .dataType(io.milvus.v2.common.DataType.Array)\n .maxCapacity(100)\n .elementType(io.milvus.v2.common.DataType.Int64)\n .build());\n schema.addField(AddFieldReq.builder()\n .fieldName(\"array_str\")\n .dataType(io.milvus.v2.common.DataType.Array)\n .maxCapacity(100)\n .elementType(io.milvus.v2.common.DataType.VarChar)\n .maxLength(128)\n .build());\n schema.addField(AddFieldReq.builder()\n .fieldName(\"float_vector\")\n .dataType(io.milvus.v2.common.DataType.FloatVector)\n .dimension(DIM)\n .build());\n schema.addField(AddFieldReq.builder()\n .fieldName(\"binary_vector\")\n .dataType(io.milvus.v2.common.DataType.BinaryVector)\n .dimension(DIM)\n .build());\n schema.addField(AddFieldReq.builder()\n .fieldName(\"float16_vector\")\n .dataType(io.milvus.v2.common.DataType.Float16Vector)\n .dimension(DIM)\n .build());\n schema.addField(AddFieldReq.builder()\n .fieldName(\"sparse_vector\")\n .dataType(io.milvus.v2.common.DataType.SparseFloatVector)\n .build());\n \n return schema;\n}\n","from pymilvus.bulk_writer import LocalBulkWriter, BulkFileType\n# Use `from pymilvus import LocalBulkWriter, BulkFileType` \n# when you use pymilvus earlier than 2.4.2 \n\nwriter = LocalBulkWriter(\n schema=schema,\n local_path='.',\n segment_size=512 * 1024 * 1024, # Default value\n file_type=BulkFileType.PARQUET\n)\n","import io.milvus.bulkwriter.LocalBulkWriter;\nimport io.milvus.bulkwriter.LocalBulkWriterParam;\nimport io.milvus.bulkwriter.common.clientenum.BulkFileType;\n\nLocalBulkWriterParam localBulkWriterParam = LocalBulkWriterParam.newBuilder()\n .withCollectionSchema(schema)\n .withLocalPath(\".\")\n .withChunkSize(512 * 1024 * 1024)\n .withFileType(BulkFileType.PARQUET)\n .build();\n\nLocalBulkWriter localBulkWriter = new LocalBulkWriter(localBulkWriterParam);\n","from pymilvus.bulk_writer import RemoteBulkWriter\n# Use `from pymilvus import RemoteBulkWriter` \n# when you use pymilvus earlier than 2.4.2 \n\n# Third-party constants\nACCESS_KEY=\"minioadmin\"\nSECRET_KEY=\"minioadmin\"\nBUCKET_NAME=\"a-bucket\"\n\n# Connections parameters to access the remote bucket\nconn = RemoteBulkWriter.S3ConnectParam(\n endpoint=\"localhost:9000\", # the default MinIO service started along with Milvus\n access_key=ACCESS_KEY,\n secret_key=SECRET_KEY,\n bucket_name=BUCKET_NAME,\n secure=False\n)\n\nfrom pymilvus.bulk_writer import BulkFileType\n# Use `from pymilvus import BulkFileType` \n# when you use pymilvus earlier than 2.4.2 \n\nwriter = RemoteBulkWriter(\n schema=schema,\n remote_path=\"/\",\n connect_param=conn,\n file_type=BulkFileType.PARQUET\n)\n\nprint('bulk writer created.')\n","private static RemoteBulkWriter createRemoteBulkWriter(CreateCollectionReq.CollectionSchema collectionSchema) throws IOException {\n StorageConnectParam connectParam = S3ConnectParam.newBuilder()\n .withEndpoint(MINIO_ENDPOINT)\n .withBucketName(BUCKET_NAME)\n .withAccessKey(ACCESS_KEY)\n .withSecretKey(SECRET_KEY)\n .build();\n RemoteBulkWriterParam bulkWriterParam = RemoteBulkWriterParam.newBuilder()\n .withCollectionSchema(collectionSchema)\n .withRemotePath(\"/\")\n .withConnectParam(connectParam)\n .withFileType(BulkFileType.PARQUET)\n .build();\n return new RemoteBulkWriter(bulkWriterParam);\n}\n","from pymilvus.bulk_writer import BulkFileType\n# Use `from pymilvus import BulkFileType` \n# when you use pymilvus earlier than 2.4.2 \n\nwriter = RemoteBulkWriter(\n schema=schema,\n remote_path=\"/\",\n connect_param=conn,\n file_type=BulkFileType.PARQUET\n)\n","import io.milvus.bulkwriter.RemoteBulkWriter;\nimport io.milvus.bulkwriter.RemoteBulkWriterParam;\n\nRemoteBulkWriterParam remoteBulkWriterParam = RemoteBulkWriterParam.newBuilder()\n .withCollectionSchema(schema)\n .withConnectParam(storageConnectParam)\n .withChunkSize(512 * 1024 * 1024)\n .withRemotePath(\"/\")\n .withFileType(BulkFileType.PARQUET)\n .build();\n\nRemoteBulkWriter remoteBulkWriter = new RemoteBulkWriter(remoteBulkWriterParam);\n","import random, string, json\nimport numpy as np\nimport tensorflow as tf\n\ndef generate_random_str(length=5):\n letters = string.ascii_uppercase\n digits = string.digits\n \n return ''.join(random.choices(letters + digits, k=length))\n\n# optional input for binary vector:\n# 1. list of int such as [1, 0, 1, 1, 0, 0, 1, 0]\n# 2. numpy array of uint8\ndef gen_binary_vector(to_numpy_arr):\n raw_vector = [random.randint(0, 1) for i in range(DIM)]\n if to_numpy_arr:\n return np.packbits(raw_vector, axis=-1)\n return raw_vector\n\n# optional input for float vector:\n# 1. list of float such as [0.56, 1.859, 6.55, 9.45]\n# 2. numpy array of float32\ndef gen_float_vector(to_numpy_arr):\n raw_vector = [random.random() for _ in range(DIM)]\n if to_numpy_arr:\n return np.array(raw_vector, dtype=\"float32\")\n return raw_vector\n\n# # optional input for bfloat16 vector:\n# # 1. list of float such as [0.56, 1.859, 6.55, 9.45]\n# # 2. numpy array of bfloat16\n# def gen_bf16_vector(to_numpy_arr):\n# raw_vector = [random.random() for _ in range(DIM)]\n# if to_numpy_arr:\n# return tf.cast(raw_vector, dtype=tf.bfloat16).numpy()\n# return raw_vector\n\n# optional input for float16 vector:\n# 1. list of float such as [0.56, 1.859, 6.55, 9.45]\n# 2. numpy array of float16\ndef gen_fp16_vector(to_numpy_arr):\n raw_vector = [random.random() for _ in range(DIM)]\n if to_numpy_arr:\n return np.array(raw_vector, dtype=np.float16)\n return raw_vector\n\n# optional input for sparse vector:\n# only accepts dict like {2: 13.23, 45: 0.54} or {\"indices\": [1, 2], \"values\": [0.1, 0.2]}\n# note: no need to sort the keys\ndef gen_sparse_vector(pair_dict: bool):\n raw_vector = {}\n dim = random.randint(2, 20)\n if pair_dict:\n raw_vector[\"indices\"] = [i for i in range(dim)]\n raw_vector[\"values\"] = [random.random() for _ in range(dim)]\n else:\n for i in range(dim):\n raw_vector[i] = random.random()\n return raw_vector\n\nfor i in range(10000):\n writer.append_row({\n \"id\": np.int64(i),\n \"bool\": True if i % 3 == 0 else False,\n \"int8\": np.int8(i%128),\n \"int16\": np.int16(i%1000),\n \"int32\": np.int32(i%100000),\n \"int64\": np.int64(i),\n \"float\": np.float32(i/3),\n \"double\": np.float64(i/7),\n \"varchar\": f\"varchar_{i}\",\n \"json\": json.dumps({\"dummy\": i, \"ok\": f\"name_{i}\"}),\n \"array_str\": np.array([f\"str_{k}\" for k in range(5)], np.dtype(\"str\")),\n \"array_int\": np.array([k for k in range(10)], np.dtype(\"int64\")),\n \"float_vector\": gen_float_vector(True),\n \"binary_vector\": gen_binary_vector(True),\n \"float16_vector\": gen_fp16_vector(True),\n # \"bfloat16_vector\": gen_bf16_vector(True),\n \"sparse_vector\": gen_sparse_vector(True),\n f\"dynamic_{i}\": i,\n })\n if (i+1)%1000 == 0:\n writer.commit()\n print('committed')\n\nprint(writer.batch_files)\n","private static byte[] genBinaryVector() {\n Random ran = new Random();\n int byteCount = DIM / 8;\n ByteBuffer vector = ByteBuffer.allocate(byteCount);\n for (int i = 0; i < byteCount; ++i) {\n vector.put((byte) ran.nextInt(Byte.MAX_VALUE));\n }\n return vector.array();\n}\n\nprivate static List genFloatVector() {\n Random ran = new Random();\n List vector = new ArrayList<>();\n for (int i = 0; i < DIM; ++i) {\n vector.add(ran.nextFloat());\n }\n return vector;\n}\n\nprivate static byte[] genFloat16Vector() {\n List originalVector = genFloatVector();\n return Float16Utils.f32VectorToFp16Buffer(originalVector).array();\n}\n\nprivate static SortedMap genSparseVector() {\n Random ran = new Random();\n SortedMap sparse = new TreeMap<>();\n int dim = ran.nextInt(18) + 2; // [2, 20)\n for (int i = 0; i < dim; ++i) {\n sparse.put((long)ran.nextInt(1000000), ran.nextFloat());\n }\n return sparse;\n}\n\nprivate static List genStringArray(int length) {\n List arr = new ArrayList<>();\n for (int i = 0; i < length; i++) {\n arr.add(\"str_\" + i);\n }\n return arr;\n}\n\nprivate static List genIntArray(int length) {\n List arr = new ArrayList<>();\n for (long i = 0; i < length; i++) {\n arr.add(i);\n }\n return arr;\n}\n\nprivate static RemoteBulkWriter createRemoteBulkWriter(CreateCollectionReq.CollectionSchema collectionSchema) throws IOException {\n StorageConnectParam connectParam = S3ConnectParam.newBuilder()\n .withEndpoint(MINIO_ENDPOINT)\n .withBucketName(BUCKET_NAME)\n .withAccessKey(ACCESS_KEY)\n .withSecretKey(SECRET_KEY)\n .build();\n RemoteBulkWriterParam bulkWriterParam = RemoteBulkWriterParam.newBuilder()\n .withCollectionSchema(collectionSchema)\n .withRemotePath(\"/\")\n .withConnectParam(connectParam)\n .withFileType(BulkFileType.PARQUET)\n .build();\n return new RemoteBulkWriter(bulkWriterParam);\n}\n\nprivate static List> uploadData() throws Exception {\n CreateCollectionReq.CollectionSchema collectionSchema = createSchema();\n try (RemoteBulkWriter remoteBulkWriter = createRemoteBulkWriter(collectionSchema)) {\n for (int i = 0; i < 10000; ++i) {\n JsonObject rowObject = new JsonObject();\n\n rowObject.addProperty(\"id\", i);\n rowObject.addProperty(\"bool\", i % 3 == 0);\n rowObject.addProperty(\"int8\", i % 128);\n rowObject.addProperty(\"int16\", i % 1000);\n rowObject.addProperty(\"int32\", i % 100000);\n rowObject.addProperty(\"int64\", i);\n rowObject.addProperty(\"float\", i / 3);\n rowObject.addProperty(\"double\", i / 7);\n rowObject.addProperty(\"varchar\", \"varchar_\" + i);\n rowObject.addProperty(\"json\", String.format(\"{\\\"dummy\\\": %s, \\\"ok\\\": \\\"name_%s\\\"}\", i, i));\n rowObject.add(\"array_str\", GSON_INSTANCE.toJsonTree(genStringArray(5)));\n rowObject.add(\"array_int\", GSON_INSTANCE.toJsonTree(genIntArray(10)));\n rowObject.add(\"float_vector\", GSON_INSTANCE.toJsonTree(genFloatVector()));\n rowObject.add(\"binary_vector\", GSON_INSTANCE.toJsonTree(genBinaryVector()));\n rowObject.add(\"float16_vector\", GSON_INSTANCE.toJsonTree(genFloat16Vector()));\n rowObject.add(\"sparse_vector\", GSON_INSTANCE.toJsonTree(genSparseVector()));\n rowObject.addProperty(\"dynamic\", \"dynamic_\" + i);\n\n remoteBulkWriter.appendRow(rowObject);\n\n if ((i+1)%1000 == 0) {\n remoteBulkWriter.commit(false);\n }\n }\n\n List> batchFiles = remoteBulkWriter.getBatchFiles();\n System.out.println(batchFiles);\n return batchFiles;\n } catch (Exception e) {\n throw e;\n }\n}\n\npublic static void main(String[] args) throws Exception {\n List> batchFiles = uploadData();\n}\n","print(writer.batch_files)\n\n# [['d4220a9e-45be-4ccb-8cb5-bf09304b9f23/1.parquet'],\n# ['d4220a9e-45be-4ccb-8cb5-bf09304b9f23/2.parquet']]\n","// localBulkWriter.getBatchFiles();\nremoteBulkWriter.getBatchFiles();\n\n// \n\n// Close the BulkWriter\ntry {\n localBulkWriter.close();\n remoteBulkWriter.close(); \n} catch (Exception e) {\n // TODO: handle exception\n e.printStackTrace();\n}\n","# JSON\n├── folder\n│ └── 45ae1139-1d87-4aff-85f5-0039111f9e6b\n│ └── 1.json \n\n# Parquet\n├── folder\n│ └── 45ae1139-1d87-4aff-85f5-0039111f9e6b\n│ └── 1.parquet \n"],"headingContent":"Prepare Source Data","anchorList":[{"label":"准备源数据","href":"Prepare-Source-Data","type":1,"isActive":false},{"label":"开始之前","href":"Before-you-start","type":2,"isActive":false},{"label":"设置 BulkWriter","href":"Set-up-BulkWriter","type":2,"isActive":false},{"label":"开始写入","href":"Start-writing","type":2,"isActive":false},{"label":"验证结果","href":"Verify-the-results","type":2,"isActive":false}]} \ No newline at end of file diff --git a/localization/v2.4.x/site/zh/userGuide/data-import/prepare-source-data.md b/localization/v2.4.x/site/zh/userGuide/data-import/prepare-source-data.md index f6c78a1ba..954840aa8 100644 --- a/localization/v2.4.x/site/zh/userGuide/data-import/prepare-source-data.md +++ b/localization/v2.4.x/site/zh/userGuide/data-import/prepare-source-data.md @@ -2,9 +2,8 @@ id: prepare-source-data.md order: 0 title: 准备源数据 -summary: 本页将讨论在开始将数据批量插入数据集之前应该考虑的问题。 +summary: 本页讨论了在开始批量将数据插入 Collections 之前应该考虑的一些问题。 --- -

                                                                                                                                                                                                                                                                                                                                                                                                                                                                  准备源数据

                                                                                                                                                                                                                                                                                                                                                                                                                                                                  本页讨论的是在开始将数据批量插入数据集之前应该考虑的事项。

                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +

                                                                                                                                                                                                                                                                                                                                                                                                                                                                  本页讨论的是在开始将数据批量插入 Collections 之前应该考虑的事项。

                                                                                                                                                                                                                                                                                                                                                                                                                                                                  开始之前

                                                                                                                                                                                                                                                                                                                                                                                                                                                                  目标数据集需要将源数据映射到其模式。下图显示了如何将可接受的源数据映射到目标集合的模式。

                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +

                                                                                                                                                                                                                                                                                                                                                                                                                                                                  目标 Collections 需要将源数据映射到其 Schema。下图显示了如何将可接受的源数据映射到目标 Collections 的模式。

                                                                                                                                                                                                                                                                                                                                                                                                                                                                  Map data to schema - 将数据映射到模式

                                                                                                                                                                                                                                                                                                                                                                                                                                                                  -

                                                                                                                                                                                                                                                                                                                                                                                                                                                                  您应仔细检查数据,并据此设计目标数据集的模式。

                                                                                                                                                                                                                                                                                                                                                                                                                                                                  -

                                                                                                                                                                                                                                                                                                                                                                                                                                                                  以上图中的 JSON 数据为例,行列表中有两个实体,每个行有六个字段。Collection Schema 选择性地包括四个:id向量标量_1标量_2

                                                                                                                                                                                                                                                                                                                                                                                                                                                                  -

                                                                                                                                                                                                                                                                                                                                                                                                                                                                  在设计模式时,还有两件事需要考虑:

                                                                                                                                                                                                                                                                                                                                                                                                                                                                  + 将数据映射到 Schema

                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +

                                                                                                                                                                                                                                                                                                                                                                                                                                                                  您应仔细检查数据,并据此设计目标 Collections 的模式。

                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +

                                                                                                                                                                                                                                                                                                                                                                                                                                                                  以上图中的 JSON 数据为例,行列表中有两个实体,每个行有六个字段。Collections 模式选择性地包括四个:ID向量标量_1标量_2

                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +

                                                                                                                                                                                                                                                                                                                                                                                                                                                                  在设计 Schema 时,还有两点需要考虑:

                                                                                                                                                                                                                                                                                                                                                                                                                                                                  • 是否启用自动识别

                                                                                                                                                                                                                                                                                                                                                                                                                                                                    -

                                                                                                                                                                                                                                                                                                                                                                                                                                                                    id字段是集合的主字段。要使主字段自动递增,可以在模式中启用AutoID。在这种情况下,应从源数据的每一行中排除id字段。

                                                                                                                                                                                                                                                                                                                                                                                                                                                                  • -
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  • 是否启用Dynamic Field

                                                                                                                                                                                                                                                                                                                                                                                                                                                                    -

                                                                                                                                                                                                                                                                                                                                                                                                                                                                    如果模式启用了Dynamic Field,目标集合也可以存储未包含在预定义模式中的字段。$meta字段是一个保留的 JSON 字段,用于保存Dynamic Field及其键值对中的值。在上图中,字段dynamic_field_1dynamic_field_2及其值将作为键值对保存在$meta字段中。

                                                                                                                                                                                                                                                                                                                                                                                                                                                                  • +

                                                                                                                                                                                                                                                                                                                                                                                                                                                                    id字段作为 Collections 的主字段。要使主字段自动递增,可以在 Schema 中启用AutoID。在这种情况下,应从源数据的每一行中排除id字段。

                                                                                                                                                                                                                                                                                                                                                                                                                                                                    +
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  • 是否启用动态字段

                                                                                                                                                                                                                                                                                                                                                                                                                                                                    +

                                                                                                                                                                                                                                                                                                                                                                                                                                                                    如果模式启用了动态字段,目标 Collections 还可以存储其预定义模式中未包含的字段。$meta字段是一个预留 JSON 字段,用于以键值对形式保存动态字段及其值。在上图中,字段dynamic_field_1dynamic_field_2及其值将作为键值对保存在$meta字段中。

                                                                                                                                                                                                                                                                                                                                                                                                                                                                  -

                                                                                                                                                                                                                                                                                                                                                                                                                                                                  下面的代码展示了如何为上图所示的集合设置模式。

                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +

                                                                                                                                                                                                                                                                                                                                                                                                                                                                  下面的代码展示了如何为上图所示的 Collections 设置 Schema。

                                                                                                                                                                                                                                                                                                                                                                                                                                                                  要获取更多信息,请参阅 create_schema()add_field()以获取更多信息。

                                                                                                                                                                                                                                                                                                                                                                                                                                                                  @@ -63,54 +62,147 @@ summary: 本页将讨论在开始将数据批量插入数据集之前应该考 # You need to work out a collection schema out of your dataset. schema = MilvusClient.create_schema( -auto_id=False, -enable_dynamic_field=True + auto_id=False, + enable_dynamic_field=True ) -schema.add_field(field_name="id", datatype=DataType.INT64, is_primary=True) -schema.add_field(field_name="vector", datatype=DataType.FLOAT_VECTOR, dim=768) -schema.add_field(field_name="scalar_1", datatype=DataType.VARCHAR, max_length=512) -schema.add_field(field_name="scalar_2", datatype=DataType.INT64) +DIM = 512 + +schema.add_field(field_name="id", datatype=DataType.INT64, is_primary=True), +schema.add_field(field_name="bool", datatype=DataType.BOOL), +schema.add_field(field_name="int8", datatype=DataType.INT8), +schema.add_field(field_name="int16", datatype=DataType.INT16), +schema.add_field(field_name="int32", datatype=DataType.INT32), +schema.add_field(field_name="int64", datatype=DataType.INT64), +schema.add_field(field_name="float", datatype=DataType.FLOAT), +schema.add_field(field_name="double", datatype=DataType.DOUBLE), +schema.add_field(field_name="varchar", datatype=DataType.VARCHAR, max_length=512), +schema.add_field(field_name="json", datatype=DataType.JSON), +schema.add_field(field_name="array_str", datatype=DataType.ARRAY, max_capacity=100, element_type=DataType.VARCHAR, max_length=128) +schema.add_field(field_name="array_int", datatype=DataType.ARRAY, max_capacity=100, element_type=DataType.INT64) +schema.add_field(field_name="float_vector", datatype=DataType.FLOAT_VECTOR, dim=DIM), +schema.add_field(field_name="binary_vector", datatype=DataType.BINARY_VECTOR, dim=DIM), +schema.add_field(field_name="float16_vector", datatype=DataType.FLOAT16_VECTOR, dim=DIM), +# schema.add_field(field_name="bfloat16_vector", datatype=DataType.BFLOAT16_VECTOR, dim=DIM), +schema.add_field(field_name="sparse_vector", datatype=DataType.SPARSE_FLOAT_VECTOR) schema.verify() -
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  - -
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  import io.milvus.grpc.DataType;
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  -import io.milvus.param.collection.CollectionSchemaParam;
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  -import io.milvus.param.collection.FieldType;
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  -
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  -// Define schema for the target collection
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  -FieldType id = FieldType.newBuilder()
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  -        .withName("id")
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  -        .withDataType(DataType.Int64)
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  -        .withPrimaryKey(true)
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  -        .withAutoID(false)
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  -        .build();
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  -
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  -FieldType vector = FieldType.newBuilder()
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  -        .withName("vector")
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  -        .withDataType(DataType.FloatVector)
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  -        .withDimension(768)
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  -        .build();
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  -
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  -FieldType scalar1 = FieldType.newBuilder()
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  -        .withName("scalar_1")
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  -        .withDataType(DataType.VarChar)
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  -        .withMaxLength(512)
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  -        .build();
                                                                                                                                                                                                                                                                                                                                                                                                                                                                   
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  -FieldType scalar2 = FieldType.newBuilder()
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  -        .withName("scalar_2")
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  -        .withDataType(DataType.Int64)
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  -        .build();
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  -
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  -CollectionSchemaParam schema = CollectionSchemaParam.newBuilder()
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  -        .withEnableDynamicField(true)
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  -        .addFieldType(id)
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  -        .addFieldType(vector)
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  -        .addFieldType(scalar1)
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  -        .addFieldType(scalar2)
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +print(schema)
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  import com.google.gson.Gson;
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +import com.google.gson.JsonObject;
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +import io.milvus.bulkwriter.BulkImport;
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +import io.milvus.bulkwriter.RemoteBulkWriter;
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +import io.milvus.bulkwriter.RemoteBulkWriterParam;
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +import io.milvus.bulkwriter.common.clientenum.BulkFileType;
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +import io.milvus.bulkwriter.common.clientenum.CloudStorage;
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +import io.milvus.bulkwriter.connect.S3ConnectParam;
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +import io.milvus.bulkwriter.connect.StorageConnectParam;
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +import io.milvus.bulkwriter.request.describe.MilvusDescribeImportRequest;
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +import io.milvus.bulkwriter.request.import_.MilvusImportRequest;
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +import io.milvus.bulkwriter.request.list.MilvusListImportJobsRequest;
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +import io.milvus.common.utils.Float16Utils;
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +import io.milvus.v2.client.ConnectConfig;
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +import io.milvus.v2.client.MilvusClientV2;
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +import io.milvus.v2.common.DataType;
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +import io.milvus.v2.service.collection.request.*;
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +import java.io.IOException;
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +import java.nio.ByteBuffer;
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +import java.util.*;
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +import java.util.concurrent.TimeUnit;
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +private static final String MINIO_ENDPOINT = CloudStorage.MINIO.getEndpoint("http://127.0.0.1:9000");
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +private static final String BUCKET_NAME = "a-bucket";
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +private static final String ACCESS_KEY = "minioadmin";
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +private static final String SECRET_KEY = "minioadmin";
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +private static final Integer DIM = 512;
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +private static final Gson GSON_INSTANCE = new Gson();
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +private static CreateCollectionReq.CollectionSchema createSchema() {
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +    CreateCollectionReq.CollectionSchema schema = CreateCollectionReq.CollectionSchema.builder()
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +        .enableDynamicField(true)
                                                                                                                                                                                                                                                                                                                                                                                                                                                                           .build();
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +    schema.addField(AddFieldReq.builder()
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +            .fieldName("id")
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +            .dataType(io.milvus.v2.common.DataType.Int64)
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +            .isPrimaryKey(Boolean.TRUE)
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +            .autoID(false)
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +            .build());
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +    schema.addField(AddFieldReq.builder()
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +            .fieldName("bool")
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +            .dataType(DataType.Bool)
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +            .build());
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +    schema.addField(AddFieldReq.builder()
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +            .fieldName("int8")
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +            .dataType(DataType.Int8)
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +            .build());
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +    schema.addField(AddFieldReq.builder()
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +            .fieldName("int16")
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +            .dataType(DataType.Int16)
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +            .build());
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +    schema.addField(AddFieldReq.builder()
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +            .fieldName("int32")
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +            .dataType(DataType.Int32)
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +            .build());
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +    schema.addField(AddFieldReq.builder()
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +            .fieldName("int64")
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +            .dataType(DataType.Int64)
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +            .build());
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +    schema.addField(AddFieldReq.builder()
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +            .fieldName("float")
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +            .dataType(DataType.Float)
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +            .build());
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +    schema.addField(AddFieldReq.builder()
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +            .fieldName("double")
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +            .dataType(DataType.Double)
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +            .build());
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +    schema.addField(AddFieldReq.builder()
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +            .fieldName("varchar")
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +            .dataType(DataType.VarChar)
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +            .maxLength(512)
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +            .build());
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +    schema.addField(AddFieldReq.builder()
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +            .fieldName("json")
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +            .dataType(io.milvus.v2.common.DataType.JSON)
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +            .build());
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +    schema.addField(AddFieldReq.builder()
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +            .fieldName("array_int")
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +            .dataType(io.milvus.v2.common.DataType.Array)
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +            .maxCapacity(100)
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +            .elementType(io.milvus.v2.common.DataType.Int64)
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +            .build());
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +    schema.addField(AddFieldReq.builder()
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +            .fieldName("array_str")
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +            .dataType(io.milvus.v2.common.DataType.Array)
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +            .maxCapacity(100)
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +            .elementType(io.milvus.v2.common.DataType.VarChar)
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +            .maxLength(128)
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +            .build());
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +    schema.addField(AddFieldReq.builder()
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +            .fieldName("float_vector")
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +            .dataType(io.milvus.v2.common.DataType.FloatVector)
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +            .dimension(DIM)
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +            .build());
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +    schema.addField(AddFieldReq.builder()
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +            .fieldName("binary_vector")
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +            .dataType(io.milvus.v2.common.DataType.BinaryVector)
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +            .dimension(DIM)
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +            .build());
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +    schema.addField(AddFieldReq.builder()
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +            .fieldName("float16_vector")
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +            .dataType(io.milvus.v2.common.DataType.Float16Vector)
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +            .dimension(DIM)
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +            .build());
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +    schema.addField(AddFieldReq.builder()
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +            .fieldName("sparse_vector")
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +            .dataType(io.milvus.v2.common.DataType.SparseFloatVector)
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +            .build());
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +    
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +    return schema;
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +}
                                                                                                                                                                                                                                                                                                                                                                                                                                                                   

                                                                                                                                                                                                                                                                                                                                                                                                                                                                  设置 BulkWriter

                                                                                                                                                                                                                                                                                                                                                                                                                                                                  -
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  import io.milvus.bulkwriter.LocalBulkWriter;
                                                                                                                                                                                                                                                                                                                                                                                                                                                                   import io.milvus.bulkwriter.LocalBulkWriterParam;
                                                                                                                                                                                                                                                                                                                                                                                                                                                                   import io.milvus.bulkwriter.common.clientenum.BulkFileType;
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  @@ -164,7 +255,7 @@ file_type=BulkFileType.PARQUET
                                                                                                                                                                                                                                                                                                                                                                                                                                                                   

                                                                                                                                                                                                                                                                                                                                                                                                                                                                  创建LocalBulkWriter 时,你应该

                                                                                                                                                                                                                                                                                                                                                                                                                                                                    -
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  • schema 中引用已创建的模式。
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  • +
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  • schema 中引用已创建的 Schema。
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  • local_path 设置为输出目录。
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  • file_type 设置为输出文件类型。
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  • 如果您的数据集包含大量记录,建议您将segment_size 设置为适当的值,以分割数据。
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  • @@ -174,7 +265,7 @@ file_type=BulkFileType.PARQUET

                                                                                                                                                                                                                                                                                                                                                                                                                                                                    创建LocalBulkWriter 时,应

                                                                                                                                                                                                                                                                                                                                                                                                                                                                      -
                                                                                                                                                                                                                                                                                                                                                                                                                                                                    • CollectionSchema() 中引用已创建的模式。
                                                                                                                                                                                                                                                                                                                                                                                                                                                                    • +
                                                                                                                                                                                                                                                                                                                                                                                                                                                                    • CollectionSchema() 中引用已创建的 Schema 。
                                                                                                                                                                                                                                                                                                                                                                                                                                                                    • withLocalPath() 中设置输出目录。
                                                                                                                                                                                                                                                                                                                                                                                                                                                                    • withFileType() 中设置输出文件类型。
                                                                                                                                                                                                                                                                                                                                                                                                                                                                    • 如果您的数据集包含大量记录,建议您通过将withChunkSize() 设置为适当的值来分割数据。
                                                                                                                                                                                                                                                                                                                                                                                                                                                                    • @@ -191,32 +282,45 @@ file_type=BulkFileType.PARQUET # Third-party constants ACCESS_KEY="minioadmin" SECRET_KEY="minioadmin" -BUCKET_NAME="milvus-bucket" +BUCKET_NAME="a-bucket" # Connections parameters to access the remote bucket conn = RemoteBulkWriter.S3ConnectParam( -endpoint="localhost:9000", # the default MinIO service started along with Milvus -access_key=ACCESS_KEY, -secret_key=SECRET_KEY, -bucket_name=BUCKET_NAME, -secure=False + endpoint="localhost:9000", # the default MinIO service started along with Milvus + access_key=ACCESS_KEY, + secret_key=SECRET_KEY, + bucket_name=BUCKET_NAME, + secure=False ) -
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  -
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  import io.milvus.bulkwriter.common.clientenum.BulkFileType;
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  -import io.milvus.bulkwriter.connect.S3ConnectParam;
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  -import io.milvus.bulkwriter.connect.StorageConnectParam;
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +from pymilvus.bulk_writer import BulkFileType
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +# Use `from pymilvus import BulkFileType` 
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +# when you use pymilvus earlier than 2.4.2 
                                                                                                                                                                                                                                                                                                                                                                                                                                                                   
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  -String ACCESS_KEY = "minioadmin";
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  -String SECRET_KEY = "minioadmin";
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  -String BUCKET_NAME = "milvus-bucket";
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +writer = RemoteBulkWriter(
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +    schema=schema,
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +    remote_path="/",
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +    connect_param=conn,
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +    file_type=BulkFileType.PARQUET
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +)
                                                                                                                                                                                                                                                                                                                                                                                                                                                                   
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  -StorageConnectParam storageConnectParam = S3ConnectParam.newBuilder()
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  -    .withEndpoint(MINIO_URI)
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  -    .withAccessKey(ACCESS_KEY)
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  -    .withSecretKey(SECRET_KEY)
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  -    .withBucketName(BUCKET_NAME)
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  -    .build();
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +print('bulk writer created.')
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  private static RemoteBulkWriter createRemoteBulkWriter(CreateCollectionReq.CollectionSchema collectionSchema) throws IOException {
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +    StorageConnectParam connectParam = S3ConnectParam.newBuilder()
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +            .withEndpoint(MINIO_ENDPOINT)
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +            .withBucketName(BUCKET_NAME)
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +            .withAccessKey(ACCESS_KEY)
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +            .withSecretKey(SECRET_KEY)
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +            .build();
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +    RemoteBulkWriterParam bulkWriterParam = RemoteBulkWriterParam.newBuilder()
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +            .withCollectionSchema(collectionSchema)
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +            .withRemotePath("/")
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +            .withConnectParam(connectParam)
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +            .withFileType(BulkFileType.PARQUET)
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +            .build();
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +    return new RemoteBulkWriter(bulkWriterParam);
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +}
                                                                                                                                                                                                                                                                                                                                                                                                                                                                   

                                                                                                                                                                                                                                                                                                                                                                                                                                                                  一旦连接参数准备就绪,你就可以在RemoteBulkWriter中引用它,如下所示:

                                                                                                                                                                                                                                                                                                                                                                                                                                                                  @@ -226,13 +330,12 @@ secure=False # when you use pymilvus earlier than 2.4.2 writer = RemoteBulkWriter( -schema=schema, -remote_path="/", -connect_param=conn, -file_type=BulkFileType.PARQUET + schema=schema, + remote_path="/", + connect_param=conn, + file_type=BulkFileType.PARQUET )
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  -
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  import io.milvus.bulkwriter.RemoteBulkWriter;
                                                                                                                                                                                                                                                                                                                                                                                                                                                                   import io.milvus.bulkwriter.RemoteBulkWriterParam;
                                                                                                                                                                                                                                                                                                                                                                                                                                                                   
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  @@ -247,7 +350,7 @@ file_type=BulkFileType.PARQUET
                                                                                                                                                                                                                                                                                                                                                                                                                                                                   RemoteBulkWriter remoteBulkWriter = new RemoteBulkWriter(remoteBulkWriterParam);
                                                                                                                                                                                                                                                                                                                                                                                                                                                                   
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  -

                                                                                                                                                                                                                                                                                                                                                                                                                                                                  除了connect_param 之外,创建RemoteBulkWriter 的参数与创建LocalBulkWriter 的参数基本相同。有关参数设置的详细信息,请参阅 SDK 参考资料中的RemoteBulkWriterConnectParam

                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +

                                                                                                                                                                                                                                                                                                                                                                                                                                                                  除了connect_param 之外,创建RemoteBulkWriter的参数与创建LocalBulkWriter 的参数基本相同。有关参数设置的详细信息,请参阅 SDK 参考资料中的RemoteBulkWriterConnectParam

                                                                                                                                                                                                                                                                                                                                                                                                                                                                  StorageConnectParam 外,创建RemoteBulkWriter的参数与创建LocalBulkWriter 的参数基本相同。有关参数设置的详细信息,请参阅 SDK 参考资料中的 RemoteBulkWriter 和 StorageConnectParam。

                                                                                                                                                                                                                                                                                                                                                                                                                                                                  @@ -276,82 +379,201 @@ file_type=BulkFileType.PARQUET

                                                                                                                                                                                                                                                                                                                                                                                                                                                                  为演示起见,下面的代码添加了随机生成的数据。

                                                                                                                                                                                                                                                                                                                                                                                                                                                                  -
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  import random
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  -import string
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  -
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  -def generate_random_str(length=5):
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  -letters = string.ascii_uppercase
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  -digits = string.digits
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  -
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  import random, string, json
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +import numpy as np
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +import tensorflow as tf
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +def generate_random_str(length=5):
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +    letters = string.ascii_uppercase
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +    digits = string.digits
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +    
                                                                                                                                                                                                                                                                                                                                                                                                                                                                       return ''.join(random.choices(letters + digits, k=length))
                                                                                                                                                                                                                                                                                                                                                                                                                                                                   
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  -for i in range(10000):
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  -writer.append*row({
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  -"id": i,
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  -"vector": [random.uniform(-1, 1) for * in range(768)],
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  -"scalar_1": generate_random_str(random.randint(1, 20)),
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  -"scalar_2": random.randint(0, 100)
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  -})
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +# optional input for binary vector:
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +# 1. list of int such as [1, 0, 1, 1, 0, 0, 1, 0]
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +# 2. numpy array of uint8
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +def gen_binary_vector(to_numpy_arr):
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +    raw_vector = [random.randint(0, 1) for i in range(DIM)]
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +    if to_numpy_arr:
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +        return np.packbits(raw_vector, axis=-1)
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +    return raw_vector
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +# optional input for float vector:
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +# 1. list of float such as [0.56, 1.859, 6.55, 9.45]
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +# 2. numpy array of float32
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +def gen_float_vector(to_numpy_arr):
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +    raw_vector = [random.random() for _ in range(DIM)]
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +    if to_numpy_arr:
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +        return np.array(raw_vector, dtype="float32")
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +    return raw_vector
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +# # optional input for bfloat16 vector:
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +# # 1. list of float such as [0.56, 1.859, 6.55, 9.45]
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +# # 2. numpy array of bfloat16
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +# def gen_bf16_vector(to_numpy_arr):
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +#     raw_vector = [random.random() for _ in range(DIM)]
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +#     if to_numpy_arr:
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +#         return tf.cast(raw_vector, dtype=tf.bfloat16).numpy()
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +#     return raw_vector
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +# optional input for float16 vector:
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +# 1. list of float such as [0.56, 1.859, 6.55, 9.45]
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +# 2. numpy array of float16
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +def gen_fp16_vector(to_numpy_arr):
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +    raw_vector = [random.random() for _ in range(DIM)]
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +    if to_numpy_arr:
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +        return np.array(raw_vector, dtype=np.float16)
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +    return raw_vector
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +# optional input for sparse vector:
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +# only accepts dict like {2: 13.23, 45: 0.54} or {"indices": [1, 2], "values": [0.1, 0.2]}
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +# note: no need to sort the keys
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +def gen_sparse_vector(pair_dict: bool):
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +    raw_vector = {}
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +    dim = random.randint(2, 20)
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +    if pair_dict:
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +        raw_vector["indices"] = [i for i in range(dim)]
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +        raw_vector["values"] = [random.random() for _ in range(dim)]
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +    else:
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +        for i in range(dim):
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +            raw_vector[i] = random.random()
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +    return raw_vector
                                                                                                                                                                                                                                                                                                                                                                                                                                                                   
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  -writer.commit()
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +for i in range(10000):
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +    writer.append_row({
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +        "id": np.int64(i),
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +        "bool": True if i % 3 == 0 else False,
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +        "int8": np.int8(i%128),
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +        "int16": np.int16(i%1000),
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +        "int32": np.int32(i%100000),
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +        "int64": np.int64(i),
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +        "float": np.float32(i/3),
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +        "double": np.float64(i/7),
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +        "varchar": f"varchar_{i}",
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +        "json": json.dumps({"dummy": i, "ok": f"name_{i}"}),
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +        "array_str": np.array([f"str_{k}" for k in range(5)], np.dtype("str")),
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +        "array_int": np.array([k for k in range(10)], np.dtype("int64")),
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +        "float_vector": gen_float_vector(True),
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +        "binary_vector": gen_binary_vector(True),
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +        "float16_vector": gen_fp16_vector(True),
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +        # "bfloat16_vector": gen_bf16_vector(True),
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +        "sparse_vector": gen_sparse_vector(True),
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +        f"dynamic_{i}": i,
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +    })
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +    if (i+1)%1000 == 0:
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +        writer.commit()
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +        print('committed')
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +print(writer.batch_files)
                                                                                                                                                                                                                                                                                                                                                                                                                                                                   
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  private static byte[] genBinaryVector() {
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +    Random ran = new Random();
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +    int byteCount = DIM / 8;
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +    ByteBuffer vector = ByteBuffer.allocate(byteCount);
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +    for (int i = 0; i < byteCount; ++i) {
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +        vector.put((byte) ran.nextInt(Byte.MAX_VALUE));
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +    }
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +    return vector.array();
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +}
                                                                                                                                                                                                                                                                                                                                                                                                                                                                   
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  -
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  import com.alibaba.fastjson.JSONObject;
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  -
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  -for (int i = 0; i < 10000; i++) {
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  -    JSONObject json = new JSONObject();
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  -    json.put("id", i);
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  -    json.put("vector", get_random_vector(768));
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  -    json.put("scalar_1", get_random_string(20));
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  -    json.put("scalar_2", (long) (Math.random() * 100));
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +private static List<Float> genFloatVector() {
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +    Random ran = new Random();
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +    List<Float> vector = new ArrayList<>();
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +    for (int i = 0; i < DIM; ++i) {
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +        vector.add(ran.nextFloat());
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +    }
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +    return vector;
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +}
                                                                                                                                                                                                                                                                                                                                                                                                                                                                   
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  -    // localBulkWriter.appendRow(json);
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  -    remoteBulkWriter.appendRow(json);
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +private static byte[] genFloat16Vector() {
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +    List<Float> originalVector = genFloatVector();
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +    return Float16Utils.f32VectorToFp16Buffer(originalVector).array();
                                                                                                                                                                                                                                                                                                                                                                                                                                                                   }
                                                                                                                                                                                                                                                                                                                                                                                                                                                                   
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  -// localBulkWriter.commit(false);
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  -remoteBulkWriter.commit(false);
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  -
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  -

                                                                                                                                                                                                                                                                                                                                                                                                                                                                  由于定义的模式允许Dynamic Field,因此您也可以在要插入的数据中包含非模式定义的字段,如下所示。

                                                                                                                                                                                                                                                                                                                                                                                                                                                                  - -
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  import random
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  -import string
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +private static SortedMap<Long, Float> genSparseVector() {
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +    Random ran = new Random();
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +    SortedMap<Long, Float> sparse = new TreeMap<>();
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +    int dim = ran.nextInt(18) + 2; // [2, 20)
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +    for (int i = 0; i < dim; ++i) {
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +        sparse.put((long)ran.nextInt(1000000), ran.nextFloat());
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +    }
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +    return sparse;
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +}
                                                                                                                                                                                                                                                                                                                                                                                                                                                                   
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  -def generate_random_string(length=5):
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  -letters = string.ascii_uppercase
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  -digits = string.digits
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +private static List<String> genStringArray(int length) {
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +    List<String> arr = new ArrayList<>();
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +    for (int i = 0; i < length; i++) {
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +        arr.add("str_" + i);
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +    }
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +    return arr;
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +}
                                                                                                                                                                                                                                                                                                                                                                                                                                                                   
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  -    return ''.join(random.choices(letters + digits, k=length))
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +private static List<Long> genIntArray(int length) {
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +    List<Long> arr = new ArrayList<>();
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +    for (long i = 0; i < length; i++) {
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +        arr.add(i);
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +    }
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +    return arr;
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +}
                                                                                                                                                                                                                                                                                                                                                                                                                                                                   
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  -for i in range(10000):
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  -writer.append*row({
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  -"id": i,
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  -"vector":[random.uniform(-1, 1) for * in range(768)],
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  -"scalar_1": generate_random_string(),
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  -"scalar_2": random.randint(0, 100),
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  -"dynamic_field_1": random.choice([True, False]),
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  -"dynamic_field_2": random.randint(0, 100)
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  -})
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  -
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  -writer.commit()
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  -
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +private static RemoteBulkWriter createRemoteBulkWriter(CreateCollectionReq.CollectionSchema collectionSchema) throws IOException { + StorageConnectParam connectParam = S3ConnectParam.newBuilder() + .withEndpoint(MINIO_ENDPOINT) + .withBucketName(BUCKET_NAME) + .withAccessKey(ACCESS_KEY) + .withSecretKey(SECRET_KEY) + .build(); + RemoteBulkWriterParam bulkWriterParam = RemoteBulkWriterParam.newBuilder() + .withCollectionSchema(collectionSchema) + .withRemotePath("/") + .withConnectParam(connectParam) + .withFileType(BulkFileType.PARQUET) + .build(); + return new RemoteBulkWriter(bulkWriterParam); +} -
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  for (int i = 0; i < 10000; i++) {
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  -    JSONObject json = new JSONObject();
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  -    json.put("id", i);
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  -    json.put("vector", get_random_vector(768));
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  -    json.put("scalar_1", get_random_string(20));
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  -    json.put("scalar_2", (long) (Math.random() * 100));
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  -    json.put("dynamic_field_1", get_random_boolean());
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  -    json.put("dynamic_field_2", (long) (Math.random() * 100));
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  -
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  -    // localBulkWriter.appendRow(json);
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  -    remoteBulkWriter.appendRow(json);
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +private static List<List<String>> uploadData() throws Exception {
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +    CreateCollectionReq.CollectionSchema collectionSchema = createSchema();
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +    try (RemoteBulkWriter remoteBulkWriter = createRemoteBulkWriter(collectionSchema)) {
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +        for (int i = 0; i < 10000; ++i) {
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +            JsonObject rowObject = new JsonObject();
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +            rowObject.addProperty("id", i);
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +            rowObject.addProperty("bool", i % 3 == 0);
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +            rowObject.addProperty("int8", i % 128);
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +            rowObject.addProperty("int16", i % 1000);
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +            rowObject.addProperty("int32", i % 100000);
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +            rowObject.addProperty("int64", i);
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +            rowObject.addProperty("float", i / 3);
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +            rowObject.addProperty("double", i / 7);
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +            rowObject.addProperty("varchar", "varchar_" + i);
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +            rowObject.addProperty("json", String.format("{\"dummy\": %s, \"ok\": \"name_%s\"}", i, i));
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +            rowObject.add("array_str", GSON_INSTANCE.toJsonTree(genStringArray(5)));
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +            rowObject.add("array_int", GSON_INSTANCE.toJsonTree(genIntArray(10)));
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +            rowObject.add("float_vector", GSON_INSTANCE.toJsonTree(genFloatVector()));
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +            rowObject.add("binary_vector", GSON_INSTANCE.toJsonTree(genBinaryVector()));
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +            rowObject.add("float16_vector", GSON_INSTANCE.toJsonTree(genFloat16Vector()));
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +            rowObject.add("sparse_vector", GSON_INSTANCE.toJsonTree(genSparseVector()));
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +            rowObject.addProperty("dynamic", "dynamic_" + i);
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +            remoteBulkWriter.appendRow(rowObject);
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +            if ((i+1)%1000 == 0) {
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +                remoteBulkWriter.commit(false);
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +            }
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +        }
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +        List<List<String>> batchFiles = remoteBulkWriter.getBatchFiles();
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +        System.out.println(batchFiles);
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +        return batchFiles;
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +    } catch (Exception e) {
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +        throw e;
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +    }
                                                                                                                                                                                                                                                                                                                                                                                                                                                                   }
                                                                                                                                                                                                                                                                                                                                                                                                                                                                   
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  -// localBulkWriter.commit(false);
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  -remoteBulkWriter.commit(false);
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +public static void main(String[] args) throws Exception {
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +    List<List<String>> batchFiles = uploadData();
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +}
                                                                                                                                                                                                                                                                                                                                                                                                                                                                   

                                                                                                                                                                                                                                                                                                                                                                                                                                                                  验证结果

                                                                                                                                                                                                                                                                                                                                                                                                                                                                  -
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  // localBulkWriter.getBatchFiles();
                                                                                                                                                                                                                                                                                                                                                                                                                                                                   remoteBulkWriter.getBatchFiles();
                                                                                                                                                                                                                                                                                                                                                                                                                                                                   
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  @@ -401,10 +622,10 @@ remoteBulkWriter.getBatchFiles();
                                                                                                                                                                                                                                                                                                                                                                                                                                                                   
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  # JSON
                                                                                                                                                                                                                                                                                                                                                                                                                                                                   ├── folder
                                                                                                                                                                                                                                                                                                                                                                                                                                                                   │   └── 45ae1139-1d87-4aff-85f5-0039111f9e6b
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  -│       └── 1.json
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +│       └── 1.json 
                                                                                                                                                                                                                                                                                                                                                                                                                                                                   
                                                                                                                                                                                                                                                                                                                                                                                                                                                                   # Parquet
                                                                                                                                                                                                                                                                                                                                                                                                                                                                   ├── folder
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  -│ └── 45ae1139-1d87-4aff-85f5-0039111f9e6b
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  -│ └── 1.parquet
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +│   └── 45ae1139-1d87-4aff-85f5-0039111f9e6b
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +│       └── 1.parquet 
                                                                                                                                                                                                                                                                                                                                                                                                                                                                   
                                                                                                                                                                                                                                                                                                                                                                                                                                                                  diff --git a/localization/v2.4.x/site/zh/userGuide/manage-indexes/index-vector-fields.md b/localization/v2.4.x/site/zh/userGuide/manage-indexes/index-vector-fields.md index 9a2cd934b..454c8c640 100644 --- a/localization/v2.4.x/site/zh/userGuide/manage-indexes/index-vector-fields.md +++ b/localization/v2.4.x/site/zh/userGuide/manage-indexes/index-vector-fields.md @@ -19,7 +19,7 @@ title: 索引向量字段 d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z" > -

                                                                                                                                                                                                                                                                                                                                                                                                                                                                  本指南将指导您完成在 Collections 中创建和管理向量字段索引的基本操作。

                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +

                                                                                                                                                                                                                                                                                                                                                                                                                                                                  本指南将向您介绍在 Collections 中创建和管理向量字段索引的基本操作。

                                                                                                                                                                                                                                                                                                                                                                                                                                                                  索引概述

                                                                                                                                                                                                                                                                                                                                                                                                                                                                  利用存储在索引文件中的元数据,Milvus 以专门的结构组织数据,便于在搜索或查询过程中快速检索所需的信息。

                                                                                                                                                                                                                                                                                                                                                                                                                                                                  -

                                                                                                                                                                                                                                                                                                                                                                                                                                                                  Milvus 提供多种索引类型和度量标准,对字段值进行排序,以实现高效的相似性搜索。下表列出了不同向量字段类型所支持的索引类型和度量。有关详情,请参阅内存索引相似性度量

                                                                                                                                                                                                                                                                                                                                                                                                                                                                  +

                                                                                                                                                                                                                                                                                                                                                                                                                                                                  Milvus 提供了多种索引类型和指标,可对字段值进行排序,以实现高效的相似性搜索。下表列出了不同向量字段类型所支持的索引类型和度量。目前,Milvus 支持各种类型的向量数据,包括浮点嵌入(通常称为浮点向量或密集向量)、二进制嵌入(也称为二进制向量)和稀疏嵌入(也称为稀疏向量)。详情请参阅 "内存索引相似度指标"。

                                                                                                                                                                                                                                                                                                                                                                                                                                                                  @@ -312,7 +312,7 @@ res = await client.index_type - 用于在特定字段中排列数据的算法名称。有关适用的算法,请参阅内存索引磁盘索引。 + 用于在特定字段中排列数据的算法名称。有关适用算法,请参阅内存索引磁盘索引index_name diff --git a/tools/cache.json b/tools/cache.json index 209ba6d4b..dfc7e4145 100644 --- a/tools/cache.json +++ b/tools/cache.json @@ -20,7 +20,7 @@ "v2.4.x/site/en/adminGuide/clouds/gcp/gcp_layer7.md": "2024-08-30T02:00:00.371Z", "v2.4.x/site/en/adminGuide/clouds/gcp/gcs.md": "2024-08-30T02:00:00.395Z", "v2.4.x/site/en/adminGuide/clouds/openshift/openshift.md": "2024-10-22T09:10:34.193Z", - "v2.4.x/site/en/adminGuide/configure-docker.md": "2024-11-11T08:29:17.427Z", + "v2.4.x/site/en/adminGuide/configure-docker.md": "2024-11-25T08:31:27.320Z", "v2.4.x/site/en/adminGuide/configure-helm.md": "2024-08-30T02:00:00.513Z", "v2.4.x/site/en/adminGuide/configure-querynode-localdisk.md": "2024-10-22T09:10:55.820Z", "v2.4.x/site/en/adminGuide/configure_access_logs.md": "2024-08-30T02:00:00.612Z", @@ -44,12 +44,12 @@ "v2.4.x/site/en/adminGuide/scale-dependencies.md": "2024-10-28T08:37:08.185Z", "v2.4.x/site/en/adminGuide/scaleout.md": "2024-08-30T02:00:01.236Z", "v2.4.x/site/en/adminGuide/tls.md": "2024-10-22T09:11:52.146Z", - "v2.4.x/site/en/adminGuide/upgrade_milvus_cluster-docker.md": "2024-11-11T08:29:23.934Z", - "v2.4.x/site/en/adminGuide/upgrade_milvus_cluster-helm.md": "2024-11-18T03:31:48.541Z", - "v2.4.x/site/en/adminGuide/upgrade_milvus_cluster-operator.md": "2024-11-11T08:29:43.297Z", - "v2.4.x/site/en/adminGuide/upgrade_milvus_standalone-docker.md": "2024-11-11T08:29:50.300Z", - "v2.4.x/site/en/adminGuide/upgrade_milvus_standalone-helm.md": "2024-11-11T08:30:00.451Z", - "v2.4.x/site/en/adminGuide/upgrade_milvus_standalone-operator.md": "2024-11-11T08:30:09.372Z", + "v2.4.x/site/en/adminGuide/upgrade_milvus_cluster-docker.md": "2024-11-25T08:31:31.982Z", + "v2.4.x/site/en/adminGuide/upgrade_milvus_cluster-helm.md": "2024-11-25T08:31:42.694Z", + "v2.4.x/site/en/adminGuide/upgrade_milvus_cluster-operator.md": "2024-11-25T08:31:52.137Z", + "v2.4.x/site/en/adminGuide/upgrade_milvus_standalone-docker.md": "2024-11-25T08:31:58.291Z", + "v2.4.x/site/en/adminGuide/upgrade_milvus_standalone-helm.md": "2024-11-25T08:32:07.439Z", + "v2.4.x/site/en/adminGuide/upgrade_milvus_standalone-operator.md": "2024-11-25T08:32:15.593Z", "v2.4.x/site/en/embeddings/embed-with-bgm-m3.md": "2024-08-30T02:00:01.503Z", "v2.4.x/site/en/embeddings/embed-with-bm25.md": "2024-08-30T02:00:01.511Z", "v2.4.x/site/en/embeddings/embed-with-cohere.md": "2024-10-22T09:13:12.276Z", @@ -71,11 +71,11 @@ "v2.4.x/site/en/getstarted/quickstart.md": "2024-10-22T09:14:52.132Z", "v2.4.x/site/en/home/home.md": "2024-08-30T02:00:02.013Z", "v2.4.x/site/en/reference/benchmark.md": "2024-08-30T02:00:02.064Z", - "v2.4.x/site/en/getstarted/run-milvus-docker/install_standalone-docker-compose.md": "2024-11-11T08:30:34.406Z", + "v2.4.x/site/en/getstarted/run-milvus-docker/install_standalone-docker-compose.md": "2024-11-25T08:32:21.387Z", "v2.4.x/site/en/getstarted/run-milvus-docker/install_standalone-docker.md": "2024-10-23T04:58:06.863Z", "v2.4.x/site/en/getstarted/run-milvus-docker/prerequisite-docker.md": "2024-10-28T08:37:17.769Z", "v2.4.x/site/en/getstarted/run-milvus-gpu/install_cluster-helm-gpu.md": "2024-08-30T02:00:15.783Z", - "v2.4.x/site/en/getstarted/run-milvus-gpu/install_standalone-docker-compose-gpu.md": "2024-11-11T08:30:43.642Z", + "v2.4.x/site/en/getstarted/run-milvus-gpu/install_standalone-docker-compose-gpu.md": "2024-11-25T08:32:28.861Z", "v2.4.x/site/en/getstarted/run-milvus-gpu/prerequisite-gpu.md": "2024-08-30T02:00:15.845Z", "v2.4.x/site/en/getstarted/run-milvus-k8s/install_cluster-helm.md": "2024-11-18T03:32:00.142Z", "v2.4.x/site/en/getstarted/run-milvus-k8s/install_cluster-milvusoperator.md": "2024-08-30T02:00:16.012Z", @@ -122,9 +122,9 @@ "v2.4.x/site/en/reference/disk_index.md": "2024-11-18T03:33:05.406Z", "v2.4.x/site/en/reference/glossary.md": "2024-08-30T02:00:29.823Z", "v2.4.x/site/en/reference/gpu_index.md": "2024-08-30T02:00:29.874Z", - "v2.4.x/site/en/reference/index.md": "2024-11-04T02:20:29.027Z", + "v2.4.x/site/en/reference/index.md": "2024-11-25T08:32:44.523Z", "v2.4.x/site/en/reference/knowhere.md": "2024-11-18T03:33:15.662Z", - "v2.4.x/site/en/reference/metric.md": "2024-08-30T02:00:30.026Z", + "v2.4.x/site/en/reference/metric.md": "2024-11-25T08:32:54.654Z", "v2.4.x/site/en/reference/mmap.md": "2024-10-28T08:37:50.443Z", "v2.4.x/site/en/reference/multi_tenancy.md": "2024-08-30T02:00:30.076Z", "v2.4.x/site/en/reference/replica.md": "2024-10-22T09:18:50.777Z", @@ -179,12 +179,12 @@ "v2.4.x/site/en/tutorials/text_image_search.md": "2024-08-30T02:20:13.855Z", "v2.4.x/site/en/tutorials/text_search_engine.md": "2024-08-30T02:20:13.860Z", "v2.4.x/site/en/tutorials/video_similarity_search.md": "2024-08-30T02:20:13.864Z", - "v2.4.x/site/en/userGuide/data-import/import-data.md": "2024-08-30T02:20:57.446Z", - "v2.4.x/site/en/userGuide/data-import/prepare-source-data.md": "2024-08-30T02:20:57.539Z", + "v2.4.x/site/en/userGuide/data-import/import-data.md": "2024-11-25T08:33:13.863Z", + "v2.4.x/site/en/userGuide/data-import/prepare-source-data.md": "2024-11-25T08:33:24.593Z", "v2.4.x/site/en/userGuide/enable-dynamic-field.md": "2024-08-30T02:20:57.639Z", "v2.4.x/site/en/userGuide/insert-update-delete.md": "2024-10-22T09:21:19.825Z", "v2.4.x/site/en/userGuide/manage-indexes/index-scalar-fields.md": "2024-11-18T03:34:25.465Z", - "v2.4.x/site/en/userGuide/manage-indexes/index-vector-fields.md": "2024-10-22T09:21:55.128Z", + "v2.4.x/site/en/userGuide/manage-indexes/index-vector-fields.md": "2024-11-25T08:33:33.904Z", "v2.4.x/site/en/userGuide/manage-indexes/index-with-gpu.md": "2024-08-30T02:20:58.498Z", "v2.4.x/site/en/userGuide/manage-partitions.md": "2024-11-18T03:34:38.230Z", "v2.4.x/site/en/userGuide/manage_databases.md": "2024-08-30T02:20:58.747Z", @@ -213,10 +213,10 @@ "v2.4.x/site/en/reference/array_data_type.md": "2024-09-04T05:52:37.189Z", "v2.4.x/site/en/userGuide/search-query-get/single-vector-search.md": "2024-11-18T03:35:05.168Z", "v2.4.x/site/en/userGuide/use-json-fields.md": "2024-09-04T05:53:07.135Z", - "v2.4.x/site/en/menuStructure/en.json": "2024-11-18T08:44:43.514Z", + "v2.4.x/site/en/menuStructure/en.json": "2024-11-25T08:39:43.656Z", "v2.4.x/site/en/userGuide/manage-collections.md": "2024-11-18T03:34:16.027Z", "v2.4.x/site/en/getstarted/milvus_lite.md": "2024-09-06T02:54:42.351Z", - "v2.4.x/site/en/release_notes.md": "2024-11-11T08:31:51.061Z", + "v2.4.x/site/en/release_notes.md": "2024-11-25T08:33:06.376Z", "v2.4.x/site/en/integrations/kotaemon_with_milvus.md": "2024-09-18T08:19:26.009Z", "v2.4.x/site/en/tutorials/graph_rag_with_milvus.md": "2024-10-22T09:20:06.440Z", "v2.4.x/site/en/integrations/kafka-connect-milvus.md": "2024-09-19T02:38:51.836Z",